목록분류 전체보기 (66)
TechY

논문 : 링크 residual network 의 수식 표현은 아래와 같다.yl=h(xl)+F(xl,Wl)xl+1=f(yl) residual learning을 처음 제시했던 논문 에서는 h 는 identity mapping 이었고, f 는 ReLU 였다.해당 논문에서는 h,f 를 identity 로 만드는 것이 최적화를 쉽게 만들어주고 이에 따른 모델 성능 부스트에 효과적임을 보인다. 우선 h,f 를 identity 로 만드는 것이 최적화를 쉽게 만들어주는 것에 대한 수식적 접근을 보면 아래와 같다. 위에 쓴 식에서 h,f=I 라고 하면 아래와 같이 단순해진다.xl+1=xl+F(xl,Wl) 이 식은 일종의 ..

논문 : 링크문제 인식neural network 의 깊이가 깊어질 때, 어느 정도 높아지다가 일정 수준에서 성능 감소가 발생하는 degradation 이 있음.저자는 이를 overfitting 의 이슈로 보지 않음. 그 이유는 test 뿐만 아니라 training 에서도 그 error 가 상승하기 때문, 이에 따라 저자는 모델의 깊이가 깊어질 수록 최적화의 난이도가 함께 변화한다고 보았음. 방법 제안저자는 n th layer 까지 학습한 representation 이 있고, n+1 th layer 를 추가했을 때 해당 layer 가 identity mapping 이라면 n th layer network 보다 성능이 나빠지지 않아야 한다는 것으로 시작했다. 또한 이전 layer (shallowe..
강의 : 링크 이전 포스팅에서 laplace transform 에 대한 변환식과 몇가지 함수의 변환값을 알아보았다.추가적인 변환값은 라플라스 변환표를 검색해보면 나오니 참고하면 좋을 듯 하다. 본 포스팅에서는 이전 시리즈에서 풀었던 미분방정식을 laplace transform 을 사용해서 풀어보려 한다. F(s)=2(s−1)e−2ss2−2s+2 F(s)=2(s−1)e−2ss2−2s+2=2(s−1)e−2s(s−1)2+1=2e−2ss−1(s−1)2+1 s−1(s−1)2+1 부분부터 보자. 해당 부분은 cos(t) 의 변환값의 형태임을 알 수 있다. s 값에 $F(..
강의 : 링크 미분 방정식을 쉽게 풀기 위한 유용한 도구인 laplace transform에 대해 알아본다.laplace transform 의 식은 아래와 같다. L{f(t)}=∫∞t=0f(t)e−stdt=F(s) 위를 보게 되면 L 변환을 통해 t 에 대한 식인 f(t) 를 s 에 대한 식으로 변환된다.후에 역변환을 통해 다시 t에 대한 식으로 되돌려주게 되는데 이 과정을 통해 미분방정식을 더 쉽게 풀 수 있게 해준다고 한다. 본 포스팅에서는 몇 가지 f(t) 에 대해 laplace transform 을 해보도록 하겠다. 여기서는 변환만 소개하고 역변환을 포함한 미분 방정식 풀이는 다음 포스팅에서 마저 ..

논문 : 링크 켈리 공식이라고 알려져 있는 식에 대한 페이퍼를 읽고 정리해본다. 기본적으로 사용할 수식 표현은 아래와 같다. X0 = 초기에 우리가 갖고 있는 돈Xn = 투자를 특정 policy에 따라 해서 n 번의 trial 후 얻게 될 돈f = 우리가 갖고 있는 돈 X에서 betting할 금액의 비율S = n 번의 trial에서 우리가 돈을 딴 횟수F = n 번의 trial에서 우리가 돈을 잃은 횟수n = 우리가 시도할 trial의 수p = 승률q = 1−p 이기면 betting한만큼 따고, 지면 그 돈을 모두 잃는다고 했을 때, 우리는 아래 수식을 얻을 수 있다. S+F=nXn=X0(1+f)S(1−f)F kelly crite..
강의 : 링크 non-homogeneous differential equation을 풀어볼 것이다. 아래와 같은 식이 있다.y^{``} -3 y^{`} -4 y = 3 e^{2x} 식을 보면 알 수 있는데, 우변이 0이 아니기 때문에 homogeneous equation이 아니다. 이 경우 어떻게 풀까?이런 경우를 푸는 방식 중 하나가 undetermined coefficients 이다. 우리가 위 식에서 우 변을 0으로 둬서 homogeneous differential equation을 풀어서, solution y = h 를 얻었다고 하자.그리고 non-homogeneous equation 을 풀어서 soltuion y = j 를 얻었다고 하자. 그러면 두 solution 을 더하게 되면 ..
강의 : 링크 본 포스팅은 이전 문서 "First order homogeneous equations" 의 연장선 상에 대한 것이다. 저번에 다룬 식들을 보면 아래와 같다.Ay^{``} + By^{`} + Cy = 0y = e^{rx}y(Ar^2 + Br + C) = 0 y 는 0이 될 수 없기에 2차식으로 근을 구해야 한다. 이 식은 아래와 같이 구할 수 있다.\frac{-B \pm \sqrt{B^2 - 4AC}}{2A} 제목인 complex root가 나오는 경우는 B^2 - 4AC \frac{-B - \sqrt{B^2 - 4AC}}{2A} = \frac{-B}{2A} \pm \frac{\sqrt{B^2 - 4AC}}{2A} 실수 파트와 허수 파트를 각각 \lambda, \m..
강의 : 링크참고 : 링크, 링크, 링크 이번엔 2nd order linear homogeneous DE에 대해 알아본다.2nd order linear homogeneous DE에 대해 이해하기 위해 키워드 단위로 하나씩 알아가보자. 우선 2nd order linear homogeneous DE은 아래처럼 생겼다. 이 때 d(x) = 0 이여야 한다.a(x) \frac{d^2y}{dx^2} + b(x) \frac{dy}{dx} + c(x)y = d(x) 2nd order 인 이유는 주어진 식이 갖는 differential operator \frac{d^i}{dx^i} 의 최대 degree i 가 2이기 때문이다.linear 인 이유는 계수 함수 a(x), b(x), c(x)와 unkno..