TechY

논문 : 링크 residual network 의 수식 표현은 아래와 같다.$y_l = h(x_l) + F(x_l, W_l)$$x_{l+1} = f(y_l)$ residual learning을 처음 제시했던 논문 에서는 $h$ 는 identity mapping 이었고, $f$ 는 ReLU 였다.해당 논문에서는 $h, f$ 를 identity 로 만드는 것이 최적화를 쉽게 만들어주고 이에 따른 모델 성능 부스트에 효과적임을 보인다. 우선 $h, f$ 를 identity 로 만드는 것이 최적화를 쉽게 만들어주는 것에 대한 수식적 접근을 보면 아래와 같다. 위에 쓴 식에서 $h, f = \mathbb{I}$ 라고 하면 아래와 같이 단순해진다.$x_{l+1} = x_l + F(x_l, W_l)$ 이 식은 일종의 ..

논문 : 링크문제 인식neural network 의 깊이가 깊어질 때, 어느 정도 높아지다가 일정 수준에서 성능 감소가 발생하는 degradation 이 있음.저자는 이를 overfitting 의 이슈로 보지 않음. 그 이유는 test 뿐만 아니라 training 에서도 그 error 가 상승하기 때문, 이에 따라 저자는 모델의 깊이가 깊어질 수록 최적화의 난이도가 함께 변화한다고 보았음. 방법 제안저자는 $n$ th layer 까지 학습한 representation 이 있고, $n+1$ th layer 를 추가했을 때 해당 layer 가 identity mapping 이라면 $n$ th layer network 보다 성능이 나빠지지 않아야 한다는 것으로 시작했다. 또한 이전 layer (shallowe..

강의 : 링크 이전 포스팅에서 laplace transform 에 대한 변환식과 몇가지 함수의 변환값을 알아보았다.추가적인 변환값은 라플라스 변환표를 검색해보면 나오니 참고하면 좋을 듯 하다. 본 포스팅에서는 이전 시리즈에서 풀었던 미분방정식을 laplace transform 을 사용해서 풀어보려 한다. $F(s) = \frac{2(s-1)e^{-2s}}{s^2-2s+2}$  $F(s) = \frac{2(s-1)e^{-2s}}{s^2-2s+2} = \frac{2(s-1)e^{-2s}}{(s-1)^2+1} = 2e^{-2s} \frac{s-1}{(s-1)^2+1}$ $\frac{s-1}{(s-1)^2+1}$ 부분부터 보자. 해당 부분은 $cos(t)$ 의 변환값의 형태임을 알 수 있다. $s$ 값에 $F(..

강의 : 링크 미분 방정식을 쉽게 풀기 위한 유용한 도구인 laplace transform에 대해 알아본다.laplace transform 의 식은 아래와 같다. $\mathscr{L}\{f(t)\}=\int_{t=0}^{\infty}f(t)e^{-st}dt = F(s)$ 위를 보게 되면 $\mathscr{L}$ 변환을 통해 $t$ 에 대한 식인 $f(t)$ 를 $s$ 에 대한 식으로 변환된다.후에 역변환을 통해 다시 $t$에 대한 식으로 되돌려주게 되는데 이 과정을 통해 미분방정식을 더 쉽게 풀 수 있게 해준다고 한다. 본 포스팅에서는 몇 가지 $f(t)$ 에 대해  laplace transform 을 해보도록 하겠다. 여기서는 변환만 소개하고 역변환을 포함한 미분 방정식 풀이는 다음 포스팅에서 마저 ..

논문 : 링크 켈리 공식이라고 알려져 있는 식에 대한 페이퍼를 읽고 정리해본다. 기본적으로 사용할 수식 표현은 아래와 같다. $X_0$ = 초기에 우리가 갖고 있는 돈$X_n$ = 투자를 특정 policy에 따라 해서 $n$ 번의 trial 후 얻게 될 돈$f$ = 우리가 갖고 있는 돈 $X$에서 betting할 금액의 비율$S$ = $n$ 번의 trial에서 우리가 돈을 딴 횟수$F$ = $n$ 번의 trial에서 우리가 돈을 잃은 횟수$n$ = 우리가 시도할 trial의 수$p$ = 승률$q$ = $1-p$ 이기면 betting한만큼 따고, 지면 그 돈을 모두 잃는다고 했을 때, 우리는 아래 수식을 얻을 수 있다. $S+F = n$$X_n = X_0 (1+f)^S (1-f)^F$ kelly crite..

강의 : 링크 non-homogeneous differential equation을  풀어볼 것이다. 아래와 같은 식이 있다.$y^{``} -3 y^{`} -4 y = 3 e^{2x}$ 식을 보면 알 수 있는데, 우변이 0이 아니기 때문에 homogeneous equation이 아니다. 이 경우 어떻게 풀까?이런 경우를 푸는 방식 중 하나가 undetermined coefficients 이다. 우리가 위 식에서 우 변을 0으로 둬서 homogeneous differential equation을 풀어서, solution $y = h$ 를 얻었다고 하자.그리고 non-homogeneous equation 을 풀어서 soltuion $y = j$ 를 얻었다고 하자. 그러면 두 solution 을 더하게 되면 ..

강의 : 링크 본 포스팅은 이전 문서 "First order homogeneous equations" 의 연장선 상에 대한 것이다. 저번에 다룬 식들을 보면 아래와 같다.$Ay^{``} + By^{`} + Cy = 0$$y = e^{rx}$$y(Ar^2 + Br + C) = 0$ $y$ 는 0이 될 수 없기에 2차식으로 근을 구해야 한다. 이 식은 아래와 같이 구할 수 있다.$\frac{-B \pm \sqrt{B^2 - 4AC}}{2A}$ 제목인 complex root가 나오는 경우는 $B^2 - 4AC  $\frac{-B - \sqrt{B^2 - 4AC}}{2A} = \frac{-B}{2A} \pm \frac{\sqrt{B^2 - 4AC}}{2A}$ 실수 파트와 허수 파트를 각각 $\lambda, \m..

강의 : 링크참고 : 링크, 링크, 링크 이번엔 2nd order linear homogeneous DE에 대해 알아본다.2nd order linear homogeneous DE에 대해 이해하기 위해 키워드 단위로 하나씩 알아가보자. 우선 2nd order linear homogeneous DE은 아래처럼 생겼다. 이 때 $d(x) = 0$ 이여야 한다.$a(x) \frac{d^2y}{dx^2} + b(x) \frac{dy}{dx} + c(x)y = d(x)$ 2nd order 인 이유는 주어진 식이 갖는 differential operator $\frac{d^i}{dx^i}$ 의 최대 degree $i$ 가 2이기 때문이다.linear 인 이유는 계수 함수 $a(x), b(x), c(x)$와 unkno..