TechY

강의 : 링크 non-homogeneous differential equation을  풀어볼 것이다. 아래와 같은 식이 있다.$y^{``} -3 y^{`} -4 y = 3 e^{2x}$ 식을 보면 알 수 있는데, 우변이 0이 아니기 때문에 homogeneous equation이 아니다. 이 경우 어떻게 풀까?이런 경우를 푸는 방식 중 하나가 undetermined coefficients 이다. 우리가 위 식에서 우 변을 0으로 둬서 homogeneous differential equation을 풀어서, solution $y = h$ 를 얻었다고 하자.그리고 non-homogeneous equation 을 풀어서 soltuion $y = j$ 를 얻었다고 하자. 그러면 두 solution 을 더하게 되면 ..

강의 : 링크 본 포스팅은 이전 문서 "First order homogeneous equations" 의 연장선 상에 대한 것이다. 저번에 다룬 식들을 보면 아래와 같다.$Ay^{``} + By^{`} + Cy = 0$$y = e^{rx}$$y(Ar^2 + Br + C) = 0$ $y$ 는 0이 될 수 없기에 2차식으로 근을 구해야 한다. 이 식은 아래와 같이 구할 수 있다.$\frac{-B \pm \sqrt{B^2 - 4AC}}{2A}$ 제목인 complex root가 나오는 경우는 $B^2 - 4AC  $\frac{-B - \sqrt{B^2 - 4AC}}{2A} = \frac{-B}{2A} \pm \frac{\sqrt{B^2 - 4AC}}{2A}$ 실수 파트와 허수 파트를 각각 $\lambda, \m..

강의 : 링크참고 : 링크, 링크, 링크 이번엔 2nd order linear homogeneous DE에 대해 알아본다.2nd order linear homogeneous DE에 대해 이해하기 위해 키워드 단위로 하나씩 알아가보자. 우선 2nd order linear homogeneous DE은 아래처럼 생겼다. 이 때 $d(x) = 0$ 이여야 한다.$a(x) \frac{d^2y}{dx^2} + b(x) \frac{dy}{dx} + c(x)y = d(x)$ 2nd order 인 이유는 주어진 식이 갖는 differential operator $\frac{d^i}{dx^i}$ 의 최대 degree $i$ 가 2이기 때문이다.linear 인 이유는 계수 함수 $a(x), b(x), c(x)$와 unkno..

강의 : [링크]참고 : [링크] [링크] homogeneous function이란 함수의 인자에 임의의 scalar $s$ 를 곱해준 것과 함수의 결과값에 임의의 scalar $s$에 $k$ 제곱을 곱해준 것이 서로 같으면 $k$ degree에 대해서 homogeneous 한다고 얘기한다. 식으로 표현하면 아래와 같다. $f(s x_1, ..., s x_n) = s^k \dot f(x_1, ..., x_n)$ 만약 양수 $s$ 에 대해서만 성립하는 $f$ 라면 positively homogeneous 라고 하며 대표적으로 vector norm이 있다. 강의에서 first order homogeneous equation 의 설명을 아래와 같이 한다. 미분 방정식이 아래와 같이 있을 때,$\frac{dy..

MIT 수업을 이해하기 아직 어렵다고 판단, KhanAcademy 의 ODE 수업을 듣고 다시 도전해보려 한다.이번 포스팅에서는 Separable equations 와 Exact equations 부분을 간략하게 정리한다. 미분 방정식에는 다양한 형태가 있고, analytical 하게 풀 수 있는 문제가 있고 그럴 수 없다면 numerical method 로 풀어야 하는 경우도 있다. 우선 가장 간단한 형태인 seperable equation 의 형태를 먼저 알아본다.Separable equations일단 ODE이기 때문에, 하나의 변수 $x$ 와 이에 대한 함수값 $y$ 가 있다. 이에 따라 만들어지는 ODE는 $\frac{dy}{dx} = f(x,y)$ 의 형태를 띈다. separable equati..

MIT OpenCourseWare 를 듣고 있고, Response to Exponential Input에 대한 부분을 듣고 문제 풀이를 쓴다. 문제는 아래와 같다. $\frac{df}{dt} = a \cdot f + e^{st}$ $f_p$$ = k \cdot e^{st}$ (particular solution) $f = f(0) \text{ at } t = 0$ narrative하게 만들면, $f$ 가 계좌에 있는 내 돈 (balance)이고, $a$ 가 이자율이며, $t$ 는 시간(년), $s$ 가 적금액이 되겠다. differential equation은 주로 homogeneous part 와 non-honogeneous part 로 나뉘어지는데, honogenouse differential equ..

"Generative Agents: Interactive Simulacra of Human Behavior" 이라는 논문을 너무 재밌게 읽었고, (곧 리뷰하겠다) 구현해보고 싶다는 생각에 구글링을 하다가 langchain 이라는 오픈 소스를 찾았다. (곧 리뷰하겠다) langchain의 use cases 를 훑어보던 중 babyagi와 autogpt (너무 유명한) 프로젝트를 알게 되었는데, 두 프로젝트는 "autonomous agent" 라는 공통적인 목적을 갖고 있다. autonomous agent에 대한 개념은 langchain 문서에 정리되어 있는 것을 빌려 말해보면, chatgpt와 같이 우리의 요구 사항에 대한 solution을 반환하는 어떤 주체를 agent 라고 하자. autonomous ..

논문 링크 : [link] transfer learning 학습 방법이 딥러닝 분야에서 널리 쓰이면서, huggingface나 timm과 같은 pretrained big-model을 제공해주는 라이브러리도 많아지고 있다. 이에 따라, 실무자들은 각자에게 맞는 테스크와 데이터에 맞게, 모델을 재학습시킨다. 이 때 여러 방법들이 있는데, 첫 번째로는, fine-tuning 방식이다. 이는 작은 학습률로 모델의 전체 파라미터를 업데이트하는 방식으로, 이전 실험에 따르면, 가장 좋은 학습 결과를 가져다준다고 한다. 두 번째로는 linear probing 이라고 하는 방식으로, output head 만 바꿔서, 마지막 linear layer만 재학습시키는 방식이다. 이는, pretrained layer를 업데이트..