[간단 정리] Kernel Method 메모

kernel method

• pattern analysis의 목적은 general type of relation in dataset이라고 할 수 있다. 다양한 algorithm을 통해 이를 해결할 수 있는데 이중 kernel method는
  • kernel function으로 high-dimensional mapping 을 하며,
  • inner-product를 통해 이들 간의 similarity(relation) 를 계산한다.
  • Φ(𝑥𝑖)𝑇Φ(𝑥𝑗)
• kernel trick
  • 위의 연산은 고차원 연산과 내적 연산이 따로 이루어져, computationally expensive 하다.
  • mercer's theorem에 따라, 두 연산을 한 번에 진행해주는 kernel function 𝐾K를 정의한다.
  • 𝐾(𝑥𝑖,𝑥𝑗)=Φ(𝑥𝑖)𝑇Φ(𝑥𝑗)

• mercer's theorem

  • positive semi-definite 한 kernel method 는 square as a sum of a convergent sequence of product functions 로 표현될 수 있다.
  • 𝐾(𝑠,𝑡)=∑∞𝑗=𝑖𝜆𝑗𝜙𝑗(𝑠)𝜙𝑗(𝑡)
  • 즉, kernel function이 condition을 만족하면, 위의 식을 충족하는 𝜙ϕ 가 존재한다.

• Gram matrix

  • 벡터 M과 그들의 집합 V를 예약했을 때, 이들의 내적 곱의 모든 경우의 행렬 표현
  • symmetric matrix로써, positive-semi-defitnite 하기 때문에, kernel trick의 method 로 사용될 수 있다.
  • 𝐺𝑖,𝑗=𝑉𝑇𝑖𝑉𝑗