목록2025/02/09 (1)
TechY
Karpathy ChatGPT 강의 메모
강의를 들으면서 실시간으로 들으면서 쓰는 메모.섹션은 유튜브에 맞춰져 있습니다. (앞에 몇 개 섹션은 듣기만 했습니다) 다 쓰고 나서..들으면서 생각나는데로 쓴거라 해당 글만 가지고는 충분히 도움이 안될 수도 있을 것 같다. 영상을 들으면서 참고용으로만 보시길..Inference : generating new data from model주어진 초기값 이후에 draw 되는 많은 토큰들의 확률 분포, 그 중에 하나가 뽑힘, (one token at time)gpt2modern stack 이 처음 나온 형태지금 모델들은 이게 커진 것1.6 billion parameters지금은 trillion or serveral hundreds of billionsmax context length is 1,024 token..
[간단 정리]
2025. 2. 9. 02:57