관리 메뉴
목록2026/03/01 (1)
늦깎이 공대생의 인공지능 연구실
[논문프리뷰]word2vec은 정확히 무엇을 학습하는가?
word2vec은 정확히 무엇을, 그리고 어떻게 학습할까요? 이 질문에 답하는 것은 규모는 작지만 흥미로운 언어 모델링 작업 내에서 표현 학습(Representation Learning)을 이해하는 것과 같습니다. word2vec이 현대 언어 모델의 잘 알려진 선구자임에도 불구하고, 수년 동안 연구자들에게는 그 학습 과정을 설명할 정량적이고 예측 가능한 이론이 부족했습니다.이 논문을 통해 마침내 그러한 이론을 제시합니다. 학습 문제가 '가중치 없는 최소 제곱 행렬 분해(unweighted least-squares matrix factorization)'로 귀결되는 현실적이고 실용적인 체계가 존재함을 증명했습니다. 또한 경사 흐름 역학(gradient flow dynamics)을 폐쇄형(closed for..
BAIR
2026. 3. 1. 15:48