word2vec 究竟在学习什么？

研究者在论文中证明，word2vec 在现实训练条件下可归结为无权重最小二乘矩阵分解，且其学习动态有闭式解——最终学到的词嵌入表示正是对特定矩阵做 PCA 的结果。这些隐特征依次对应可解释的概念，如名人传记、政府管理等主题。