GloVe
斯坦福大学提出的词嵌入方法，基于全局词共现统计矩阵分解，将词映射为固定稠密向量，是经典词表示方法之一。
时间轴 (近 90 天)
第一代嵌入模型是词嵌入（如 Word2Vec、GloVe），输入单个词输出向量，局限是无法区分多义词在不同上下文中的含义。
静态词向量时代各向异性问题已存在且GloVe词向量尤为严重，进入Transformer时代因上下文建模有所缓解但未消失
LLM的表示与传统词嵌入模型（如Word2Vec、GloVe）思路一脉相承，但能捕捉上下文、语气、隐含语义等更复杂特征
2014年，斯坦福大学的GloVe通过对全局共现矩阵进行分解，结合了矩阵分解方法和局部上下文窗口方法的优势
词嵌入维度的经验法则通常建议在50-300之间，Word2Vec和GloVe常用100-300维
2014年，斯坦福大学的GloVe（Global Vectors）通过对全局共现矩阵进行分解，结合了矩阵分解方法和局部上下文窗口方法的优势
Word2Vec于2013年、GloVe于2014年提出，只能为单个词生成固定向量，无法处理一词多义问题
LSA可以被视为现代词嵌入技术（如Word2Vec、GloVe）的思想先驱，它们都试图用低维稠密向量捕获语义关系
Word2Vec、GloVe等方法产生静态嵌入，同一个词无论语境向量都相同，导致歧义问题
全部知识事实 (10)
GloVe由Stanford的Jeffrey Pennington等人于2014年提出，通过对全局词共现矩阵进行加权分解来训练词向量
60%待验证第一代嵌入模型是词嵌入（如 Word2Vec、GloVe），输入单个词输出向量，局限是无法区分多义词在不同上下文中的含义。
50%待验证静态词向量时代各向异性问题已存在且GloVe词向量尤为严重，进入Transformer时代因上下文建模有所缓解但未消失
50%待验证LLM的表示与传统词嵌入模型（如Word2Vec、GloVe）思路一脉相承，但能捕捉上下文、语气、隐含语义等更复杂特征
50%待验证词嵌入维度的经验法则通常建议在50-300之间，Word2Vec和GloVe常用100-300维
50%待验证Word2Vec于2013年、GloVe于2014年提出，只能为单个词生成固定向量，无法处理一词多义问题
50%待验证LSA可以被视为现代词嵌入技术（如Word2Vec、GloVe）的思想先驱，它们都试图用低维稠密向量捕获语义关系
50%待验证Word2Vec、GloVe等方法产生静态嵌入，同一个词无论语境向量都相同，导致歧义问题
50%待验证2014年，斯坦福大学的GloVe通过对全局共现矩阵进行分解，结合了矩阵分解方法和局部上下文窗口方法的优势
50%待验证2014年，斯坦福大学的GloVe（Global Vectors）通过对全局共现矩阵进行分解，结合了矩阵分解方法和局部上下文窗口方法的优势
50%