2025-05-14 Word Embedding

Word Embedding

词嵌入（Word Embedding）是自然语言处理（NLP）中的一种表征学习技术，旨在将单词映射为连续的低维向量，从而使计算机能够理解和处理文本信息。它通过学习大量文本数据中的上下文关系，将具有相似语义的词映射到向量空间中彼此接近的位置，实现词语的语义表示。



词嵌入的背景与意义

传统的文本表示方法如One-Hot编码，虽然简单直观，但存在维度高、稀疏且无法反映词与词之间语义无法关联的问题。例如，旅店和汽车旅店的One-Hot向量完全正交，无法体现他们的语义相似性

词嵌入通过将词映射到一个低维且密集的向量空间，既降低了维度，又保留了词语的语义信息，使得相似含义的词在向量空间中举例更近



词嵌入的原理

词嵌入基于分布式假设：即语境相似的词具有相似的含义。通过学习词的上下文信息，训练模型使得词向量能够捕捉词义。

其核心思想是构建一个映射函数，将词转为向量。这个过程通常分为两步：

1. 词到初始向量的映射，如One-Hot编码

2. 向量优化与降维：通过模型学习得到更合理的低维向量表示



主要生成方法

• 基于矩阵的分解方法：如利用词共现矩阵（亲和矩阵）进行奇异值分解（SVD），实现降维和语义捕捉

• 基于预测的神经网络模型：

  • CBOW：通过上下文词预测中心词

  • Skip-Gram：通过中心测预测上下文词

这两种模型通过最大化上下文词和中心测的共现频率，训练得到词向量，使得语义相关的词在向量空间中更接近



词嵌入的特点

• 无监督学习：只需大量未标注文本，通过上下文信息自动学习词义

• 低维密集表示：相比One-Hot高维稀疏向量，词嵌入向量维度更低且信息更丰富

• 保留语义关系：相似词向量距离近，支持计算词间相似度和关系推断

• 易于下游任务使用：词向量可作为输入特征，提升文本分类、机器翻译、问答等任务效果



词嵌入广泛应用于文本分类、情感分析、机器翻译、信息检索、问答系统等多种NLP任务，是现代自然语言处理的基础技术之一。词嵌入通过将单词映射为低维向量，有效捕捉词语间的语义关系，解决了传统表示方法的不足，成为自然语言处理领域不可或缺的核心技术。