【AI面试准备】中文分词与实体抽取技术详解

分词，词性标准

一、分词与词性标注

1. 分词（Word Segmentation）

分词是将连续的文本切分成独立词语的过程，是中文自然语言处理的基础。例如：

• 输入文本："我爱自然语言处理"
• 分词结果：["我", "爱", "自然语言处理"] 或更细粒度 ["自然", "语言", "处理"]
• 常见方法：
  • 基于规则：正向/逆向最大匹配（如“最大词优先”切分）。
  • 基于统计：HMM（隐马尔可夫模型）、CRF（条件随机场）。
  • 深度学习：BiLSTM、BERT（可识别未登录词）。

2. 词性标注（Part-of-Speech Tagging）

为分词后的每个词语标注词性（如名词、动词），帮助理解上下文语义。

• 输入文本："苹果发布了新款手机"
• 结果示例：

  [{"text": "苹果", "pos": "名词", "idx_start": 0},{"text": "发布", "pos": "动词", "idx_start": 2},{"text": "了", "pos": "助词", "idx_start": 4},{"text": "新款", "pos": "形容词", "idx_start": 5},{"text": "手机", "pos": "名词", "idx_start": 7}
  ]
  

• 标注难点：
  • 多义词问题（如“苹果”可以是水果或公司）。
  • 依赖上下文（如“打”在“打电话”中是动词，在“一打纸”中是量词）。

---

二、实体抽取（Named Entity Recognition, NER）

从文本中提取特定类别的实体（如人名、地点、时间），常用于信息结构化。

1. 实体类型示例

实体名称	含义	例子
PER	人名	张三、李四
LOC	地点	北京、长江
ORG	组织	阿里巴巴、清华大学
TIME	时间	2023年、下午3点

2. 输出示例

输入文本："马云在杭州创立了阿里巴巴集团。"
实体抽取结果：

[{"text": "马云", "name": "PER", "idx_start": 0, "standard_value": "马云（阿里巴巴创始人）"},{"text": "杭州", "name": "LOC", "idx_start": 4, "standard_value": "杭州市"},{"text": "阿里巴巴集团", "name": "ORG", "idx_start": 9, "standard_value": "阿里巴巴集团"}
]

---

三、如何快速掌握？

1. 学习路径

• 基础理论：
  • 理解分词算法（如最大匹配法、HMM）。
  • 学习词性标注原理（如基于转移概率的标注）。
  • 掌握实体抽取模型（如BiLSTM-CRF、BERT+CRF）。
• 工具实践：
  • Python库：jieba（分词+词性标注）、spaCy（实体抽取）。
  • 深度学习框架：Hugging Face的transformers库（BERT模型）。

2. 实战练习

• 分词与标注：

  import jieba.posseg as pseg
  text = "我爱自然语言处理"
  words = pseg.cut(text)
  for word, flag in words:print(f"{word} ({flag})")
  

  输出：我 (r) 爱 (v) 自然语言处理 (nz)

• 实体抽取：

  import spacy
  nlp = spacy.load("zh_core_web_sm")
  doc = nlp("马云在杭州创立了阿里巴巴集团。")
  for ent in doc.ents:print(f"{ent.text} - {ent.label_}")
  

  输出：马云 - PERSON、杭州 - GPE、阿里巴巴集团 - ORG

---

四、实际工作中的应用场景

1. 搜索引擎优化

• 分词：提升搜索关键词匹配准确率（如“机器学习书”切分为["机器", "学习", "书"]）。
• 实体抽取：识别用户搜索意图（如“北京天气”提取地点实体 LOC:北京）。

2. 智能客服

• 词性标注：识别用户问题中的动词和名词（如“如何重置密码”→“重置（动词）+密码（名词）”）。
• 实体抽取：提取订单号、产品名称，自动转接对应服务。

3. 金融风控

• 实体关联：从新闻中提取公司名（ORG）和负面事件（如“破产”），触发风险预警。

---

五、注意事项

1. 领域适配：
   • 医疗领域需添加专业词典（如“CT检查”）。
2. 模型调优：
   • 在特定场景下微调BERT模型（如法律文书中的“被告人”作为PER）。
3. 数据清洗：
   • 去除噪声文本（如HTML标签）以提高准确率。

通过结合理论学习和工具实践，能在实际工作中快速应用分词、词性标注与实体抽取技术。