基于 BERT 微调一个意图识别（Intent Classification）模型

2025/4/30 16:00:54 来源：https://blog.csdn.net/xiaofei125145/article/details/147595155 浏览: 次关键词：基于 BERT 微调一个意图识别（Intent Classification）模型

基于 BERT 微调一个意图识别（Intent Classification）模型，你的意图类别包括：

查询天气
获取新闻咨询
想听音乐
想添加备忘
查询备忘
获取家政服务
结束对话
增加音量
减小音量
其他

具体实现步骤（详细版）

1. 准备你的数据集

你的数据集应该是这样的格式（通常是 CSV 或 JSON）：

text	label
今天上海天气怎么样？	查询天气
给我放首轻音乐	想听音乐
新闻头条是什么？	获取新闻咨询
记一下明天开会	想添加备忘
查看一下我的备忘录	查询备忘
叫个钟点工来打扫	获取家政服务
不聊了，再见	结束对话
声音大一点	增加音量
小点声	减小音量
乱说的话	其他

每一行是一个用户输入（text）和它对应的意图（label）。

注意：BERT只能识别数字标签，所以需要把意图文字映射成数字，比如：

label2id = {"查询天气": 0,"获取新闻咨询": 1,"想听音乐": 2,"想添加备忘": 3,"查询备忘": 4,"获取家政服务": 5,"结束对话": 6,"增加音量": 7,"减小音量": 8,"其他": 9
}
id2label = {v: k for k, v in label2id.items()}

2. 安装需要的库

pip install transformers datasets torch scikit-learn

3. 代码：BERT意图识别模型训练

import torch
from datasets import load_dataset, Dataset
from transformers import BertTokenizer, BertForSequenceClassification, Trainer, TrainingArguments
from sklearn.model_selection import train_test_split# 1. 准备数据
texts = ["今天上海天气怎么样？", "给我放首轻音乐", "新闻头条是什么？","记一下明天开会", "查看一下我的备忘录", "叫个钟点工来打扫","不聊了，再见", "声音大一点", "小点声", "乱说的话"
]
labels = [0, 2, 1, 3, 4, 5, 6, 7, 8, 9]  # 使用数字标签# 切分成训练集和验证集
train_texts, val_texts, train_labels, val_labels = train_test_split(texts, labels, test_size=0.2, random_state=42
)# 2. 加载分词器
tokenizer = BertTokenizer.from_pretrained("bert-base-chinese")# 3. 对数据进行编码
def tokenize_function(texts):return tokenizer(texts, padding="max_length", truncation=True, max_length=32)train_encodings = tokenize_function(train_texts)
val_encodings = tokenize_function(val_texts)# 4. 构建 PyTorch Dataset
class IntentDataset(torch.utils.data.Dataset):def __init__(self, encodings, labels):self.encodings = encodingsself.labels = labelsdef __len__(self):return len(self.labels)def __getitem__(self, idx):item = {key: torch.tensor(val[idx]) for key, val in self.encodings.items()}item["labels"] = torch.tensor(self.labels[idx])return itemtrain_dataset = IntentDataset(train_encodings, train_labels)
val_dataset = IntentDataset(val_encodings, val_labels)# 5. 加载预训练BERT分类模型
model = BertForSequenceClassification.from_pretrained("bert-base-chinese", num_labels=10)# 6. 设置训练参数
training_args = TrainingArguments(output_dir="./results",num_train_epochs=5,per_device_train_batch_size=8,per_device_eval_batch_size=8,evaluation_strategy="epoch",save_strategy="epoch",logging_dir="./logs",logging_steps=10,learning_rate=2e-5,
)# 7. 用Trainer训练
trainer = Trainer(model=model,args=training_args,train_dataset=train_dataset,eval_dataset=val_dataset,
)trainer.train()

4. 训练好以后，保存模型

model.save_pretrained("./intent_bert_model")
tokenizer.save_pretrained("./intent_bert_model")

5. 推理（用来预测意图）

from transformers import pipeline# 加载保存好的模型
classifier = pipeline("text-classification", model="./intent_bert_model", tokenizer="./intent_bert_model", device=0 if torch.cuda.is_available() else -1)# 测试
text = "帮我叫个保洁阿姨"
prediction = classifier(text)
predicted_label = int(prediction[0]["label"].split("_")[-1])  # 如果是默认模型格式
print(f"预测的标签是：{id2label[predicted_label]}")