论文速读|Increasing Diversity While Maintaining Accuracy: Text Data Generation with Large Language Models and Human Interventions
论文信息：
简介：
本文探讨了如何利用大型语言模型（LLMs）生成用于训练和评估其他模型的文本数据。随着自然语言处理（NLP）技术的发展，训练自定义的自然语言分类模型变得越来越容易。然而，数据收集仍然是模型构建中成本较高的部分。现有的开源数据集可能无法匹配模型构建者的特定领域分布或不包含所需的标签，这导致模型构建者需要收集和标注新的数据，这可能非常耗时且昂贵。近年来，生成型大型语言模型（如GPT-3）的发展为创建分类模型的训练数据提供了新方法。模型构建者可以通过提示LLM生成特定领域和标签的文本数据，从而快速获得大量数据。
本文的动机在于，尽管LLM可以生成大量数据，但生成高质量数据集仍然是一个挑战。高质量数据集应具有高多样性和覆盖率，同时生成的文本应与模型的目标任务相关且具有准确的伴随标签。本文旨在通过人机协作来高效创建高质量数据集，以解决这一挑战。此外，本文还探讨了如何通过人为干预来进一步促进文本数据生成的多样性和准确性。
论文方法：
本文提出了一种结合LLM生成方法和人类监督的方法，以实现多样化和准确的数据生成。
具体方法包括：
1)Logit Suppression
Logit suppression是一种多样化方法，通过抑制在中间数据集中已频繁生成的标记来实现多样化。该方法记录到目前为止生成的标记的频率，然后降低高频标记的采样概率。然而，这种方法可能会抑制一些有助于准确生成的标记。
2)Temperature Sampling
Temperature sampling通过控制采样分布的温度来实现多样化。高温导致更平坦的标记采样概率，增加了采样“不太可能”的标记的概率，从而实现多样化。然而，过高的温度可能会导致与提示无关的标记，从而影响生成结果的准确性。
3) Human Interventions
本文研究了两种人为干预措施来改善生成数据的准确性：
a)标签替换（LR）：将不一致的标签替换为正确的标签。本文通过模拟标签器对所有生成的文本进行检查并替换标签来实现LR。此外，本文还提出了一种使用代理模型的方法，通过训练二元分类器作为代理模型，每个模型学习一个标签，以减少手动检查的工作量。
b)范围外过滤（OOSF）：移除不在任务领域内或不匹配任何标签的实例。本文通过训练代理模型来标注未见过的实例，这些模型是二元线性支持向量分类器，输入为BERT嵌入的文本。
论文实验：
根据Figure 2的内容，本文的实验旨在评估多样化文本生成方法对生成数据的多样性、标签准确性、以及训练模型的准确性的影响。使用生成的数据对基础大小的BERT分类器进行微调，使用Huggingface Transformer库的预训练权重。使用Adam优化器进行训练，学习率为3e-5，预热期为3个epoch，采用早停策略。
Figure 2展示了实验结果，包括模型准确性、标签准确性、多样性和与原始数据集的相似性。
具体结果如下：
1)模型准确性：展示了使用不同多样化方法生成的数据训练的模型的准确性，并与使用原始数据集训练的模型（oracle模型）和GPT-3的少样本/零样本分类的准确性进行比较。
2)标签准确性：评估生成文本与指定标签的一致性。
3)多样性：使用Remote-Clique指标（平均成对距离）来衡量数据集的多样性。
4)相似性：评估生成数据集与原始数据集的相似性，使用BERT嵌入文本计算距离。
论文链接：
https://arxiv.org/pdf/2306.04140
