目录
专业词汇
AI、NLP和AIGC的关系
涌现能力(Emergent Ability)
专业词汇
| 专业词汇 (缩写) | 英文 | 中文 |
| AI | Artificial Intelligence | 人工智能 |
| AIGC | Artificial Intelligence Generated Content | 人工智能生成内容 |
| PGC | Professional Generated Content | 专业生成内容 |
| UGC | User Generated Content | 用户生成内容 |
| NLP | Natural Language Processing | 自然语言处理 |
| NLU | Natural Language Understanding | 自然语言理解 |
| LLM | Large Language Model | 大语言模型 |
| GPT | Generative Pre-trained Transformer | 基于Transformer的生成式预训练模型 |
| PET | Prompt Engineering Technology | 提示工程技术 |
| RNN | Recurrent Neural Network | 循环神经网络 |
| LSTM | Long Short-Term Memory | 长短期记忆网络 |
| GAN | Generative Adversarial Networks | 对抗网络 |
| VAE | Variational Auto-Encoders | 变分自编码器 |
| RL | Reinforcement Learning | 强化学习 |
| RLHF | Reinforcement Learning from Human Feedback | 基于人类反馈的强化学习 |
| NNLM | Neural Network Language Model | 神经网络语言模型 |
| Pre-training-Fine-tuning | 预训练-微调框架 | |
| BERT | Bidirectional Encoder Representations from Transformers | 基于Transformer的双向编码器表示，预训练语言表征模型 |
| Masked Language Modeling | 掩码语言建模 | |
| Unidirectional Language Modeling | 单向语言建模 | |
| Emergent Ability | 涌现能力 | |
| semi-supervised | 半监督 | |
| Zero-shot Learning | 零样本学习 | |
| Few-shot | 小样本 | |
| reward model | 奖励模型 | |
| BPE | Byte Pair Encoding | 字节对编码技术 |
| CoT | Chain-of-Thought | 思维链提示技术 |
| AI Agent | AI智能体 | |
| API | Application Program Interface | 应用程序接口 |
AI、NLP和AIGC的关系
涌现能力(Emergent Ability)
涌现能力是指一个系统在达到一定的复杂度和规模时出现的未预料到的新行为或新能力，表现为逻辑认知、世界观、思维链形成和多模态综合能力等。
在大语言模型领域，涌现能力指的是，当模型规模达到某个阈值（大模型奇点）之前，增加参数数量带来的性能提升相对较小，效果基本上等同于随机，而在超过该阈值后，增加参数数量则会带来显著的改善。然而一旦突破大模型奇点之后，增加参数数量或者预训练语料带来的性能提升是有限的，更多需要的是高质量和多样化的指令数据来激发它的泛化性。
- 在自然语言处理任务中，神经网络可以从字符、句法和语义级别学习有效的特征表示。
- 模型的规模（或者说参数数量）是影响涌现能力的关键因素。只有当模型规模达到阈值时，模型才能展现出对复杂任务的处理能力。
- 然而，参数数量的增加也可能导致过拟合和计算成本提高，因此需要平衡模型的规模和性能。
- 此外，训练方法和优化算法的改进也能提高模型的泛化能力和学习效率，进而促进涌现能力的出现。
- 大量的高质量数据可以提供丰富的样本和多样性，使模型能够学到更多的只是和规律。
- 然而，数据量的增加也会增加模型的训练成本和存储需求。
涌现能力是AI模型处理复杂任务的重要指标。涌现能力的表现是模型架构、参数规模、训练方法、数据量、数据质量等多个因素共同作用的结果。在实际应用中，需要综合考虑这些因素，以提高模型的涌现能力，从而更好地解决复杂任务。
--------
《深度对话GPT-4》 仇华 出版时间：2024-07-01
《大模型导论》 张成文 出版时间：2024-07-01
