文章目录
- 1 前言
- 2 大模型/自然语言处理
- 2.1 FreeAL：在大模型时代实现无需人工的主动学习
- 2.2 COLD：中文攻击性语言检测基准
- 2.3 将词汇的对比信息融入词嵌入以实现反义词-同义词区分
- 3 搜索/推荐/营销
- 3.1 PLE：一种面向个性化推荐的新型多任务学习模型
- 3.2 MMoE：多任务学习中的任务关系建模
- 4 机器学习
- 4.1
- 5 深度学习
- 5.1
1 前言
本篇博客主要总结一下博主看过的人工智能领域的一些前沿论文，期待与大家一起进行交流探讨，列表中有超链接的是已经进行了精读的完整笔记，没有超链接的是进行了泛读的论文，博主会快马加鞭进行更新滴！请耐心等待博主嘿嘿，有什么比较好的论文也欢迎大家推荐给我啦，和大家一起学习共同进步！
2 大模型/自然语言处理
2.1 FreeAL：在大模型时代实现无需人工的主动学习
- 论文题目：FreeAL: Towards Human-Free Active Learning in the Era of Large Language Models
- 发表情况：2023-EMNLP
- 主要内容：
传统主动学习（AL）高度依赖人工筛选数据量大的未标注样本并进行标注，导致应用成本高昂且效率低下，难以适应大语言模型（LLM）时代的需求。
本文提出 FreeAL 框架，旨在完全消除人工参与。其核心创新在于利用LLM自身能力代替人工完成AL的两个关键步骤：
（1）自动样本选择：设计基于“自信度-不确定性”的评估框架，利用LLM预测的置信度和不确定性自动识别高价值样本；
（2）自动标注：直接使用LLM为选出的样本生成伪标签。
在文本分类任务上的实验表明，FreeAL 仅依赖LLM进行样本选择与标注，其性能即可接近需要人工参与的经典AL方法。这显著降低了AL的应用门槛和成本，为实现全自动化、可扩展的主动学习提供了有效路径。
2.2 COLD：中文攻击性语言检测基准
- 论文题目：COLD: A Benchmark for Chinese Offensive Language Detection
- 发表情况：2022-EMNLP
- 主要内容：
中文攻击性语言（如辱骂、仇恨言论）的检测缺乏高质量、细粒度的公开基准，现有数据集存在标注不一致、场景覆盖窄、缺乏上下文理解等问题，制约了中文内容安全技术的发展。本文提出首个综合性中文攻击性语言检测基准 COLD，核心创新包括：多维度标注体系、上下文增强设计、多任务评估框架。
2.3 将词汇的对比信息融入词嵌入以实现反义词-同义词区分
- 论文题目：Integrating distributional lexical contrast into word embeddings for antonym synonym
- 发表情况：2016-ACL
- 主要内容：
传统词嵌入模型主要依赖上下文分布相似性建模词义，导致同义词（synonym）与反义词（antonym） 在向量空间中距离相近（如"热"与"冷"余弦相似度高），无法有效区分语义对立关系，制约了词义敏感型任务（如情感分析、文本推理）的性能。
本文提出一种融合分布词汇对比的词嵌入框架，核心创新包括：
（1）对比信号提取：基于语料库统计，量化词对间的分布对比强度（如共现模式差异）；
（2）对比感知训练：将对比强度作为约束项融入损失函数，强制反义词对在向量空间中相互排斥，同时保持同义词对聚集。
在标准语义评测集及下游任务验证中表明，同义词识别性能保持稳定，未因对比约束而下降。
3 搜索/推荐/营销
3.1 PLE：一种面向个性化推荐的新型多任务学习模型
- 论文题目：Progressive Layered Extraction (PLE): A Novel Multi-Task Learning (MTL) Model for Personalized Recommendations
- 发表情况：2020-RecSys
- 主要内容：
本文针对个性化推荐系统中多任务学习（MTL）普遍存在的任务冲突和负迁移问题，提出了创新模型PLE。传统共享底层参数的MTL模型在处理任务相关性差异大的复杂场景时效果受限。PLE的核心创新在于设计了一种分层专家结构，明确分离出共享专家层（用于提取跨任务共性知识）和任务专属专家层（用于学习任务特定知识），从根源上减少参数冲突。同时，PLE引入了渐进式提取机制，在更高层级通过门控网络动态、渐进地融合底层共享专家和任务专属专家提取的信息，优化知识迁移路径。
实验证明，在腾讯视频推荐等实际工业场景中，PLE显著优于如YouTube、MMoE等主流基线模型，特别是在任务差异大的情况下，有效提升了点击率（CTR）和观看时长等关键指标，成功缓解了负迁移问题，为构建高效鲁棒的工业级推荐系统提供了强有力的多任务学习解决方案。
3.2 MMoE：多任务学习中的任务关系建模
- 论文题目：Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
- 发表情况：2018-SIGKDD
- 主要内容：
传统多任务学习（MTL）采用硬参数共享机制，所有任务强制共享底层网络。当任务间相关性低或存在冲突时，易导致负迁移（任务相互干扰）和性能下降，制约模型在复杂场景（如推荐系统）的应用。
本文提出 MMoE（Multi-gate Mixture-of-Experts） 模型，核心创新为：(1) 混合专家层（MoE）：构建多组独立专家网络（Expert），提取差异化特征；(2) 多门控机制（Multi-gate）：为每个任务设计独立门控网络（Gating Network），动态学习专家组合权重，实现任务自适应知识共享。
最后在真实数据集（如大规模内容推荐）上验证，MMoE显著优于共享底层模型，成功缓解负迁移问题，为工业级多任务学习提供了高效解决方案。
