欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 健康 > 美食 > 大模型面试题:pretrain和test阶段的scaling law的资源分配策略区别是啥?

大模型面试题:pretrain和test阶段的scaling law的资源分配策略区别是啥?

2026/2/11 14:07:47 来源:https://blog.csdn.net/2501_91504718/article/details/148810334  浏览:    关键词:大模型面试题:pretrain和test阶段的scaling law的资源分配策略区别是啥?

更多面试题,请看 
大模型面试题总结-CSDN博客
或者

https://gitee.com/lilitom/ai_interview_questions/blob/master/README.md

最好将URL复制到浏览器中打开,不然可能无法直接打开

-------------------------------------------------------------------------------------------------

1. **Pre-train Scaling Law** 的资源分配是预先规划的,主要在模型规模(N)、数据集大小(D)和训练计算量(C)之间进行平衡(例如,Chinchilla 定律建议 N 与 D 成正比,即模型的大小应与数据量同步扩展)。其目标是找到这三者的最佳组合,防止任何一个因素成为性能提升的阻碍。

2. **Test Time Scaling Law** 的资源分配是实时进行的,通过动态调整单次推理的计算成本(例如增加采样次数或优化 Prompt 设计的复杂度)来提升效果。例如,在对延迟要求较高的场景中,可能仅采样一次;而在对精度要求较高的场景中,采样次数可能达到 5 到 10 次。

3. **关键区别**:预训练阶段的资源分配决定了模型的基础能力,需要经过长期的训练来实现;而在测试阶段的资源分配则是在模型能力已经确定的情况下,通过灵活调整推理策略来优化最终的结果。

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词