大模型面试题：Encoder-only结构能适合于生成式任务吗？

获取更多面试真题的集合，请移步至 https://pica.zhimg.com/80/v2-7fd6e77f69aa02c34ca8c334870b3bcd_720w.webp?source=d16d100b

目前基于Enodee-only的结构主要用于编码信息，而不太适合于生成式的任务。但是Enodee-only结构也是可以进行生成式任务的，其做法很简单，就是将最后一个token进行mask即可。但这么做会存在一些问题：

1. 模型很少有针对性的在训练阶段进行最后一个token的mask，因此在inference的时候会出现和训练时候不一致的情况，导致泛化能力不好。

2. 采用Encoder-only结构的模型难以用自回归的形式进行解码导致无法复用kv-cache，因为使用双向attention导致后面的token会影响到前面token的表征。