通过Transformers用不同的采样方法生成文本

Source : mp.weixin.qq.com Author : 谷蓝

近年来，随着以OpenAI的ChatGPT和Meta的LLaMA为代表的基于数百万网页数据训练的大型Transformer语言模型的兴起，开放域语言生成领域吸引了越来越多的关注。开放域中的条件语言生成效果令人印象深刻，典型的例子有：GPT2在独角兽话题上的精彩续写和XLNet等。促成这些进展的除了transformer架构的改进和大规模无监督训练数据外，更好的采样策略也发挥了不可或缺的作用。本文简述了不同的采样策略，同时向读者展示了如何使用流行的transformer库轻松实现这些采样策略！