通过Transformers用不同的采样方法生成文本
出处:
mp.weixin.qq.com
作者:
谷蓝
近年来,随着以OpenAI的ChatGPT和Meta的LLaMA为代表的基于数百万网页数据训练的大型Transformer语言模型的兴起,开放域语言生成领域吸引了越来越多的关注。开放域中的条件语言生成效果令人印象深刻,典型的例子有:GPT2在独角兽话题上的精彩续写和XLNet等。促成这些进展的除了transformer架构的改进和大规模无监督训练数据外,更好的采样策略也发挥了不可或缺的作用。
本文简述了不同的采样策略,同时向读者展示了如何使用流行的transformer库轻松实现这些采样策略!
查看原文
37
技术
lddgo
分享于
2024-05-27