如何向大模型注入知识？达摩院通义对话模型SPACE系列探索

Source : mp.weixin.qq.com Author : 李永彬、惠彬原、黄非

如何将人类先验知识低成本融入到预训练模型中一直是个难题。达摩院对话智能团队提出了一种基于半监督预训练的新训练方式，将对话领域的少量有标数据和海量无标数据一起进行预训练，从而把标注数据中蕴含的知识注入到预训练模型中去，打造了SPACE 1/2/3 系列模型。