初探自然语言预训练技术演进之路
Source :
mp.weixin.qq.com
Author :
罗强
人工智能的三个层次： 运算职能：数据的存储和计算能力，机器远胜于人类。 感知职能：视觉、听觉等能力，机器在语音识别、图像识别领域已经比肩人类。 认知智能：自然语言处理、常识建模与推理等任务，机器还有很长的路要走。 自然语言处理属于认知智能范畴，由于自然语言具有抽象性、组合性、歧义性、知识性、演化性等特点，为机器处理带来了极大的挑战，有人将自然语言处理称为人工智能皇冠上的明珠。近些年来，出现了以 BERT 为代表的预训练语言模型，将自然语言处理带入了一个新纪元：预训练语言模型 + 特定任务精调。本文试图梳理自然语言预训练技术的演进之路，以期和大家相互交流学习，不足、谬误之处望批评指正。
