字节跳动 AI Lab 火山翻译在 WMT2022 非洲语向任务夺得桂冠

非洲是世界上面积第二大的大洲，也是世界上第二个人口大洲，其大陆上存在 2146 种语言——约占世界语言总数的三分之一。广袤的面积、繁多的种族，还有宗教传播和殖民统治的影响，使其成为世界上语言最复杂的一个大陆。然而，随着英语、法语等语言在非洲的普及，这些承载着多样文化的两千多种语言正在逐渐无声消亡。 在过去的几年里，低资源语种的机器翻译质量得到了很大提升，这得益于多语言机器翻译的跨语种知识共享、语料挖掘还有大语言模型的应用。然而还是有很多语言，特别是上述的非洲语言，进展并不顺利。去年的多语言机器翻译任务上，以爱尔兰语和威尔士语为代表的印欧语系获得了平均 19.3 BLEU 的大幅提升，而以富拉尼语和伊博语为代表的非洲语种的平均提升只有 3.5 BLEU。究其原因，一是相比于其他语言，非洲语言鲜被重视；二是非洲语言种类繁多，大多数语言使用人数不到百万，其中有些甚至只以口语形式流传，这两者导致缺乏足够的非洲语言语料数据，非洲语种的机器翻译效果也难以提升。

查看原文 43 商业 lddgo 分享于 2023-01-10