网页多模态建模思考
出处：
mp.weixin.qq.com
作者：
D.H.
本文从网页理解业务出发，从多模态信息融合，预训练任务构建角度，探讨通用网页建模方案。首先，指出网页的特殊性，即从不同观察视角下，网页存在富文本、树形结构，和图层堆叠三种形态。在此基础上，对比了多种多模态融合思路的优缺点，给出一种较好的方案。进一步，提出多粒度、多维度的网页预训练方案；最后，探索了大模型时代，利用现有多模态模型，低成本的适配到网页的一种可行思路。
查看原文
22
技术
lddgo
分享于
2024-12-25
