网页结构建模在低质采集站上的识别应用

Source : mp.weixin.qq.com Author : ANTI

百度搜索是全球最大的中文搜索引擎，拥有着几十亿级的流量，作弊团伙通过各种各样的手段妄想从巨大的流量中不劳而获。搜索反作弊团队维护百度搜索生态安全和质量，经过不断探索并利用前沿技术过滤低质作弊网页，保护真正付出劳动的站长的利益。本文介绍了基于MarkupLM的网页建模方式，引入XPath embedding自动化提取作弊页面结构特征，并与文本结合来进行采集站点识别。