基于多模态信息抽取的菜品知识图谱构建

Source : mp.weixin.qq.com Author : 到店研发平台

菜品作为到店餐饮各相关业务的基石，提供了更细粒度的视角理解餐饮供给，为到餐精细化运营提供了抓手。美团到店研发平台/数据智能平台部与天津大学刘安安教授团队展开了“基于多模态信息抽取的菜品知识图谱构建”的科研合作，利用多模态检索实现图文食材的识别，扩展了多模态菜品食材识别的范围，提升了食材识别的准确性。该项工作提出了一个跨模态食材级数据集，该数据集提供食材及其关系有助于增强对中国烹饪的理解。介绍该工作的论文《Toward Chinese Food Understanding: a Cross-Modal Ingredient-Level Benchmark》被IEEE Transactions on Multimedia（多媒体领域权威期刊之一）收录。