腾讯自研机器学习平台“太极”八年进化之路
Source :
mp.weixin.qq.com
Author :
腾讯程序员
腾讯自研搭建了业界一流的太极机器学习平台，致力于让用户更加聚焦业务 AI 问题解决和应用，一站式的解决算法工程师在 AI 应用过程中特征处理，模型训练，模型服务等工程问题。结合对用户的习惯理解和功能沉淀，太极在产品层提供数据/特征工程，模型训练，模型服务三块。闭环了用户离线训练到在线服务的应用，包含了不同场景下的数据访问诉求，不同训练模型的诉求，在线服务可靠性的诉求。算法框架&组件层提供了机器学习、深度学习核心组件。可支持 10TB 级模型训练、TB 级模型推理和分钟级模型发布上线，扩展集群规模则可支持更大的模型训练和推理，为实际业务提供大模型的情况下，同时具有很高的性能，达到行业领先水平。 太极机器学习平台采用了分布式参数服务器架构，这是业界第一梯队企业们公认的最佳选择。这种架构的特点是，存储模型参数和执行模型计算，这两种任务在分别的服务器上运行，增加更多服务器就可以支持更大、计算需求更高的模型。太极机器学习平台中的参数服务器系统 AngelPS 也是腾讯自研的成果，现在不仅可以承载 10TB 级模型的训练，对多维特征融合、复杂模型结构等更高级、更前瞻性的功能也有优秀支持。
