最近我们在生产环境批量部署了大模型专用推理集群，并成功让包括70B在内的大模型推理速度提升50%，大幅缩减部署成本，稳定应用于生产环境。本文基于我们在部署大模型推理集群时的一些经验，分享一些有效提升大模型的推理速度方法。最后，我们在结尾处推荐了几个经过我们评测且表现优异的大模型推理框架。希望这些建议能帮助读者在项目中选择适合自己的推理框架。 OpenAI的科学家Hyung Won Chung在2023年的公开演讲《Large Language Models》[8]中指出，大模型的某些能力仅在达到特定规模时才能显现，可见未来大模型的参数量肯定会越来越大，这也是大模型的发展趋势。随着参数量的增加，对大模型的推理速度要求越来越高，有哪些方法可以提高大模型的推理速度或吞吐量？ 首先我们将探讨大模型的加速优化方向，随后文章将依据时间线，介绍一些业界内较为经典的实用大模型加速技术，包括但不限于“FlashAttention[1]”和“PageAttention[3]”等技术。 以下为按时间顺序业界的一些经典大模型推理加速技术，本文试图为读者提供一个按时间发展顺序的大模型加速方法综述。
在供应链履约流程中，PC实操发货主要负责 “完成复查入库商品的数量、规格和质量，并核对证书和防伪扣的正确性，确保商品无问题后，对订单内的商品进行打包、打印黏贴物流面单，并交接给3PL配送”。 作为配送前的最后一道屏障，需要确保供应链从生产入库到出库的环节的质量符合预期，最终将包裹交付到物流供应商，配送给消费者。
得物的图片库方案采用的是android主流图片库-FaceBook开源库Fresco，我们基于其视图数据分离、链式调用高可拓展性，来实现二次封装，拓展支持如图片预加载、heif&apng&svg图片格式解码、CDN短边分级裁剪、自定义Processor处理器、白屏监控等能力。 近期收到了一些关于图片体验问题的反馈，主要为部分场景加载耗时高、加载图出现拉伸、锯齿、黑线、闪烁异常以及无法成功加载等问题，我们对相关问题进行了针对性的跟进治理，反馈的体验问题也基本都处理完毕。 本文核心介绍下由于Fresco开源库的部分历史实现缺陷导致的体验问题。
都说程序员的成长是码出来的，此话不假。但如果既会写代码，还会写文章，还能讲PPT，那你离影响力还会远吗？ 本文是针对每一个技术同学都适用。我将从行业技术大会主编的角色告诉你，如何打造自己的技术影响力，有哪些通用的手段，我自己又该如何做个性化叠加；我是技术小白，或者我有一定技术基础，我又该怎么打造自己的影响力？
质量保障是一门基于软件测试的系统化工程，遵循渐进式的发展规律。通过因地制宜地制定落地策略，设计场景方案，获取试验结果，并加以循环往复。最终，在每一位得物测试工程师的共同努力下，积累出一套适应得物技术的质量保障方法论，即本文介绍的得物质量管理体系。
电商供应链的系统建设一般偏向于数据管理类型，但此类系统建设有一个很明显的问题就是前后端开发的沟通成本较高（相对研发成本而言），特别是一些简单加减字段的诉求沟通成本甚至达到 50% 以上，如何将这部分沟通成本降低下来，并保证高质量的交付成为目前亟待解决的问题。
随着模型在各种场景中的落地实践，模型的推理加速早已成为AI工程化的重要内容。而近年基于Transformer架构的大模型继而成为主流，在各项任务中取得SoTA成绩，它们在训练和推理中的昂贵成本使得其在合理的成本下的部署实践显得愈加重要。
