为了应对用户规模的增加和交易活动的激增,淘宝购物车近年来进行了一系列技术升级,其中主要集中在扩容与性能优化上。本文将简要介绍这些改进措施,以及它们如何提升购物车的响应速度和用户体验,以实现“又快!又丝滑!”的购物体验。主要包括: 淘宝购物车扩容分析与解决方案 网络包大小与服务端并行化分析与方案
如何提高代码的可读性,使得代码变得整洁,甚至赏心悦目。本文会从“控制流”的角度分享一下作者对提高代码可读性的一些思考。
在这个数字化迅速发展的时代,技术的每一次飞跃都不仅仅意味着一个产品的升级,更是对未来世界的一次大胆想象。从PC到iPhone,从Model 3到ChatGPT,都引领了全新的一个行业。对于正处在求学阶段的你们,选择一个充满活力、技术领先、并且可以提供巨大成长空间的团队,无疑是迈向成功职业生涯的关键第一步。现在,就让我们一同揭开淘天终端技术团队的神秘面纱,一步步为你揭晓为何我们在终端技术领域独树一帜。
时光如梭,2023又是共同成长的一年,在这里我们沉淀技术实践,分享方案经验,感谢读者朋友们对《阿里云开发者》公众号的陪伴。回顾2023年,还记得哪篇文章让你印象深刻吗?小编为大家精选了2023年公众号发布过的优质文章TOP20,欢迎读者朋友们谈谈你心目中最喜爱的那篇文章~还有机会获得阿里云开发者周边礼品哦!
RTP-LLM 是阿里巴巴大模型预测团队开发的大模型推理加速引擎,作为一个高性能的大模型推理解决方案,它已被广泛应用于阿里内部。该引擎与当前广泛使用的多种主流模型兼容,并通过采用高性能的 CUDA 算子来实现了如 PagedAttention 和 Continuous Batching 等多项优化措施。RTP-LLM 还支持包括多模态、LoRA、P-Tuning、以及 WeightOnly 动态量化等先进功能。 随着大模型的广泛应用,如何降低推理延迟并优化成本已成为业界关注的焦点。我们不断地在这一领域内探索和挖掘新方法。在本文中,我们将详细介绍两种在业务中实践的优化策略:多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现,并分享一些实现时的关键技巧。