9月12日，淘天集团联合爱橙科技正式对外开源大模型训练框架——Megatron-LLaMA，旨在让技术开发者们能够更方便地提升大语言模型训练性能，降低训练成本，并保持和LLaMA社区的兼容性。测试显示，在32卡训练上，相比HuggingFace上直接获得的代码版本，Megatron-LLaMA能够取得176%的加速；在大规模的训练上，Megatron-LLaMA相比较32卡拥有几乎线性的扩展性，且对网络不稳定表现出高容忍度。
当前 LLM(Large Language Model) 大语言模型越来越火，在业务和生活中已经逐渐变得人尽皆知，作为一名技术同学，可以不精通其中的细节，但了解其大致的奥义是应该必备的技术素养，最起码应该清楚大模型是怎么运作的，在业务中我们可以与其建立什么链接，这也是我写这篇文章的主要原因。 本文借鉴了多方文章，加入了自己的理解，由于大部分相关文章都比较有技术壁垒，很多同事包括我读起来都比较晦涩，因此我尽可能将其转化为比较易懂的语言。 我本人也不是专业的算法同学，因此只能用比较浅薄的视角窥探一部分大模型的理论和实践，如果有描述不清或有误之处还请批评指出。
1.比较 LLaMA、ChatGLM、Falcon 等大语言模型的细节：tokenizer、位置编码、Layer Normalization、激活函数等。2. 大语言模型的分布式训练技术：数据并行、张量模型并行、流水线并行、3D 并行、零冗余优化器 ZeRO、CPU 卸载技术 ZeRo-offload、混合精度训练、激活重计算技术、Flash Attention、Paged Attention。3. 大语言模型的参数高效微调技术：prompt tuning、prefix tuning、adapter、LLaMA-adapter、 LoRA。
本文介绍了 Kubernetes 策略的七个步骤，包括基线、修复标签和注释、迁移到受限制的 Pod Security 标准、压制误报、加入常见加固指南、插入并播放、添加自定义规则以应对未预料的特殊情况。通过实施这些步骤，可以逐步减少配置错误和漏洞的数量，实现认证、合规和长期安全目标。
本文通过深入剖析ChatGLM、LLAMA和Baichuan模型的升级路径，以及探讨大型语言模型结构选型，为大家提供了一个系统性的视角，梳理了大型预训练模型的关键要素。我们希望这些知识能够为大家在实际工程中构建更强大、灵活且高效的大型预训练模型提供有力的参考和指导。
9 月 7 日，新兴编程语言 Mojo 正式发布。Mojo 的最初设计目标是比 Python 快 35000 倍，近期该团队表示，因为结合了动态与静态语言的优点，Mojo 一举将性能提升到了 Python 的 68000 倍。腾讯工程师此前也曾试用 Python 并做了相关评测，参考：《放弃Python拥抱Mojo？鹅厂工程师真实使用感受》 这不是第一个号称比 Python 更快的编程语言，相信也不会是最后一个。那么问题来了，为什么是个编程语言就比 Python 快呢？Python 在高性能、多线程方面为什么这么为人诟病？本文将以 Python PEP 703 草案的相关内容为核心，分析个中原因。
前几天 Gateway API 宣布在 0.8.0 中支持服务网格[1]，这意味着 GAMMA[2]（Gateway API for Mesh Management and Administration）有了新进展，虽然目前还是实验阶段。去年 6 月 Gateway API 发布 0.5.0 时，我还写了一篇 SMI 与 Gateway API 的 GAMMA 倡议意味着什么？[3]。如今，SMI 作为 sandbox 项目的年度审查已经 过了几个月仍未提交[4]，唏嘘。 废话不多说，我们来看下 0.8.0 下的 Gateway API 如何在 Service Mesh 中工作。
