近年来，随着以OpenAI的ChatGPT和Meta的LLaMA为代表的基于数百万网页数据训练的大型Transformer语言模型的兴起，开放域语言生成领域吸引了越来越多的关注。开放域中的条件语言生成效果令人印象深刻，典型的例子有：GPT2在独角兽话题上的精彩续写和XLNet等。促成这些进展的除了transformer架构的改进和大规模无监督训练数据外，更好的采样策略也发挥了不可或缺的作用。 本文简述了不同的采样策略，同时向读者展示了如何使用流行的transformer库轻松实现这些采样策略！
5月25日，腾讯研究院联合赛迪研究院，在清华中国电子数据治理工程研究院、中国电子数据产业集团、北京国际大数据交易所、中国计算机行业协会大数据产业生态专委会等单位的参与支持下，在第七届数字中国建设峰会数据要素赋能新型工业化工作会上发布《数据要素赋能新质生产力--数据要素场景创新发展报告（2024）》。以下为报告摘要部分。
搭建一个落地页需要涉及到多方合作，需要不断地进行沟通协调。繁杂的流程需要耗费很多的时间，因此我们推动产品重新搭建了一个专门服务于软广投放流程的编辑器——星创，完成广告搭建在投放业务各系统中的闭环。
在端内前端互动场景中，由于需要加载互动引擎，以及场景文件、模型文件和纹理贴图等资源，页面资源请求数量比传统的前端页面多了很多，对页面的FMP（First Meaningful Paint） 会有较大的影响。 同时前端页面与宿主共享有限的进程资源，如果没有控制好内存水位，CPU 和 GPU 占用率等性能指标，可能会导致客户端发烫，页面卡顿和甚至闪退。 为了保障互动页面的快速启动和运行时的稳定性，我们提供了一系列的性能优化策略对资源加载和运行时的性能进行优化，下面将结合2024 年抖音欢笑中国年的部分项目介绍相关的性能优化策略。
上篇文章 万字长文解析：大模型需要怎样的硬件算力 深入探讨了大型语言模型（LLMs）在硬件资源方面的需求和面临的挑战，详尽地阐述了如何进行大模型的硬件选型，以及在实际工作中如何根据模型的特定需求来优化硬件资源配置。继此话题之后，本篇文章将重点介绍支撑大模型运作的核心组件——集合通信库，介绍其在大模型架构中的关键作用和实现机制，以及B站是如何应用和改进它的。 随着模型规模的不断增长，单块显卡已经无法满足模型对于显存的需求，分布式训练逐渐成为主流，其中通信库负责了拓扑感知、集合通信原语实现、数据传输等工作，扮演着至关重要的角色。在分布式训练集群逐步普及和规模化的过程中，各个厂商，尤其是云和GPU硬件制造商，对于整个集群的性能和效率不断提出更高的要求，也因此涌现了一批xCCLs(x Collective Communication Libraries)，例如HCCL、ACCL、oneCCL和TCCL等，从侧面也反映了通信库的重要性。 鉴于通信库的原理和实现都异曲同工，本文只针对开源的NCCL通信库来进行讲解，结合B站大模型训练的落地实践经验，拆分解析AI基础软件中通信库的实现
2023年疫情过后旅游行业复苏，业务量迎来爆发式增长。然而业务同学遇到了一个发布效率的难题：激增的业务需求导致核心大应用的发布时长大幅度增加，对用户的工作效率产生了严重影响。
随着大语言模型能力的增强，传统应用不可避免的需要调用LLM接口，提升应用的智能程度和用户体验，但是一般来说大语言模型的输出都是字符串，除了个别厂商支持JSON Mode，或者使用function call强制大语言模型输出json格式，大部分情况下，还是需要业务放自己去处理JSON格式，下面我来总结一下在解析JSON过程中遇到的一些问题和解决方案。
在上一篇《十年前的微信消息收发架构长啥样？》（点击标题可阅读）的文章中，有用户提到想了解自己每次微信红包只能抽中 0.01 元的反向手气最佳是怎么在技术上实现的，于是就有了本篇文章的诞生。 其实，微信红包最初在产品设计上有过很多思路，最初曾以多档次、按比例分配的方式，但最后大家试用下来发现还是随机才好玩。那种看到有人抢到 100 块，有人 0.01 元的快乐无以言喻。 最初的随机算法中，领取越早获得大额红包几率越高，为了避免抢红包变成一个拼手速的游戏，后来的随机算法也对随机范围区间进行了一定调整。 本文中，我们将介绍主流的红包算法，相信聪明的你一定能从中窥见微信红包技术实现的一些奥秘～
