在现代的移动应用程序中，长连接是一种不可或缺的能力，包括但不限于推送、实时通信、信令控制等常见场景。在猫耳FM的直播业务中，我们同样使用了 WebSocket 长连接作为我们实时通信的基础。 在我们推进用户体验优化的工作中，其中用户成功进入直播间的时间是我们优化的一个重点指标，其包含了房间信息接口的调用、长连接的建立、播放器拉流的首帧等。本文主要介绍我们在 WebSocket 长连接跨端统一和体验优化的思路和方案。 这里我们先简单介绍下 WebSocket，以及为什么我们选择了 WebSocket 而不是其他的协议作为我们持续迭代的方向。
《王者荣耀》是由腾讯游戏开发的一款运营在 Android、IOS 平台上的 MOBA 类手游，属于多人联机在线竞技类游戏，于2015年11月26日在 Android、IOS 平台上正式公测。上线以来受到广大手游玩家的热爱，目前该游戏在手游排行中处于 TOP 1 的位置。作为中国最火爆的手机游戏，“王者荣耀”，拥有亿级用户体量，千万级日活用户。 而如此庞大用户体量带来的，也是服务端的挑战。如在游戏中产生的海量消息和数据交互，好友上线通知、开始游戏、赠送金币以及核心之一的交易链路，服务端如何敏捷快速实现上述海量消息场景，并解耦业务组件，是系统架构设计的一个难题。
大语言模型很强大，就像人类的大脑一样拥有思考的能力。如果人类只有大脑，没有四肢，没有工具，是没办法与世界互动的。如果我们能给大模型配备上四肢和工具呢？大模型是不是就会打破次元壁，从数字世界走向现实世界，与现实世界实现梦幻联动呢？ 大语言模型（后文将用 LLM 指代）可以接受输入，可以分析&推理、可以输出文字\代码\媒体。然而，其无法像人类一样，拥有规划思考能力、运用各种工具与物理世界互动，以及拥有人类的记忆能力。 LLM：接受输入、思考、输出 人类：LLM（接受输入、思考、输出）+ 记忆 + 工具 + 规划 如果我们给 LLM 配备上：与物理世界互动的工具、记忆能力、规划思考能力。LLM 是否就可以像人类一样，能够自主思考并规划完成任务的过程，能检索记忆，能使用各种工具提高效率，最终完成某个任务。
在对话系统的设计和实现中，传统的基于 Rasa-like 框架的方法往往需要依赖于多个模块的紧密协作，例如我们在之前的文章中提到的基于大模型（LLM）构建的任务型对话 Agent，Thought Agent，其由自然语言理解（NLU）、对话管理（DM）和对话策略（DP）等模块共同协作组成。这种模块化的设计虽然在理论上具有灵活性，但在实践中却带来了诸多挑战，尤其是在系统集成、错误传播、维护更新以及开发门槛等方面。 为了克服这些挑战，构建一个端到端（E2E）的模型显得尤为关键。E2E 的模型通过将对话的各个阶段集成到一个统一的框架中，极大地简化了系统架构，提高了处理效率，并减少了错误传递的可能性。此外，由于其简化的架构，也更易于维护和更新，从而降低了开发和维护的成本。 在我们看来，端到端的对话 Agent 不仅在技术上更具优势，而且在实际应用中也展现了其独特的价值和潜力，例如能够快速构建帮助用户查询信息、调度技能的 Agent。
数据库领域顶会 ICDE 2024于5月13-17日在荷兰乌特勒支（Utrecht, Netherlands）举办。ICDE (The International Conference on Data Engineering) 与VLDB、SIGMOD被公认为是国际数据管理领域三大顶级学术会议，此次在荷兰召开的ICDE 2024大会，共吸引北京大学、清华大学、浙江大学、MIT、斯坦福等机构，以及谷歌、微软、阿里云、华为、字节等公司的近1000名人员参会，共同探讨AI、数据库、数据处理领域的前沿技术问题。 阿里云数据库事业部共有3篇论文被ICDE 2024接收，其中《Towards a Shared-storage-based Serverless Database Achieving Seamless Scale-up and Read Scale-out》荣获工业和应用赛道的“最佳论文奖”（Industry and Application Track Best Paper Award）。本文将重点解读这篇论文，该论文介绍了PolarDB Serverless的核心技术。
近年来，随着以OpenAI的ChatGPT和Meta的LLaMA为代表的基于数百万网页数据训练的大型Transformer语言模型的兴起，开放域语言生成领域吸引了越来越多的关注。开放域中的条件语言生成效果令人印象深刻，典型的例子有：GPT2在独角兽话题上的精彩续写和XLNet等。促成这些进展的除了transformer架构的改进和大规模无监督训练数据外，更好的采样策略也发挥了不可或缺的作用。 本文简述了不同的采样策略，同时向读者展示了如何使用流行的transformer库轻松实现这些采样策略！
5月25日，腾讯研究院联合赛迪研究院，在清华中国电子数据治理工程研究院、中国电子数据产业集团、北京国际大数据交易所、中国计算机行业协会大数据产业生态专委会等单位的参与支持下，在第七届数字中国建设峰会数据要素赋能新型工业化工作会上发布《数据要素赋能新质生产力--数据要素场景创新发展报告（2024）》。以下为报告摘要部分。
搭建一个落地页需要涉及到多方合作，需要不断地进行沟通协调。繁杂的流程需要耗费很多的时间，因此我们推动产品重新搭建了一个专门服务于软广投放流程的编辑器——星创，完成广告搭建在投放业务各系统中的闭环。
在端内前端互动场景中，由于需要加载互动引擎，以及场景文件、模型文件和纹理贴图等资源，页面资源请求数量比传统的前端页面多了很多，对页面的FMP（First Meaningful Paint） 会有较大的影响。 同时前端页面与宿主共享有限的进程资源，如果没有控制好内存水位，CPU 和 GPU 占用率等性能指标，可能会导致客户端发烫，页面卡顿和甚至闪退。 为了保障互动页面的快速启动和运行时的稳定性，我们提供了一系列的性能优化策略对资源加载和运行时的性能进行优化，下面将结合2024 年抖音欢笑中国年的部分项目介绍相关的性能优化策略。
上篇文章 万字长文解析：大模型需要怎样的硬件算力 深入探讨了大型语言模型（LLMs）在硬件资源方面的需求和面临的挑战，详尽地阐述了如何进行大模型的硬件选型，以及在实际工作中如何根据模型的特定需求来优化硬件资源配置。继此话题之后，本篇文章将重点介绍支撑大模型运作的核心组件——集合通信库，介绍其在大模型架构中的关键作用和实现机制，以及B站是如何应用和改进它的。 随着模型规模的不断增长，单块显卡已经无法满足模型对于显存的需求，分布式训练逐渐成为主流，其中通信库负责了拓扑感知、集合通信原语实现、数据传输等工作，扮演着至关重要的角色。在分布式训练集群逐步普及和规模化的过程中，各个厂商，尤其是云和GPU硬件制造商，对于整个集群的性能和效率不断提出更高的要求，也因此涌现了一批xCCLs(x Collective Communication Libraries)，例如HCCL、ACCL、oneCCL和TCCL等，从侧面也反映了通信库的重要性。 鉴于通信库的原理和实现都异曲同工，本文只针对开源的NCCL通信库来进行讲解，结合B站大模型训练的落地实践经验，拆分解析AI基础软件中通信库的实现
