大模型(LLM)相关理论研究与工程实践随着 GPT3 的发布,在学术界、工业界大爆发,备受各行各业关注,并涌现出一些赋能行业、促进生产力、生产关系变革的实践。GPT3 [1] 以及斯坦福计算机学院近 100+ 教授联名论文 [2] 将大模型列为第三轮 AI 浪潮,相对于传统的机器学习与深度学习,以 GPT3 为例的大模型涌现出处理各类任务的新范式:zero-shot、few-shot、in-context 等,同时也支持深度学习领域的 finetune,新范式让大模型能够低成本、快速处理各种任务,极大的缩短了数据准备与工程开发流程。 其中,in-context 作为随着大模型涌现的范式,被大规模的应用到各种知识库问答、资料汇总等领域中,开源社区对 in-context 也非常活跃地响应,推出了 langchain [3]、向量数据库 [4] 等系列优秀框架与技术基座。但是,基于 langchain + 开源大模型在实践过程中也会遇到系列不尽人意的问题,本文将深入剖析 langchain + 开源大模型用于搭建基于公司语料库(iwiki、oncall、码客)上的缺陷,剖析利用开源方案进
Rhino是字节自研全链路容量评估产品,致力于构建完整的全链路容量评估解决方案(覆盖:容量预估->资源准备->数据准备->容量验证->监控->分析->决策->处理反馈);围绕容量在稳定性、成本、效率 三方面提供业务全方位基础支撑。Rhino 目前已经成为字节各业务容量评估主流解决方案,并且历年来在业务大型活动稳定性保障中(抖音春节项目、电商618/双11大促等)均扮演了关键角色。
累计下单玩法,是淘宝买菜次日自提服务中的一种老客复购提频互动精准营销方案。本文从项目背景、业务流程、技术思考与实现等方面详细介绍了其实现过程。
“在一个遥远的编程王国里,有一个被称为“代码山”的地方。这里住着各种各样的程序员,他们各自在自己的小屋里编写代码。有一天,一个名叫林纳斯的年轻程序员发现,他的小屋里装不下他正在编写的庞大而复杂的操作系统。于是,他有了一个大胆的想法:为什么不邀请其他程序员来帮忙呢? 林纳斯在村子的广场上高声宣布:“让我们一起建造一个巨大的代码城堡,每个人都可以为其添砖加瓦!” 程序员们被这个想法激发了,他们纷纷拿出自己的代码来分享。这座城堡被命名为“Linux”,很快就成长为一个强大而稳固的堡垒。 随着时间的推移,越来越多的程序员加入到这个项目中,每个人都在城堡的墙上留下自己的签名——这就是他们的代码贡献。他们发现,通过集体智慧,不仅能够快速修补城堡中的漏洞,还能创造出许多新奇和有用的工具和房间。 这个故事传遍了整个编程王国,开源精神因此而生。开源不仅仅是一种编程方式,它代表着协作、共享和创新。在开源的世界里,每个人都可以利用现有的代码来构建新的东西,并与他人分享自己的创造。这种方式不断地推动着软件开发的边界,使整个王国变得更加繁荣和智慧。”
在本次双十一之前,我们上线了新版的批处理框架,完整支撑了大促的招商。通过SDK接入,可以直接在业务应用中实现任务逻辑,接入便捷;通过中心化调度与任务分发,处理过程提效明显。
测试左移这个测试方法已经出现很久了,但收益如何,收益如何体现,在不同的团队如何实施起来,现阶段在质量平台还暂未标准化和统一化。测试人员来实施测试左移,则需要测试人员具备业务分析能力,能做一定的业务分析,能看懂业务架构和技术架构,甚至具备代码查看和编码能力,能分析代码逻辑等。 在QA方面,测试自动化是一种行之有效的方法,可以让业务测试更加便捷,减少任何形式重复劳作和返工测试,提高轮次测试执行效率。目前自动化已在迭代应用中进入收益阶段,不仅在回归阶段代替手工回归测试,将自动化作用价值体现最大,也让自动化提前介入需求测试分析中,做到“测试左移”。 今年第一季度团队已提前试点“测试左移”,将自动化提前纳入需求测试分析阶段,在研发提测节点按需完成自动化左移。但是光从口头上说“测试左移”,也不能印证自动化左移的数据,以及左移带来的实际收益和价值,现阶段平台侧将 RDC(Research and Development Collaboration / 研发协同平台,得物技术部自研的一套项目管理工具)、协同面板、流水线、用例平台、自动化平台五方联合,共同搭建出测试左移的全链路操作。