因为年前刚搬家,家中物品非常杂乱,同时在搬家的过程中发现过去在家庭物资管理上存在很多问题,总结有: 储物空间浪费:过期药品和其他过期物品长期占据储物空间,降低了空间有效利用率。 食品过期浪费:易过期食品的有效期跟踪机制缺失,导致食品经常过期被扔,造成资源浪费。 物品难以定位:没有合理收纳规划和物品位置标记,急需物品时难以快速找到,往往搬家时才发现。 重复采购:过期物品未清理,物品位置难确定,购物前无法准确知晓库存,导致重复购买,造成经济损失。 鉴于以上种种困扰,春节期间,我借助 Cursor 以及 Trae(Claude-3.5-Sonnet 与 deepseek-r1),开发出一款家庭物资管理应用,期望通过这个工具,能够显著提升家庭物资管理的效率和质量,让家庭生活更加有序便捷。同时也对这两块IDE和模型进行了深度的使用和体验
随着 LLaMA、DeepSeek、Qwen 等开源大模型的快速崛起,企业在模型部署的灵活性、成本与自主可控性方面迎来了新的机遇。然而,仅靠对模型本身的优化尚不足以将这些模型部署成高效且可扩展的生产级 API。 大模型推理往往引入诸多独特的系统挑战,如 GPU 弹性伸缩指标的非线性问题、长尾模型和精调模型流量过低的问题、多机推理时的角色编排以及 GPU 卡型的异构管理等,都对易用性和成本控制提出了更高要求。因此,我们需要从推理引擎到底层基础设施进行全栈系统设计,才能真正让大模型在生产环境中长期稳定且高效地运行。 AIBrix 作为首个基于 Kubernetes 的企业级推理系统项目,正好填补了业界在“系统层”上的空白。它通过优化资源调度、自适应扩缩容、缓存感知路由以及异构计算管理等多项能力,为企业级大模型的大规模部署提供高效、低成本、可扩展的解决方案。AIBrix 与 vLLM 等推理引擎深度协同,持续优化推理效率,并融合多项前沿研究成果,推动大模型推理走向更加高效、可落地的生产化阶段。
多集群部署微服务带来了可扩展性和容灾性等优势,但也引入了全局层面的脆弱性——中心控制平面的任何问题都会级联影响所有被管理集群,造成灾难性后果。其中最严重的场景之一是由于Pod删除导致的服务容量丢失。这在Kubernetes复杂的事件链中可能由多种原因引发,例如: 意外删除所有Deployment的owner资源类型的CRD 集群拓扑配置错误,导致用其他集群的spec覆盖当前集群 多集群滚动更新实现缺陷,同时在所有集群触发更新 联邦主集群的etcd磁盘损坏,导致Deployment对象从索引中移除 多个集群同时独立进行Pod驱逐操作,并发度不受控 虽然这些问题均可单独解决,但成因多样且在持续变化的基础设施中难以穷举。更便捷的方式是采用端到端处理:只要全局要求未满足就阻止Pod删除。因此我们开发了Podseidon项目——当跨集群的最小可用性要求不满足时,拒绝删除请求的准入webhook。
近日,豆包大模型团队提出 BFS-Prover,一个基于大语言模型 (LLM) 和最优先树搜索 (BFS) 的高效自动形式化定理证明系统。 团队通过该成果发现,简单的 BFS 方法经过系统优化后,可在大规模定理证明任务中展现卓越性能与效率,无需复杂的蒙特卡洛树搜索和价值函数。 在数学定理证明基准 MiniF2F 测试集上,BFS-Prover 取得了 72.95% 准确率,超越此前所有方法。
2025 年 2 月 21 日,vLLM 通过官方博客宣布了由字节跳动开发的 AIBrix 大模型推理系统正式开源,为 vLLM 推理引擎提供可扩展且高性价比的控制面。本文译自 vLLM 博客,由 AIBrix 团队校对。
开发基于大模型的软件应用,就像指挥一支足球队:组件是能力各异的队员,编排是灵活多变的战术,数据是流转的足球。 Eino 是字节跳动开源的大模型应用开发框架,拥有稳定的内核,灵活的扩展性,完善的工具生态,可靠且易维护,背靠豆包、抖音等应用的丰富实践经验。初次使用 Eino,就像接手一支实力雄厚的足球队,即使教练是初出茅庐的潜力新人,也可以踢出高质量、有内容的比赛。 下面就让我们一起踏上新手上路之旅!
本文将以短视频平台的信息流推荐场景为例,结合相关团队在推荐场景开展A/B测试的实践经验,详解其复杂原理,并重点聚焦双边效应、网络效应问题,分享其对应的双边实验、社区分流实验设计思路。
视频生成实验模型“VideoWorld”由豆包大模型团队与北京交通大学、中国科学技术大学联合提出。不同于 Sora 、DALL-E 、Midjourney 等主流多模态模型,VideoWorld 在业界首次实现无需依赖语言模型,即可认知世界。 正如李飞飞教授 9 年前 TED 演讲中提到 “幼儿可以不依靠语言理解真实世界”,VideoWorld 仅通过 “视觉信息”,即浏览视频数据,就能让机器掌握推理、规划和决策等复杂能力。团队实验发现,仅 300M 参数量下,VideoWorld 已取得可观的模型表现。
经过字节跳动内部半年多的使用和迭代,基于 Golang 的大模型应用综合开发框架 —— Eino,已在 CloudWeGo 正式开源啦! Eino 基于明确的“组件”定义,提供强大的流程“编排”,覆盖开发全流程,旨在帮助开发者以最快的速度实现最有深度的大模型应用。
经过字节跳动内部半年多的使用和迭代,基于 Golang 的大模型应用综合开发框架 —— Eino,已在 CloudWeGo 正式开源啦!