在数据处理和分析的领域,提升查询效率始终是一项关键挑战。对于 OLAP 来说,性能的关键需求在于能支持实时分析,应对复杂查询,提供快速响应,并具备良好的可扩展性。这些方面,对于满足高效、准确的数据分析需求至关重要。 火山引擎正式发布《云原生数据仓库ByteHouse性能白皮书》,白皮书通过使用 SSB 100G、TPC-H 100G、TPC-DS 100G 数据集进行性能测试,展示出 ByteHouse 在查询效率方面的显著成果,并详细介绍ByteHouse在实时数仓、复杂查询等八大应用场景的高性能应用表现。 作为一款OLAP引擎,伴随字节跳动各业务的发展,ByteHouse已经过数百个应用场景和数万用户锤炼,在2022年3月,部署规模已超过1万8000台,最大的集群规模在 2400 余个节点,管理总数据量超过700PB,并逐步在外部金融、泛互等场景应用和推广。为了更好支持字节内外部大规模数据和复杂场景应用,性能一直以来是ByteHouse重点打磨的产品基本功。
本文提到大模型通常的工作方式,即通过提示词进行问答,并指出了两个主要问题:历史对话信息的管理和令牌数量的限制。文章讨论了知识库问答和个人助手两个应用场景,并分析了各自面临的困境,如知识库无法有效处理多模态信息和大型文档,个人助手则受限于工具参数的复杂性和令牌长度。文章还提到了微调(FINE-TUNING)作为改善模型性能的方法,以及在不同领域的应用潜力。最后,分享了对微调成为标准操作流程的预期,以及对现有平台和基础设施的改进意见。
AREX 是一款由携程开源的流量回放平台,孵化于机票BU内部。聚焦录制回放核心链路的建设,从基础方案建设到核心事业线的深入落地验证,在集团复杂业务场景下不断迭代和优化下,积累了大量经验,取得了可见的成果。在携程落地至今已有 4000+ 应用接入,交付率和缺陷数均有所改善。 本篇文章主要介绍AREX在携程内部落地实践过程中遇到的一系列挑战和解决方案,以及如何通过AREX快速部署一站式流量录制回放解决方案来降低接入成本,快速落地。
一家上线于2005年的互联网论坛,成为了资本市场的新宠。 美国时间2024年3月21日,这家成立于19年前的元祖社交网络平台,在纽约证券交易所公开上市,首日开盘价47美元,随后一路高升,当日盘中最高价达到了57.8美元,最高市值一度飙升至109亿美元。 和同一年上线的Youtube相比,历经接近20年的发展,依旧将图文格式作为主力内容载体,且在UI设计上几乎看不到“现代化”迹象的Reddit,俨然就是一颗从Web1.0时代存活至今的活化石。 但直到今天,凭借超过7000万的日活用户量,以及总数超过10万、囊括几乎所有互联网交流主题的子版块,Reddit游刃有余地拿下了全球SNS平台访问量第六的排名。 种种迹象表明,尽管和现如今的互联网潮流格格不入,但无论是在行业还是用户眼中,Reddit依旧有着不可替代的重要地位——那么,这种“永远年轻”的生命力,究竟是如何成型的?
MongoDB 是目前最流行的文档型数据库。MongoDB 的采用类 json 的存储格式对开发者来说非常友好。本文梳理了 MongoDB 索引的底层结构以及使用经验,不足之处欢迎大家指正。
本文整理自 2024 年 4 月 QCon 全球软件开发大会(北京站) 性能优化专题的同名主题分享。 当前数据中心的服务器中部署着各类 CPU(Intel/AMD/Ampere 等),这些平台的差异,使得运行在上面的程序无法保证始终运行在最佳状态,成为了提升业务效能的一大阻碍。 CPU 性能调优,这不仅要求工程师对各个平台有着深入的理解,同时需要掌握各类性能分析工具和方法,并依据得到的观测数据,综合诊断出真正的瓶颈原因,并据此展开优化操作,最终提升业务表现。 这种传统的 CPU 性能调优方式,对工程师的能力和经验都有着不小的门槛,难以在更大规模范围地普及,使得很多客户对表现不理想的程序束手无策。 百度智能云推出的一键调优套件 Btune,实现了整个 CPU 性能调优过程的一键自动化,使得用户能够快速完成瓶颈定位,实现性能优化。
随着AI生图时代的来临,设计团队致力于通过AI训练自有设计风格的模型资产,以此来为业务提效。鉴于节气卡的高覆盖率、高复用率和高收益,我们选择了这一场景进行新中式风格的升级和模型训练尝试。 我们的目标是通过精细化设计打造落地新中式风格的节气卡,同时沉淀设计方法和AI模型训练经验,以便辐射更多业务场景,同时为百度APP进行运营特色风格探索。
重复工作,代码规范:B端前端代码开发过程中开发者总会面临重复开发的痛点,很多CRUD页面的元素模块基本相似,但仍需手动开发,将时间花在简单的元素搭建上,降低了业务需求的开发效率,同时因为不同开发者的代码风格不一致,使得敏捷迭代时其他人上手成本较高。 AI代替简单脑力:AI大模型的不断发展,已经具备简单的理解能力,并可以进行语言到指令的转换。对于基础页面搭建这样的通用指令可以满足日常基础页面搭建的需要,提升通用场景业务开发效率。
最新发布的 QQ 9 自上线以来,流畅度方面收获了众多用户好评,不少用户戏称 QQ 9 “傻快傻快”的,快到“有点不习惯了都”。 作为庞大量级的应用,QQ 9 从哪些方面做了哪些优化,使得用户能够明显感觉到流畅度的提升?本文将详细介绍 QQ 9 流畅背后的技术实现,以及在全流程做的性能优化探索,为应用提升流畅度提供可复用的经验。
最近由于应用需要进行多租户改造,对监控盯的较紧。发现了应用的一些问题,应用的hsf consumer成功率,不是一直都是100,偶尔出现99.99的情况,进一步查应用日志发现,是因为慢sql导致服务超时失败。