软件行业苦降本增效久已。蔓延开去的开发周期，遥遥无望的上线时间，以及不断冒起的缺陷，怎么看都配不上这支精兵强将的队伍。生成式AI 似乎带来了曙光，它的表现让人耳目一新，不少人会这么想。它能自动生成代码，成本低，可重复，即抛的能力像云上的资源，这段代码不合适？扔掉好了，重新生成一段。很自然就会想到，是不是也不需要这么多精兵强将了，程序员们也很担心这一点。 生成式 AI 回答我们的问题时，偶尔会抛出个煞有介事的答案，但如果你稍作检索，就会发现这个答案徒有其表：不是查无此言，就是一派胡言，这与人工智能的威名不符。这即所谓生成式 AI 的幻觉，hallucination——因为没有真实可靠的语料，它自作主张拼凑了一个假的回答。 大模型技术仍然在不断更新，能让人感知到幻觉程度也在逐渐降低。但在它被投入到具体的领域和使用场景时，幻觉效应仍在发生，在这篇文章里我们会谈到的它在软件开发领域的应用。
时光如梭，2023又是共同成长的一年，在这里我们沉淀技术实践，分享方案经验，感谢读者朋友们对《阿里云开发者》公众号的陪伴。回顾2023年，还记得哪篇文章让你印象深刻吗？小编为大家精选了2023年公众号发布过的优质文章TOP20，欢迎读者朋友们谈谈你心目中最喜爱的那篇文章～还有机会获得阿里云开发者周边礼品哦！
近年来，大型语言模型如 GPT、GLM 和 LLaMA 等在自然语言处理领域取得了显著进展，基于深度学习技术能够理解和生成复杂的文本内容。然而，将这些能力扩展到视频内容理解领域则是一个全新的挑战 —— 视频不仅包含丰富多变的视觉信息，还涉及时间序列的动态变化，这使得大语言模型从视频中提取信息变得更为复杂。 面对这一挑战，字节跳动联合浙江大学提出了能够输出可靠视频描述的多模态大语言模型 Vista-LLaMA。Vista-LLaMA 专门针对视频内容的复杂性设计，能够有效地将视频帧转换为准确的语言描述，从而极大地提高了视频内容分析和生成的质量。
Trace2.0 是得物监控团队引入 OpenTelemetry 协议并落地的全新应用监控系统，从 2021 年底正式开始使用。在过去的两年里，我们面临着数据量呈爆炸式增长的巨大挑战。然而，通过对计算和存储的不断优化，我们成功地控制了机器数量的指数级增加。我们每天处理的日增数据量数 PB（相比去年增长了 4 倍），每天产生的 Span 数超过了数万亿条。系统面对的峰值流量可达到每秒几千万行 Span，每秒上报的带宽压缩后高达数十 GB。我们所使用的存储引擎 Clickhouse 单机支持每秒近百万行的写入量。这些数据成为 Trace2.0 作为一款强大的应用监控系统的标志，为监控团队提供了全方位的监控数据分析能力。Trace2.0 使得我们能够及时发现和解决潜在的系统问题，确保我们的服务能够始终稳定可靠地运行。
RTP-LLM 是阿里巴巴大模型预测团队开发的大模型推理加速引擎，作为一个高性能的大模型推理解决方案，它已被广泛应用于阿里内部。该引擎与当前广泛使用的多种主流模型兼容，并通过采用高性能的 CUDA 算子来实现了如 PagedAttention 和 Continuous Batching 等多项优化措施。RTP-LLM 还支持包括多模态、LoRA、P-Tuning、以及 WeightOnly 动态量化等先进功能。 随着大模型的广泛应用，如何降低推理延迟并优化成本已成为业界关注的焦点。我们不断地在这一领域内探索和挖掘新方法。在本文中，我们将详细介绍两种在业务中实践的优化策略：多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现，并分享一些实现时的关键技巧。
随着应用组件的可观测性逐渐受到重视，Apache APISIX 引入插件机制丰富了可观测数据源。然而，这些数据分散在多个平台，形成了数据孤岛。本文旨在阐述如何利用 DeepFlow 基于 eBPF 的零侵扰特性构建 APISIX 可观测性解决方案，在此基础上统一集成 APISIX 插件已有的丰富数据源，消除孤岛、构建统一的可观测性平台，以全面监控和分析 APISIX 网关。通过 DeepFlow，APISIX 可以实现从流量监控、追踪分析、到性能优化的全面可观测性，消除数据分散并提供中心化的监控视图，加速故障排查和性能调优，让 DevOps 和 SRE 团队的工作更加高效。本文将重点梳理 APISIX 的追踪数据、指标数据、访日日志及性能剖析数据如何对接 DeepFlow。
