本文总结了作者在盒马智能客服的落地场景下的一些思考,从工程的角度阐述对Agent应用重要的稳定性因素和一些解法。
为了让飞桨开发者们掌握第一手技术动态、让企业落地更加高效,飞桨官方在7月至10月特设《飞桨框架3.0全面解析》系列技术稿件及直播课程。技术解析加代码实战,带大家掌握包括核心框架、分布式计算、产业级大模型套件及低代码工具、前沿科学计算技术案例等多个方面的框架技术及大模型训推优化经验。
在AI技术日益渗透至各领域的背景下,本文深入探讨了B端(D2C)前端代码生成技术的核心挑战与实战解决方案,诚实地揭示了在实现自动化代码生成过程中遭遇的重重难关。
近期,我们在大模型集群的部署过程中遇到了一些挑战。公司有多个业务场景,每个场景都基于自身的数据进行微调,训练出相应的大模型并上线。然而,这些场景的调用量并不高,同时大模型的部署成本较为昂贵,这造成了资源的浪费。 本文将介绍我们如何利用多Lora技术,将多个场景合并部署,从而有效解决这一问题。同时,我们也将探讨大模型训练与推理过程中Lora技术的应用。
在软件开发领域,面向切面编程(AOP)作为一种强大的技术手段,极大地促进了代码的模块化与可维护性,尤其在处理横切关注点方面表现出色。本文将深入探讨Java平台上的AOP实现,聚焦于Spring AOP框架及其在实际项目中的应用限制,以团队内部广泛应用的日志框架Diagnose为例,揭示了Spring AOP在处理非Bean类方法、静态方法及内部调用时的局限性。
随着业务规模的不断扩张和日常需求的快速迭代,即使是最优秀的业务架构、最完善的生产体系也无法确保系统100%的可用性,参考墨菲定律,会出错的事总会出错,故障在生产环境中不可避免。为了在故障发生时能够快速定界定位,采取有效措施止损,避免同根因故障重复发生,我们需要对故障全生命周期进行统一管理。 故障应急体系一般包括以下环节,故障预防、故障发现、故障定位、故障恢复、故障复盘及改进,其中故障预防阶段可以参考B站安全生产专项建设实践,这里不再赘述,本文将围绕故障发生后,对稳定性保障带来的挑战,如何去破局,以及如何沉淀建设平台能力,介绍B站面向故障的应急响应中心建设。
最近做了一些服务性能优化,文章池服务平均耗时跟p99耗时都下降80%左右,事件底层页服务平均耗时下降50%多左右,主要优化项目中一些不合理设计,例如服务间使用json传输数据,监控上报处理逻辑在主流程中,重复数据每次都请求下游服务,多个耗时操作串行请求等,这些问题都对服务有着严重的性能影响。 在服务架构设计时通常可以使用一些中间件去提升服务性能,例如使用mysql,redis,kafka等,因为这些中间件有着很好的读写性能。除了使用中间件提升服务性能外,也可以通过探索它们通过什么样的底层设计实现的高性能,将这些设计应用到我们的服务架构中。