推荐系统是一种信息过滤系统,用于预测用户偏好,从大量的信息中筛选出用户可能感兴趣的内容进行个性化推荐。一个完整的推荐系统流程主要包括了 多路召回 -> 素材补全 -> 精排过滤 -> 混排 ->适配输出 等处理节点。混排作为结果输出前的最后一层处理,主要作用是将不同来源的推荐结果进行归一化的组合排序,一方面是为了获取对于用户推荐效果最优的排序序列,另一方面也能提高推荐的多样性、个性化以及覆盖范围。
最近经常收到内部业务方的咨询,他们想知道"如何让我们的业务系统接入大模型提效"。为了回答这个问题,我们梳理了 KubeAI 大模型平台对接的一些业务实践与一些业界经典案例分享给大家。 OpenAI 的第一次开发者大会的主题为 Maximizing LLM Performance,提出业务系统可以通过三种方式接入大模型,PROMPT(直接给大模型输入提示词),RAG(通过检索增增强来提升大模型的能力),Fine-tuning(通过微调训练来提升大模型的能力)。 本文借鉴 OpenAI 的观点,结合具体实践例子分别介绍这三种接入方式,最后建议业务可以通过渐进(PROMPT,RAG,Fine-tuning)的方式接入大模型,从而达到最佳的收益效果。
10月31日,在2023云栖大会上,阿里云副总裁,阿里云数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表了《云原生数据库,走向Serverless与AI驱动的一站式数据平台》主题演讲。
对于还没有完整读过源码的小伙伴,本文建议的源码阅读方式,不妨尝试下。从你准备开始阅读源码,你会发现,要做的事情太多了,不过一步一个脚印,你会发现,付出是值得的。
2017 年,某业务团队通过某次技术会议确定禁止在代码中使用异常,当时的目的旨在规范一些存在的基本问题,诸如:使用异常导致协程冲突,捕获到异常和抛出的不一致;未捕获异常导致后端框架中的 worker 进程终止,重启 worker 进程漫长导致效率很差;数据一致性问题等。代码到底该不该用异常,时至今日仍是一个争论不休的话题,本文作者根据自己多年的工作经验,撰写了《异常思辨录》系列专栏,希望能体系化地帮助到大家。本文为系列第四篇。主要聚焦上层的决策点进行展开,欢迎阅读。
在点播业务中,带宽成本在总成本(转码+存储+带宽)中占据绝对的大头。B站很早就开始利用技术手段,对带宽成本进行优化。 由于带宽成本=带宽单价*带宽用量,一般降低成本的方式有两种: 降低带宽单价:例如使用更廉价的CDN服务。 降低带宽用量:例如大家熟悉的编码算法优化,可以在同画质的前提下,将稿件码率进行压缩。 之前的优化主要在服务端,而带宽消费的最终端——播放器,在成本中起到的作用,却鲜有关注。 针对这一盲区,B站播放器团队利用数据进行了理论分析,发现播放器在带宽用量上有较大的优化空间。从2022年初至今,我们利用播放器中的端智能策略持续降本增效,至今已降低15%的点播带宽成本。这篇文章将详细介绍我们播放器策略优化中的技术手段和思考沉淀。