随着B站业务的飞速发展，数据规模呈指数级增长，计算集群也逐步从单机房扩展到多机房部署模式。多个业务线依托大数据平台驱动核心业务，大数据系统的高效性与稳定性成为公司业务发展的重要基石。如图1，目前在大数据基础架构下，我们主要采用 Spark、Flink、Presto 以及 Hive 作为计算引擎支撑各类复杂业务场景需求，离线计算集群基本每天运行30+万左右的 Spark 作业，包括任务调度平台的 ETL 任务、Kyuubi 提交的 Adhoc 作业等，其作业的 Shuffle 数据规模能够达到30PB以上，同时单个作业的 Shuffle 量最大规模有几百TB。同时 Shuffle 算子作为大数据计算引擎中间数据处理最重要的算子，Shuffle 的稳定性关系着线上大量离线作业的可靠性和性能。因此，对于海量的 Shuffle 中间数据和复杂多变的计算环境来说，保证 Shuffle 数据处理的稳定性对线上作业的稳定性和运行效率尤为重要。
在当今飞速发展的时代，AI技术正不断渗透到我们生活的各个层面，深刻改变着传统的工作方式和生活模式。面对这一重大变革，我们不能被动观望或抗拒，而应积极拥抱AI，将其作为成长的助力。只有与AI协同发展，才能在这场技术革新的浪潮中立于不败之地，顺势而为才能事半功倍。
作为程序员，我们的职业生涯中往往会经历多次项目重构。许多业内专家在项目升级方面提出了各种方法论和原则，层出不穷。本文将以新闻插件接入层的重构过程为例，探讨实践中的重构范围和时机选择。 新闻插件接入层的重构项目严格来讲是个“重写”过程，整个项目历时9个月，改动范围涉及到插件接入层的23个接口，范围广泛，时间跨度长。之前的服务如果维护的好的话，其实本可以通过小步快跑的方式，分批次进行小范围的重构和优化，不需要花这么大的成本进行“重写”。但由于种种历史原因，这一过程一直未能启动，使得历史包袱越来越重，再进行小步快跑的话，临时工作量会增加到无法承受的范围。最终，我们在2023年初决定进行对整体服务直接进行“重写”升级。接下来，我们将详细介绍“重写”的过程和带来的收益，并探讨在后续维护中在什么时机进行真正的“重构”。
本文聚焦于线上应用的风险管理，特别是针对“错”（程序运行不符合预期）和“慢”（性能低下或响应迟缓）两大类问题，提出了一个系统化的根因诊断方案。
大规模博弈环境中的决策智能是人工智能领域内的重要研究方向，对实际应用具有深远影响。然而，由于缺乏全面且真实的博弈环境及相关数据集，这一领域的进展受到了限制。为了解决这一问题，本文提出了一种基于在线广告行业的自动出价决策问题的Benchmark，并命名为AuctionNet。 AuctionNet包括一个大规模广告竞拍环境、基于该环境预生成的数据集以及几种基础出价决策算法的效果评估。广告竞拍环境通过深度生成式模型生成广告流量数据，旨在缩小仿真环境与现实问题之间的差距，同时避免敏感数据暴露的风险。数据集中包含了48个不同出价智能体相互竞价的日志，可帮助出价模型更好的训练。
