随着B站大数据业务的高速发展，各类业务资源需求也随之快速增长。与此同时，大数据集群有效的资源利用率低于预期，究其原因主要有以下两点， 业务出于性能、稳定性考量会向平台申请过量的系统资源，导致平台不会调度更多任务上来运行。 对于高低优任务资源隔离能力不足导致有竞争时，高优任务受影响甚至被误杀。 为了解决业务资源过量，大数据团队在hadoop架构中加入了自研超配组件Amiya。Amiya依据用户申请的资源量一般大于用户真实使用的资源量的基本推论，根据当前机器的实际负载情况，向调度组件虚报一定的资源量，使得更多的任务能够被调度到服务器上。同时，在大部分任务申请量接近其真实使用量时，Amiya需要及时驱逐一定量的任务以保证服务器整体稳定运行，关于Amiya细节信息可参考B站大数据集群混部实践（上）- 资源超配篇。
日常项目基础工作耗费大量时间、紧急任务一连“肝”几个大夜……对于一个计算机相关专业研究生来说，几乎是家常便饭。随着大模型能力赋能编码工具，被开发者们戏称的“代码搬砖”生活有了起色。 从去年开始，PPDE 飞桨开发者技术专家、澳门理工大学研二学生王荣胜，和他的实验室伙伴们用上了智能代码助手 Baidu Comate，用于协助解决基础重复的代码编写工作，推进实验室的医学影像数据处理项目提效。原本处理150G的医学影像数据，需要3个人花一周时间才能完成数据处理的代码编写工作。使用 Baidu Comate “实时续写”、“注释生成代码”、“代码生成注释”、“私域知识增强”等功能后，只需要1个人花2天时间就可以完成，项目整体的团队协作效率也获得了提升。
现代软件部署中，容器技术已成为不可或缺的一环，在云计算和微服务架构中发挥着核心作用。随着容器化应用的普及，确保容器环境的可靠性成为了一个至关重要的任务。这就是容器SRE（Site Reliability Engineering，站点可靠性工程）的职责所在。容器SRE工程师不仅要保证系统的高可用性，还需要优化运行效率，确保系统在各种压力和突发情况下的韧性。 然而，容器SRE的工作常常是背后默默的付出，通常涉及着大量看似琐碎却极其关键的维护任务。例如某一天，你可能发现K8s集群中的Kubelet进程CPU使用异常飙高，这就需要容器SRE工程师立即介入，进行深入的诊断和问题排查，避免类似问题成为生产环境中的隐患。这种排查过程往往涉及复杂且难以预测的环境，通常需要SRE工程师具备高度的专业知识和快速应变能力。因此，虽然容器SRE工程师的努力可能不为大众所见，但对于现代依赖软件和云服务的任何系统来说，这些工作显得尤为严谨和重要。 通过本文，我们将深入探讨容器SRE在日常工作中面临的挑战和如何通过专业技能和创新技术方案来定位和解决问题，确保技术平台的稳健运行。
