为什么哈啰AI平台需要Faas 一是运维复杂问题,AI平台有多种不同语言的模型推理服务, 如python、C++(tf-serving)、Java等,各自管理上百个不同类型的模型;架构也很复杂,存在大型单体应用、多container应用、小型GPU应用等多种服务组织方式;同时,手动运维有余,自动化工具不足。 二是稳定性问题,成百上千模型集中式部署,存在明显热点问题,在应对一些突发流量的时候,自动伸缩速度也存在问题。同时,模型cpu、gpu资源竞争问题也困扰了我们。 三是IDC成本问题,存在资源利用率低的问题,有很大的提升空间。
随着云原生技术的普及,其暴露出来的攻击面也被黑客们念念不忘,相关的攻击技术也跟着被“普及”,自动化漏洞利用攻击工具更是如雨后春笋般出现在GitHub开源平台,其中比较有代表性的如cdk-team/CDK。其是一款为容器环境定制的渗透测试工具,在已攻陷的容器内部提供零依赖的常用命令及PoC/EXP。集成Docker/K8s场景特有的 逃逸、横向移动、持久化利用方式,插件化管理。 在漏洞利用门槛如此低廉的今天,作为企业安全的建设者(搬砖人),除了考虑部署容器层面运行时检测平台,在k8s api-server层面,启用日志审计功能,也是一个成本低廉又高效发现入侵攻击的途径。 通过对api-server的日志进行审计分析,对于攻击者的信息收集行为,部署k8s cronjob后门、利用rbac做权限提升等持久化攻击行为都能及时的发现并输出告警。
这是敦煌研究院和腾讯联合推出的一款互动体验文博产品,也是100年来首次数字化重现敦煌藏经洞。不管你身在何处,都可以通过数字藏经洞“一键穿越”,与不同朝代的历史人物对话互动,身临其境地感受敦煌藏经洞的前世今生。 现在,打开“云游敦煌”小程序,即可开启藏经洞的“穿越之旅”!
Spring Cloud Tencent 1.11 版本现已发布,支持 Spring Cloud 2022、2021、2020 版。 Spring Cloud Tencent 是腾讯开源的一站式微服务解决方案,实现了Spring Cloud 标准微服务 SPI,开发者可以基于 Spring Cloud Tencent 快速开发 Spring Cloud 云原生分布式应用。Spring Cloud Tencent 的核心依托腾讯开源的一站式服务发现与治理平台 Polaris,实现各种分布式微服务场景。
作为前端总会在业务上面临资源、效率等问题,本文讲述如何发挥专业前端在特殊位置的价值,让整个人力的利用效率最大化,并且可以通过实践将这套方法论贡献给有需要的团队去复用实践!
Docker Desktop 4.18 带来了许多新功能,包括 Docker Scout 的漏洞快速查看、建议和镜像差异比较,稳定的容器文件浏览器,快速添加 Docker 到项目的 init 命令,以及实验性的 Compose 文件监视功能,用于监视项目内部的更改。此外,还增加了一个 Compose 配置选项,旨在在您修改服务时保持服务始终处于最新状态。
随着业务发展和微服务架构的普及,企业内微服务拆分粒度越来越细,服务间调用关系错综复杂。对于一些复杂的,比如机票和酒店售卖业务场景,可能动辄涉及上百个应用,当某个系统发生异常时会导致多个服务受到影响。此时 APM 系统就派上了用场,监控(Metrics)、调用链(Tracing)、日志(Logging)帮助业务同学快速定位问题。普通的业务监控报警能起到快速发现问题的作用,但具体case的排查还需要研发人员通过异常栈信息来分析,比如数据库连接异常、空指针等等。 去哪儿网很早就有了监控系统 Watcher,能够起到快速提醒业务响应异常的作用,然后开发同学排查是接到报警的系统本身的问题还是下游依赖的系统的问题,如果是下游系统的问题,就要这样一层层地找下去,有时候定位问题时间会比较长。当某个系统出现问题时最根本的表现就是产生异常,如果能直接提示开发同学系统产生了新的异常,或者异常量上涨了,就能够大大缩短开发同学排查问题的时间,做到快速恢复故障。
随着机器学习的发展,模型及训练模型所需的数据量越来越大,也都趋向于通过分布式训练实现。而算法工程师通常需要对这些分布式框架涉及到的底层文件存储和调度系统有较深的理解,才能够快速批量开启模型训练,保证资源利用率。 目前业界有很多类似的框架,如 TonY、TensorFlowOnSpark,Kubeflow 中的 Training Operators 等,但这些框架或多或少存在某些问题,如与固定的机器学习框架( Tensorflow,Pytorch )耦合需要写明例如 PS、Worker 等角色,容错和弹性调度支持不友好,不支持异构调度,调度语义较为简单,不支持文件读取等。 将算法工程师从此类繁重的底层细节中解脱出来、更多地关注到算法层面,即为 Primus 解决的问题。