当前站内存在一定比例的UP主投稿重复、低编辑度的低创视频投稿的情况。低编辑度重复投稿表现为,相同或不同视频作者对同一视频素材进行黑边、裁剪、渣清、模板、录屏、变形、滤镜、模糊填充等不影响内容实质的编辑后进行反复投稿
随着云原生技术的普及,其暴露出来的攻击面也被黑客们念念不忘,相关的攻击技术也跟着被“普及”,自动化漏洞利用攻击工具更是如雨后春笋般出现在GitHub开源平台,其中比较有代表性的如cdk-team/CDK。其是一款为容器环境定制的渗透测试工具,在已攻陷的容器内部提供零依赖的常用命令及PoC/EXP。集成Docker/K8s场景特有的 逃逸、横向移动、持久化利用方式,插件化管理。 在漏洞利用门槛如此低廉的今天,作为企业安全的建设者(搬砖人),除了考虑部署容器层面运行时检测平台,在k8s api-server层面,启用日志审计功能,也是一个成本低廉又高效发现入侵攻击的途径。 通过对api-server的日志进行审计分析,对于攻击者的信息收集行为,部署k8s cronjob后门、利用rbac做权限提升等持久化攻击行为都能及时的发现并输出告警。
随着弹幕数量越来越多,以及我们会不断的往视频上面添加越来越多的动画,如何让各种弹幕流畅的展示给我们的用户,成为了我们必须要考虑的问题。这要求我们需要了解浏览器底层的渲染原理,才能以最低的性能消耗来实现我们的各种弹幕效果,知道哪些性能消耗是我们前端可以避免的。
在数仓分层架构体系中,从 ODS层到 DWD层数据转换需要进行数据清洗、脱敏、列式压缩等步骤。在B站用户行为埋点数据 ODS到 DWD层转换过程中,为了解决日增千亿条、20+TB/天增量规模下数据重复摄取带来的资源严重消耗的问题,引入了北极星(B站用户埋点行为分析链路)分流,按照部门进行分表。在埋点设计中使用spmid模型,将事件类型拆分为浏览 pv、曝光 show、点击 click等多个事件类型,并以这些事件类型作为除天、小时分区以外的第三级分区,再以事件类型产品来源作为四级分区。通过基于部门业务区分按照埋点事件类型+产品来源以多表多分区控制的形式,最大程度降低下游任务文件数据摄取数量以减少资源消耗。
众所周知,B站是个学习的网站,网页端和粉版移动端都非常的好用,不过,相对其它平台来说B站的PC客户端也算是大器晚成了。在有些场景PC客户端的优势也是显而易见的,比如,跓留电脑桌面的快捷、独立的应用窗口、特有的交互方式等,因此就有了很多喜欢B站的技术大佬整出了不少体验不错的第三方PC应用,比如云之幻版、逍遥橙子版等。 当然我站也有一个源自三方的UWP客户端,但是由于历史原因一直没有得到很好的维护,在21年底,一个需要在电脑端预装的需求让我们有了开发一个全新的PC客户端的想法。
为什么使用多云: 公有云因为其弹性、按需使用以及多地域的覆盖等优势,企业在高速发展的过程中往往会选择公有云来提供应用所需的基础设施; 为了高稳定性和成本最优的考虑,一般会引入多家云厂商; 多云部署防止单一云厂商故障导致服务完全不可用; 采用多云也提升了采购上的议价能力,避免单一厂商绑定,在价格谈判中处于劣势; 不同的云厂商在覆盖的地域、产品的能力上不一致,引入多云可以充分发挥各厂商的服务能力和产品优势。 多云带来的问题: 公司内因为云上资源使用的业务比较多,资源新增和交付主要依赖人工沟通并在控制台上进行操作,效率很低,在遇到大批量的资源交付服务器、数据库和负载均衡等多产品联合交付等场景的时候,无法满足业务的高速迭代需求; 不同的业务使用的云产品不同,基本上都涵盖了主要的IaaS和PaaS类的云产品,资源分布在多个公有云、多个云账号下,无法准确掌握全部资源情况,寻找资源困难,难以区分哪个资源由哪个业务使用; 用户在公有云控制台上权限混乱缺乏管理,存在权限泄露问题,操作不同资源需要通过密码登录不同公有云不同账号,难以批量操作,高危操作缺乏审批流程;
在前文中,我们拥有了对一个矢量图形的路径描述。在本文中我们会介绍,如何将已有的路径描述 (Path) 转化为,GPU可读取的三角形的顶点数据。整体处理过程如下图所示,路径作为输入,折线化模块首先使用折线近似曲线将其转化为复杂多边形,接着将复杂多边形简单化、简单多边形单调化、单调多边形三角化,最终得到一组三角形作为输出!
图片库加载服务是为bilibili打造的移动端一站式解决方案,集图像加载、显示、处理、监控于一体,以高可用、高性能、可高度定制、数据服务、省流量五大核心优势被公司各个业务接入使用,经过长期的迭代与维护,已成熟稳定。 在如今越来越看重体验的大环境下,对图片库的要求也日益攀升。从成本的角度来看,使用AVIF格式可以节省大量的网络带宽和存储空间,减少网站加载时间,并且可以改善用户体验,进而提高网站的效率和收益,从而节约大量的费用。 AVIF格式能够带来许多优势,首先,AVIF格式具有明显的压缩率优势,可以比其他常用图片格式(如JPEG、PNG)节省更多的存储空间,减少图片加载所需时间和带宽,提高网站加载速度,提高访问者的体验;其次,AVIF格式丰富的特性支持,可以支持更多的设备和浏览器,提高图片的可用性,并可以免专利费的优势;最后,AVIF格式支持图片的质量优化,可以保证图片的质量,同时节省更多的容量。
B站内各业务产品迭代离不开各种数据决策,而依托于埋点的用户行为数据在其中起到了 关键作用。埋点也是算法推荐、渠道投放、业务决策的重要数据来源,鉴于此,如何规范埋点设计,高效采集,让业务团队快速直观分析成为了推进业务发展的重要一环。 本文主要分享B站过去在埋点规范设计、埋点分析应用的经验,我们相信数据只有流动起来,才能发挥它的价值,The data must flow!
随着B站业务的高速发展,业务产生的数据每天以PB级的速度持续增长,之前主要应对方法是分析数据的使用频率,把数据分为热冷俩类数据,对冷数据进行高密存储来降低存储成本,以及对部分非核心的冷数据进行数据周期管理。随着体量的增大,即使TTL机制的运行,冷数据的存储量也越来越多,这部分数据长时间未有访问,但仍然具有一定的价值,不能随意清理,且占总体数据量的30%以上,现有的高密存储机制虽然能一定程度上降低存储成本,但是为了进一步的降本增效,我们计划用技术手段进一步节省存储成本。 目前社区针对降低存储容量的手段主要就是EC策略,我们为此推动了HDFS EC在B站存储上进行实践。