• ARTICLE
  • STRING
  • CONVERTER
  • ENCRYPT
  • NETWORK
  • MORE
    CHART
    MATH
    COORDINATE
    IMAGE
    FILE
  • ARTICLE
    STRING
    CONVERTER
    ENCRYPT
    NETWORK
    MORE
    CHART
    MATH
    COORDINATE
    IMAGE
    FILE
logo Online Tools
All Chinese English Newest Hottest
197 search results

随着B站业务的高速发展,业务产生的数据每天以PB级的速度持续增长,之前主要应对方法是分析数据的使用频率,把数据分为热冷俩类数据,对冷数据进行高密存储来降低存储成本,以及对部分非核心的冷数据进行数据周期管理。随着体量的增大,即使TTL机制的运行,冷数据的存储量也越来越多,这部分数据长时间未有访问,但仍然具有一定的价值,不能随意清理,且占总体数据量的30%以上,现有的高密存储机制虽然能一定程度上降低存储成本,但是为了进一步的降本增效,我们计划用技术手段进一步节省存储成本。 目前社区针对降低存储容量的手段主要就是EC策略,我们为此推动了HDFS EC在B站存储上进行实践。

50 Technology lddgo Shared on 2023-03-15

在降本增效的大背景下,为提高机器资源利用率,将不同优先级的在线业务(通常为延迟敏感型高优先级任务)和离线任务(通常为延时不敏感型低优先级任务)部署在相同的物理机器上。内存作为重要资源,混部任务一旦调度到某个k8s节点后,在内存资源使用上可能对在线任务产生竞争,为了避免此种情况对在线任务的干扰,我们可能需要感知在线任务的负载情况并做相应的内存隔离管控,尽量做到对在线任务零干扰。

33 Technology lddgo Shared on 2023-03-08

自动语音识别(Automatic Speech Recognition,ASR)技术目前已大规模落地于B站相关业务场景,例如音视频内容安全审核,AI字幕(C端,必剪,S12直播等),视频理解(全文检索)等。

51 Technology lddgo Shared on 2023-03-01

为了提高开发效率和质量,我们常常需要ORM来帮助我们快速实现持久层增删改查API,目前go语言实现的ORM有很多种,他们都有自己的优劣点,有的实现简单,有的功能复杂,有的API十分优雅。在使用了多个类似的工具之后,总是会发现某些点无法满足解决我们生产环境中碰到的实际问题,比如无法集成公司内部的监控,Trace组件,没有database层的超时设置,没有熔断等,所以有必要公司自己内部实现一款满足我们可自定义开发的ORM,好用的生产工具常常能够对生产力产生飞跃式的提升。

42 Technology lddgo Shared on 2023-02-22

B站基于k8s构建的私有云平台已达万级节点规模,托管了公司大部分的在线业务以及机器学习、大数据、转码等离线业务。在推进降本增效的过程中,我们发现业务申请的容器资源规格存在不合理的现象,通常设置的资源配额会比实际负载偏大很多。这就造成节点的cpu分配率很高,已经无法调度新容器,但是节点的实际cpu峰值利用率却很低(如图所示)。

41 Technology lddgo Shared on 2023-02-15

随着高速网络和5G的普及,目前市面上开始有越来越多的云游戏产品。通过云游戏,玩家不需要性能强劲的设备,也不需要下载如今包体越来越大的游戏,云游戏使玩家接触游戏的门槛变得越来越低。 目前业界云游戏最大的难题是如何降低延迟和解决串流卡顿,其次市面上的云游戏解决方案几乎被几家提供商垄断,第三方解决方案在功能定制和优化上自由度低、租用成本高。 为了解决第三方解决方案的瓶颈,于是B站自研云游戏由此诞生。 B站云游戏从设计上允许全平台使用、游戏触感反馈、本地多人合作、远程多人合作甚至可以让用户私有化部署到自己的PC上。

50 Technology lddgo Shared on 2023-01-13

数据驱动理念已被各行各业所熟知,核心环节包括数据采集、埋点规划、数据建模、数据分析和指标体系构建。在用户行为数据领域,对常见的多维数据模型进行信息提炼和模型整合,可以形成一套常见的数据分析方法来发现用户行为的内在联系,能更好洞察用户的行为习惯和行为规律,帮助企业挖掘用户数据的商业价值。 行业内最早可追溯到Google Analytics埋点分析工具,国内较早开始这方面研究的是百度大数据分析平台;随着15年后国内大数据兴起,神策的用户行为分析平台、GrowthingIO的增长平台等独立数据分析平台公司相继成立;18年后一些发展较快的大厂经过几年数据积累也有了自己的分析平台,例如美团点评的Ocean行为分析平台、字节的火山引擎增长分析平台等等。 只有当数据达到一定规模才更适合用科学化的方法来提升数据分析效率,如前面所述,虽然Google和百度在这块最早探索,但后面一些互联网公司也是过几年才有自己的产品,即数据产品的发展需要与实际数据规模和业务发展相符。B站最早从19年开始关注大数据建设,到现在已经有一套较为成熟的数据产品——北极星,可以实现对用户行为数据进行埋点采集、埋点测试、埋点管理

55 Technology lddgo Shared on 2023-01-11

时光匆匆,2022年2月21日诞生的哔哩哔哩技术团队公众号已经走过了第一个春秋。这一年我们共发布了101篇原创文章,在大家的喜爱和支持下,也有了10W+阅读量的文章,今天为各位送上2022年最受欢迎的20篇文章,请大家品读分享,也可以关注留言你未来想看到的内容。

44 Technology lddgo Shared on 2023-01-09

目前B站已在自建视频CDN下行中全量部署了基于QUIC和HTTP/3协议的网关服务(以下简称QUIC网关)。和TCP网关相比,QUIC网关在视频首帧、卡顿率以及加载失败率等常见的QoE/QoS指标方面都有不错的收益。另一方面,由于QUIC使用了更复杂的协议头和解析规则,此外Linux内核对UDP收发包的性能也不甚理想,这些方面都使得QUIC占用了更多的CPU负载,最终导致了更多资源成本的消耗。 为了给B站用户提供更稳定流畅的视频观看体验,同时降低成本,网络协议组团队通过技术选型,排除了DPU方案,决定使用AF_XDP技术来优化QUIC网关的收发包效率,减少CPU负载。

67 Technology lddgo Shared on 2022-12-28

随着持续集成和敏捷开发的不断发展,移动应用的发布变得越来越频繁。以B站应用为例,主站粉版APP每周都会发布一次新的版本,主站HD应用的Android端与ipad端每周交替发布新的版本。在应用快速迭代的同时,QA需要在规定时间内进行大量的回归测试以保证应用的质量。一方面,大量的测试用例需要耗费较多的人力和时间,另一方面,BUG检出时间的不确定性导致给予研发修复的时间并不是很充足。因此急需一种技术来帮助QA快速筛选出高风险用例,将BUG的发现时间提前,从而给研发更多时间去修复BUG。在此背景下,我们经过调研后,选择了使用测试用例排序优化技术(Test Case Prioritization,以下简称TCP)来帮助QA对测试用例进行优先级排序,提高测试效率。

48 Technology lddgo Shared on 2022-12-21