本文是一篇个人学习总结,实现了在 Gitlab 使用 ChatGPT 进行 Code Review 的功能,主要是为了了解一下 ChatGPT。
随着移动互联网时代的发展,智能手机已经融入到人们的日常生活和工作中,人们可以使用智能手机与好友实时聊天,可以使用智能手机拍摄美景,可以使用智能手机进行指纹支付,还可以使用智能手机处理工作邮件,等等。在便捷我们生活和工作的同时,智能手机不可避免地存储着包括聊天记录、照片、视频、指纹等个人数据,而这些数据或多或少涉及用户的隐私,使得用户对智能手机的隐私保护能力有一定需求。 为了满足用户的隐私保护需求,千镜安全实验室推出千镜安全架构,从应用层、框架层、内核层、芯片层这四个层级对用户的隐私进行保护,而TrustZone[1]属于芯片层级的保护,提供密钥存储、硬件加解密等硬件安全能力,能够有效保证指纹、个人身份信息等关键隐私数据不被破解、窃取。
CloudWeGo - Shmipc 是字节跳动服务框架团队研发的高性能进程间通讯库,它基于共享内存构建,具有零拷贝的特点,同时它引入的同步机制具有批量收割 IO 的能力,相对于其他进程间通讯方式能明显提升性能。在字节内部,Shmipc 应用于 Service Mesh 场景下,mesh proxy 进程与业务逻辑进程、与通用 sidecar 进程的通讯, 在大包场景和 IO 密集型场景能够取得显著的性能收益。 开源社区关于这方面的资料不多,Shmipc 的开源希望能为社区贡献一份力量,提供一份参考。本文主要介绍 Shmipc 的一些主要的设计思路以及后续的演进规划。
在数仓分层架构体系中,从 ODS层到 DWD层数据转换需要进行数据清洗、脱敏、列式压缩等步骤。在B站用户行为埋点数据 ODS到 DWD层转换过程中,为了解决日增千亿条、20+TB/天增量规模下数据重复摄取带来的资源严重消耗的问题,引入了北极星(B站用户埋点行为分析链路)分流,按照部门进行分表。在埋点设计中使用spmid模型,将事件类型拆分为浏览 pv、曝光 show、点击 click等多个事件类型,并以这些事件类型作为除天、小时分区以外的第三级分区,再以事件类型产品来源作为四级分区。通过基于部门业务区分按照埋点事件类型+产品来源以多表多分区控制的形式,最大程度降低下游任务文件数据摄取数量以减少资源消耗。