得物上一代日志平台的存储主要依赖于 ES。随着公司业务的高速发展,日志场景逐步产生了一些新需求,主要表现在:应用数量逐步增多,研发需要打印更多的日志定位业务问题,安全合规需要保留更长时间的日志。随着 Clickhouse 的应用广泛,我们了解到行业部分知名公司已经将日志平台逐步由 ES 迁移至Clickhouse,以此来获取更好的写入性能与高压缩比。因此我们与日志平台研发团队开始进行日志平台新存储的选型评估,本文会介绍我们如何通过 Clickhouse 的冷热分离存储替代 ES 的实施方案。
大型电商系统并非一开始就具有完整设计的高可用特性,而是随着用户的不断增加与业务的快速增长逐步演进与完善的。当前高可用架构体系是互联网企业系统架构的基础要求,随着公司的业务发展,尤其是对于电商平台,每次发生稳定性故障带来的影响越来越大,提供稳定的服务,保证系统的高可用已经变成了整个技术团队需要面对的挑战。 基于此,我们深度采访了得物技术团队核心成员,探索他们在高可用架构上的实践、演进,深入了解大促备战是如何进行的,异地多活体系是如何建设的,全链路压测是怎么实践的等过程。
得物消息中心每天推送数亿消息给得物用户,每天引导数百万的有效用户点击,为得物App提供了强大,高效且低成本的用户触达渠道。这么庞大的系统,如何去监控系统的稳定性,保证故障尽早发现,及时响应至关重要。为此,我们搭建了得物消息中心SLA体系,相关架构如图:
本期话题就是整理自“内部技术沙龙SmartCode--之毕玄《技术成长之路》”,内容包括如何提升技术基本能力、如何做好架构师角色、如何做好技术Leader这样的角色;正文不仅对本次分享进行了梳理,还把大家关注的QA也放在了文末,希望这篇文章能够给你带来一定的启发。
当前,大部分企业都使用防火墙 (firewall) 来加强网络边界安全。然而,这种安全模型是有缺陷,因为当该边界被破坏,攻击者可以相对容易地访问公司的特权内部网。 边界安全模型通常被比作中世纪城堡:城墙厚厚的堡垒,四周有护城河,戒备森严单点入口和出口。任何位于墙外的东西都被认为是危险的,而位于墙内的任何东西都是可信的。任何通过吊桥的人可以随时访问城堡的资源。
快速有效的AB实验是策略方案最优化、用户体验的强有力保证,而背后的黑科技来源于基础的统计理论。因此,要想更好地设计实验和解读实验结果,就需要理解基础的统计学知识和AB实验所涉及的统计学理论,以此更科学有效的做出决策。
搜索引擎在数据量逐步扩大之后,分布式搜索是必经之路。搜索引擎的分布式除了要考虑数据分片之外,更重要还需要考虑数据的有状态以及各组件的状态流转。在这里分享一下基于ZK设计分布式搜索引擎的一些经验和思考落地情况,包含了从单机版本到分布式版本的演进。