如今OpenResty已广泛被各个互联网公司在实际生产环境中应用,在保留Nginx高并发、高稳定等特性基础上,通过嵌入Lua来提升在负载均衡层的开发效率并保证其高性能。本文主要介绍接口鉴权、流量控制以及记录追踪几个工具在实际生产环境中的应用实践,用于解决实际业务问题,提升业务运维效率,对于Openresty基本原理不再赘述。
电影《流浪地球2》中有这样的桥段:“数字生命计划”能够将人类的记忆、意识上传,通过数字世界中的“永生”实现人类文明的延续。电影中,刘德华扮演的图恒宇将濒死的女儿图丫丫的意识进行了上传。作为数字生命的她,目光会随人的动作而移动,能跟爸爸进行交流。随着电影的热映,数字生命成为了各界关注的焦点,技术的飞速发展亦为这一科幻情节在未来得以实现提供了可能。 在生物体中,我们的意识是由大脑中的神经元产生的,而在数字世界中,这些神经元将被转化为数据和算法。这种数字化实现的超越死亡的永久生存,是一场铺满鲜花与星光的美梦,更是一次充满危机与风险的挑战。在数字永生的冲击下,我们如何定义“意识”和“自我”?数字永生能否带来真正的意识和心灵延续?这与我们对于死亡和生命的理解是否契合?
特征衍生主要指的是通过既有数据进行新特征的创建。总体来说,特征衍生有两类方法,其一是通过深入的数据背景和业务背景分析,进行人工字段合成,这种方法创建的字段往往具有较强的业务背景与可解释性,同时也会更加精准、有效的提升模型效果,但缺点是效率较慢,需要人工进行分析和筛选,称为手工特征衍生。其二则是抛开业务背景,直接通过一些简单暴力的工程化手段批量创建特征,然后从海量特征池中挑选有用的特征带入进行建模,这种方法简单高效,但存在衍生字段过多,有效特征没有衍生的问题,称为批量特征衍生。 特征衍生的相关方法更像是人们在长期实践过程中总结出来的方法论,这些方法切实有效,但没有一套能够完整统一的理论体系来“框住”这些方法。此外由于模型场景的复杂多变,特征衍生需要结合综合数据体量、数据规律、现有算力等因素进行考虑,所以这边主要介绍特征衍生的一些方法。
随着微服务的流行,服务之间的依赖性和调用关系变得越来越复杂,服务的稳定性变得尤为重要。业务场景中经常会涉及到瞬时流量冲击,可能会导致请求响应超时,甚至服务器被压垮、宕机不可用。出于对系统本身和上下游服务的保护,我们通常会对请求进行限流处理,快速拒绝超出配置上限的请求,保证系统或上下游服务系统的稳定。合理策略能有效应对流量冲击,确保系统可用性和性能。本文详细介绍了几种限流算法,比较各个算法的优缺点,给出了限流算法选型的一些建议,同时对业务上常用的分布式限流也提出一些解决方案。
作者天士从事测试开发十多年,期间经历不少角色转换,以下是他在测开成长升级、质量体系建设、专项建设方面的总结,以及职场上的一些思考。
KV 存储作为美团一项重要的在线存储服务,承载了在线服务每天万亿级的请求量,并且保持着 99.995% 的服务可用性。在 DataFunSummit 2023 数据基础架构峰会上,我们分享了《美团大规模 KV 存储挑战与架构实践》,本文为演讲内容的整理。文章主要分为四个部分:第一部分介绍了美团 KV 存储发展历程;第二部分分享了内存 KV Squirrel 挑战和架构实践;第三部分阐述了持久化 KV Cellar 挑战和架构实践;最后一部分介绍了未来的发展规划。希望这些内容能对大家有所帮助或启发。
在日常的开发工作中,为了程序的健壮性,大部分方法都需要进行入参数据校验。本文围绕作者如何优雅的进行参数校验展开讨论。
曾几何时,中台一度被当做“变革灵药”,嫁接在“前台作战单元”和“后台资源部门”之间,实现企业各业务线的“打通”和全域业务能力集成,提高开发和服务效率。但在中台如火如荼之际,我们可以发现各大企业又在反其道而行,纷纷不断进行“拆中台”,那么中台对于企业而言,究竟发挥了哪些作用,当前又出现了哪些问题?今天,我们特邀了高级研发管理专家、腾讯云 TVP 程超老师,他将从搭中台到拆中台的风向转变,探讨企业软件架构的底层逻辑。