虽然官方文档记录了 ClickHouse 物化视图很多详细信息,但是使用物化视图还是有很多小细节需要注意,更别说一些最佳实践。本文总结了 ClickHouse 物化视图使用上的各种问题,并展示三个实际案例。
在探究 Kafka 核心知识之前,我们先思考一个问题:什么场景会促使我们使用 Kafka? 说到这里,我们头脑中或多或少会蹦出异步解耦和削峰填谷等字样,是的,这就是 Kafka 最重要的落地场景。 异步解耦:同步调用转换成异步消息通知,实现生产者和消费者的解耦。想象一个场景,在商品交易时,在订单创建完成之后,需要触发一系列其他的操作,比如进行用户订单数据的统计、给用户发送短信、给用户发送邮件等等。如果所有操作都采用同步方式实现,将严重影响系统性能。针对此场景,我们可以利用消息中间件解耦订单创建操作和其他后续行为。 削峰填谷:利用 broker 缓冲上游生产者瞬时突发的流量,使消费者消费流量整体平滑。对于发送能力很强的上游系统,如果没有消息中间件的保护,下游系统可能会直接被压垮导致全链路服务雪崩。想象秒杀业务场景,上游业务发起下单请求,下游业务执行秒杀业务(库存检查,库存冻结,余额冻结,生成订单等等),下游业务处理的逻辑是相当复杂的,并发能力有限,如果上游服务不做限流策略,瞬时可能把下游服务压垮。
MySQL 在5.1以后的版本支持了分区表,从物理的角度上来看分区是将一个表分解成多个独立不相交的子表,但从逻辑的角度来看所有的分区共同组成一个独立的表。MySQL目前只支持水平分区(表的不同行分布在不同的子表中)并不支持垂直分区(表的不同列分布在不同的子表)。分区可以更方便的管理数据,比如:可以通过删除分区来快速的删除某部分数据;可以只扫描少量的几个分区来查询符合条件的结果;不同的分区可以使用不同的物理设备,更高效的利用查询物理设备;避免ext3文件系统中inode锁竞争等等。 对分区表进行搜索时,如果可以根据WHERE条件确定符合条件的数据分布在哪些分区中,那么只需要对这些分区上的索引进行搜索即可,不需要遍历所有的分区,如果符合条件的数据只分布在少数分区时可以极大的提高查询的速度。这就是本文主要介绍的内容:分区剪枝。
近两年AIGC领域取得了显著进步,尤其是伴随Stable Diffusion、Midjourney、ChatGPT、GPT4等现象级产品的推出,AIGC开始广泛应用于文本生成、智能问答、图片生成等领域,极大地节省了生产力;同时也成为资本、市场、企业、学术界争相竞逐的领域。 AIGC的发展历程充满了挑战与机遇,每天被“时代洪流”推着走的我们普通人包括技术人员该何去何从,如何深窥这波潮流背后真正的核心技术,如何赶上技术的潮流,如何让自己具备核心竞争力,这些问题都需要我们剥离媒体过多的表面的渲染和浮躁,去建立自己关于AIGC、关于大模型的理论体系和深度思考。 本期大牛书单,我们请来了几位鹅厂同事,为大家推荐一些AIGC/ChatGPT相关的文献和学习资料,一起跟随技术时代的潮流,多读书多进步。
自 2013 年提出以来,Serverless(无服务器)作为屏蔽服务器、按调用计费、事件驱动、弹性自动伸缩的计算服务,深受开发者喜爱,被称为云原生未来发展的方向。 最新的调查报告显示:在核心业务中使用 Serverless 的用户达到 18.11%;已经开始和计划使用 Serverless 技术的用户超过了 70%。根据 Datadog 数据,有超过 50% 的使用云服务的企业或组织使用了 Serverless 技术。 但是,当开发者从创业阶段过渡到大型企业阶段,原来的 Serverless 模式逐渐给企业的管理、运维以及财务等带来一系列的挑战,这也是当期Serverless很难在大型企业全面应用的根本原因,为了破解这样的难题,腾讯云工程师从深度分析症结,推出了顺应企业发展需求的技术,打造真正服务于企业的 serverless 平台。
在 Redis 的实际使用过程中,我们经常会面对以下的场景: 在 Redis 上执行同样的命令,为什么有时响应很快,有时却很慢; 为什么 Redis 执行 GET、SET、DEL 命令耗时也很久; 为什么我的 Redis 突然慢了一波,之后又恢复正常了; 为什么我的 Redis 稳定运行了很久,突然从某个时间点开始变慢了。 这时我们还是需要一个全面的排障流程,不能无厘头地进行优化;全面的排障流程可以帮助我们找到真正的根因和性能瓶颈,以及实施正确高效的优化方案。 这篇文章我们就从可能导致 Redis 延迟的方方面面开始,逐步深入排障深水区,以提供一个「全面」的 Redis 延迟问题排查思路。
这是敦煌研究院和腾讯联合推出的一款互动体验文博产品,也是100年来首次数字化重现敦煌藏经洞。不管你身在何处,都可以通过数字藏经洞“一键穿越”,与不同朝代的历史人物对话互动,身临其境地感受敦煌藏经洞的前世今生。 现在,打开“云游敦煌”小程序,即可开启藏经洞的“穿越之旅”!
Spring Cloud Tencent 1.11 版本现已发布,支持 Spring Cloud 2022、2021、2020 版。 Spring Cloud Tencent 是腾讯开源的一站式微服务解决方案,实现了Spring Cloud 标准微服务 SPI,开发者可以基于 Spring Cloud Tencent 快速开发 Spring Cloud 云原生分布式应用。Spring Cloud Tencent 的核心依托腾讯开源的一站式服务发现与治理平台 Polaris,实现各种分布式微服务场景。