这篇文章的主要内容包括： 1.数据架构的演变历史与各种架构的优缺点。 2.流批一体的价值。 3.流批一体架构中流与批的关系。
很多读者看了《从9G到0.3G，腾讯会议对他们的git库做了什么？》之后，希望鹅厂程序员们分享更多 git 操作技巧。”git坑太多了“、”在工作中我经常遇到这个情况：忙了一天准备提交代码下班，结果 git 合并冲突把刚写好的代码覆盖掉了，血压飙升！““合并前文件还在的，合并后就不见了”，“我遇到 git 合并的 bug 了” ——这是程序员高频遇到的场景。鹅厂毕鸣一如何攻破这个 git 使用时的痛点？欢迎继续阅读。
引用来自百度百科的话术：在数据库技术发展历史上，1970 年是发生伟大转折的一年，因为这一年的6月，IBM的圣约瑟研究实验室的高级研究员Edgar Frank Codd在Communications of ACM 上发表了《A Relational Model of Data for Large Shared Data Banks》。 ACM 后来在1983 年把这篇论文列为从1958年以来的25年中最具里程碑意义的25篇论文之一，因为它首次明确而清晰地为数据库系统提出了一种崭新的模型， 即关系模型。自从关系模型诞生后，当时的层次型模型（类似XML/JSON）和网状模型（类似Graph图）的数据库迅速消亡掉（当然现在又回来了），而1981年的图灵奖很自然地授予了这位“关系数据库之父”。由于他的研究成果，IBM投巨资开展关系数据库管理系统System R的研究，又在此基础上推出的DB2和SQL等产品。 1970 年以后，E.F.Codd继续致力于完善与发展关系理论。1972年，他提出了关系代数和关系演算的概念，在传统集合运算的并（Union）、交（Intersection Refe
本文记录了作者在工作10年间遇到的挑战与困难、思考与成长，也是对过去工作的总结与反思，分享出来，希望对大家有所帮助。（文末附活动）
最近面试问过很多候选人Java锁有关的知识，可以感受到的是，大家的理解基本都停留在“八股文”的阶段，实质上对Java的锁以及多线程的同步机制这种底层原理，理解的不是很好。网上这类文章已经很多了，但是看了下有好多文章都是相互抄的，而且都是过时的，典型的例如AQS里的addWaiter方法在JDK16里就没见到，或许代码进行了重构了。通过文章也梳理一下我一般看源代码的习惯是怎样的。 AQS全称是AbstractQueuedSynchronizer，首先他是一个抽象类，其次他使用了队列来进行排队，然后作用是用来做线程间的同步的。他是Java里所有锁的基础，包括CountDownLatch以及读写锁，可重入锁等等都是基于AQS实现的。我们从ReentrantLock入手来管中窥豹，大概得看看AQS的源代码。 首先你要了解的是使用方法，一个典型的ReentrantLock使用方法写在了这个类的注释里。
ByConity适合多种业务场景，在实时数据接入、大宽表聚合查询、海量数据下复杂分析计算、多表关联查询场景下有非常好的性能。 本文将用一个实际的业务场景来介绍这套行为分析系统，ByConity是基于用户的多维度行为分析平台，提供事件分析、留存分析、转化分析、用户分群、用户留存等多种分析方式和场景。
高仿真用户行为模拟可以使业务质量保障更加充分，优秀的程序设计也绝不会忽略功能在不同软硬件设备上的适配表现。所以，测试通常会引入兼容性测试、网络模拟测试、虚拟机测试等。这样不可避免的，会用到大量公共测试资源，如 机器设备（手机/主机等）、特征账号、虚拟资产......团队越庞大，资源越多，资源管理的难度就会越高，面临的异常问题也会越多。 伽利略曾提出一个“规模法则”，表达了如下观点：世间万事万物，都不能按照简单的线性关系放大。一个常见的例子就是，一颗树的长大，随着它越长越高，所关系到的体积和树干的承重力都是呈超线性关系增长的。团队里资源管理也是一样的，随着业务扩张，资源量增加，面临的问题和考验也是呈超线性关系增长的。 一些团队在规模较小的时候，使用手动管理的方式进行资源管理，但随着业务扩张，资源量达到一定程度的时候，手动进行资源管理就越发步履维艰。
预聚合是OLAP系统中常用的一种优化手段，在通过在加载数据时就进行部分聚合计算，生成聚合后的中间表或视图，从而在查询时直接使用这些预先计算好的聚合结果，提高查询性能，实现这种预聚合方法大多都使用物化视图来实现。 ClickHouse社区实现的Projection功能类似于物化视图，原始的概念来源于Vertica，在原始表数据加载时，根据聚合SQL定义的表达式，计算写入数据的聚合数据与原始数据同步写入存储。在数据查询的过程中，如果查询 SQL 通过匹配分析可以通过聚合数据计算得到，直接查询聚合数据减少计算开销，大幅提升查询性能。
