元数据MetaData狭义的解释是用来描述数据的数据,广义的来看,除了业务逻辑直接读写处理的那些业务数据,所有其它用来维持整个系统运转所需的信息/数据都可以叫作元数据。比如数据表格的Schema信息,任务的血缘关系,用户和脚本/任务的权限映射关系信息等等。 在数据仓库的建设质量的评估中,一个必不可少的评价指标就是数据产出的及时性,特别是对于P0级别的流程,及时性指标的好坏一方面决定了下游应用方能否准时地获取所需的业务指标,直接影响到业务的工作效率;另一方面也反映了相应指标的数据架构的合理程度。 数据及时性,顾名思义就是测试数据需要按时产出。及时性重点关注的三个要素是:定时调度时间、数据任务优先级以及数据产出deadline。其中任务的优先级决定了它获取数据计算资源的多少,影响了任务执行时长。数据deadline则是数据最晚产出时间的统一标准,需要严格遵守。这三要素中,属于业内统一认知且在质量保障阶段需要重点关注的是:数据deadline,这也是我们优化数据流程产出的最终评判标准。
本文作者是蚂蚁集团前端工程师写轮,写轮是亚运数字火炬支付宝前端技术负责人,荣获第七届「杭州工匠」提名奖。本文中,写轮介绍了自己在成长之路上经历的两次关键转折,以及如何通过持续成长来实现反熵增。
美团到店平台技术部/质量工程部与复旦大学周扬帆教授团队开展了科研合作,基于业务实际场景,自主研发了多模态UI交互意图识别模型以及配套的UI交互框架。 本文从大前端质量保障领域的痛点出发,介绍了UI交互意图识别的方法设计与实现。基于UI交互意图编写的测试用例在实际业务中展现出了可以跨端、跨App的泛化能力,希望可以为从事相关工作的同学带来一些启发或帮助。
在此前的两篇文章《研发深恶痛绝,业界持续热捧,DDD 到底是啥?》《从4万行代码降到1.8万,腾讯视频竟然用DDD做架构重构?》中,我们详细拆解了 DDD 的理论发展和实际落地过程中的量化评估方案,为大家深入浅出地揭开了 DDD 的神秘面纱。在本篇文章中,我们将重点阐述 DDD 的核心概念与关键方法。
去哪儿网的原有监控系统在指标数量上展现出了强大实力——上亿指标量和百万级的告警量,但在故障数据方面却稍显不足——订单类故障平均发现时间长达4分钟,仅有20%的订单类故障能在1分钟内被发现,近半数的故障处理时长超过30分钟。为了解决这些问题,去哪儿网决定从优化故障指标出发,对故障发现、故障根因定位、故障修复等各个环节展开全面优化。 本文将深入探讨这一系列优化改革的详细过程,剖析各个阶段所采用的监控方法和工具,以及在实践过程中遇到的关键问题。
DataWind是一款支持千亿级别数据自助分析的一站式数据分析与协作平台。在研发过程中,DataWind使用的umi脚手架使得数据流一直绑定在Dva方案上,然而Dva本身语法较为陈旧,DataWind在使用时也比较粗放,导致项目拆包时遇到了模块间紧紧咬合的问题,牵一发而动全身。 目前,DataWind前端团队正在进行模块架构的升级,本文将为大家详解基于Redux + hook如何升级数据流方案,以解决可视化查询模块内以及与其他模块间数据流使用不规范的问题,同时为开发者带来更好的开发体验。
在刚刚过去的第15个天猫双11里,我们看到,在生成式AI等科技变革和消费行为习惯变迁的时代大背景下,淘宝正在变为新的“AI淘宝”。科技媒体《量子位》专访淘天集团相关的AI技术负责人,一起聊聊大模型和AIGC文生图两大技术路线在淘宝的融合创新,看看AI如何跨越从技术到应用的鸿沟,带来更好的消费体验。
在互联网行业里,业务迭代很快,系统变更频繁,尤其长青业务随着时间会积累越来越多历史包袱。阿拉丁作为百度搜索垂直化的产品,业务历经多年更迭,历史包袱很多,在应对大事件比如高考、东京奥运会、北京冬奥会的大流量时业务集群面临很大挑战。以高考来说,从2013年开始百度做高考,经过11年的坚持和沉淀,如今高考阿拉丁直接承接用户搜索高考相关内容的数十亿pv的流量,积累多年的系统因其复杂度而面临巨大的稳定性风险。为了应对高考等大事件的巨大流量,联合多方快速建立了保障机制,本文结合实践做了归纳和总结。
多维表格又名透视表、交叉表、Pivot Table,指的是可以在行维度和列维度放入一个或多个维度,显示维度之间相互关系的一种表格。用户可以一目了然地分析出各种场景指标以及对比,旨在帮助业务分析推动决策。