5月18日-19日,“第八届亚太银行数字化创新峰会”暨华鹰奖颁奖典礼在上海盛大启幕。峰会以“数据&技术双驱动银行高质量发展”为主题,特邀30+金融行业头部大咖亮相,超300位优秀银行代表汇集一堂。Aloudata凭借金融科技领域领先的技术实力荣获“华鹰奖—金融行业Data Fabric解决方案杰出服务商”,Aloudata联合创始人&CTO 周泉受邀分享,主题《Data Fabric最佳实践:基于算子级血缘实现主动数据治理 》。
“亚太银行数字化创新峰会”已连续举办八届,是金融行业最活跃、影响力最大的盛会之一。组委会面向银行业发起的“BDI华鹰奖评选”活动主题包含技术实力、创新应用、行业影响力等维度,评选周期长达半年,上百家参评企业经由初审、线上投票、专家评审等环节层层筛选。此次获奖是金融客户对Aloudata Data Fabric方案与技术实力的一致认可;Aloudata联合创始人&CTO 周泉在主题演讲中针对Data Fabric及主动数据治理等面向未来的顶级技术趋势深度阐述了Aloudata的独到见解,引发现场热议。
图:多家头部金融机构代表驻足Aloudata展位了解方案详情
主动元数据:Data Fabric落地关键能力
作为新兴的热门话题,Data Fabric自诞生之日起就备受关注。2022年,全球著名咨询机构 Gartner 发布的顶级战略技术趋势中,Data Fabric(数据编织)入选为工程信任主题的关键技术趋势,它不仅首先被提及,甚至被定义为“面向未来的数据管理架构思想”。近年来,先驱企业寻求技术突破与增长的背后,基于主动元数据、知识图谱、数据虚拟化、AI等技术的Data Fabric理念已经成为应对数据类型多样化及数据量激增的最佳解决方案。
Aloudata联合创始人&CTO 周泉在演讲中表示,Data Fabric的核心观点是通过数据管理模式的升级,实现更主动、智能、持续的数据治理,而主动元数据是实现智能数据管理的基础,也是实现Data Fabric的关键能力。Gartner认为,未来的数据管理就像是“具备自动驾驶能力的汽车”,数据管理策略在人的监视下自动运行,然而数据管理策略的有效性绝大部分取决于主动元数据建设的好坏——可见,主动元数据是企业落地Data Fabric和主动数据治理的重要基石。
那么何谓主动元数据?周泉解释道:
-首先,主动元数据强调更深度更持续的数据理解,过去我们在管理元数据时,更多是收集元数据并且把它呈现出来,但主动元数据更多是强调我们对元数据做持续的分析和理解,不光是理解数据的Schema、产出时间等常规信息,更多是要理解数据背后的加工口径、业务主体、汇总粒度以及如何正确使用等;
-其次,主动元数据强调更主动的元数据服务,主动元数据的‘主动’在于用户遇到数据使用及管理问题时,平台不再被动等待用户去数据目录检索信息,而是主动提供设计建议,抑或是可被系统执行的指令;
-最后,主动元数据更强调与数据工具主动集成,在数据生产、消费和协作的各个环节为用户提供完整的元数据上下文以及智能建议,以实施更主动的数据管理策略。
算子级血缘:支撑实现更深度的数据理解
Aloudata 之所以能够成为国内领先的Data Fabric方案提供商,核心在于其独有的关键技术——算子级血缘,能够实现对全域数据字段口径的精细刻画,支撑企业构建一份“精准、全面、语义化的元数据知识图谱”,大幅提升数据管理效率。
相对于列血缘、表血缘,算子级血缘具备以下优势:
-字段口径一目了然:无需人工层层分析 SQL 代码,算子级血缘能自动、精确地抽取两个字段之间的加工口径,让字段口径一目了然;
-精细刻画依赖关系:算子级血缘能精细刻画字段与字段之间的依赖关系,不论是上游库、表、列、schema变更还是加工口径变更,都可将变更影响评估到行级别,从而大幅降低变更影响评估面;
-端到端列级依赖可视:上至业务系统源端,下到BI、AI工具的每一个指标和图表,算子级血缘能更精细地刻画每一条数据链路,实现更精细的数据治理。
图:算子级血缘让复杂数据链路纤毫毕现
目前,Aloudata算子级血缘经过多家头部金融机构的严苛验证,能够做到SQL解析准确率99%以上,支持绝大多数的主流 SQL 方言(Gauss、Hive、Spark、Presto、Oracle)、并可在1周内完成SQL方言扩展,让复杂数据链路纤毫毕现,让数据治理更精细、更主动、更智能。
基于主动元数据:Aloudata构建全链路数据治理解决方案
Aloudata 创始团队自2019年起开始以 “用数据治理数据”的工作理念在蚂蚁集团推进全域数据治理,在构建全面、精细、准确、实时的主动元数据能力上进行了大量实践,在 EB 级数据体量上实现了安全合规治理、计存成本治理和数据质量治理等领域的自动化和智能化。2021年5月 Aloudata成立后,Aloudata团队结合业界先进的Data Fabric架构理念,基于独有的算子级数据血缘技术,正式推出了BigMeta主动数据治理平台。BigMeta 能在复杂度爆炸性增长的数据生态体系下为企业提供全面、精细、准确和实时的元数据基座,并基于企业数据资产盘点、主动模型治理、数据可观测性、安全合规治理等真实场景,构建全链路产品&场景解决方案:
·自动盘点全域数据,百万数据资产1天厘清
BigMeta可从纷繁复杂的数据网络中,快速厘清全域指标口径、盘清主数据模型、准确识别隐私敏感数据(准确率>95%),同时还可对全域数据资产进行实时分类打标,进而实施分类分级的数据资产管理策略。
·实时在线的建模助手,10倍提升模型研发效率
BigMeta能够自动识别重复数据资产、主动发现数据链路问题,并在模型研发时提供高置信 SQL 编写建议、在模型变更前精准分析模型变更影响、在模型上线后真实量化模型收益。
·精准归因数据异常,5分钟完成根因定位
在数据质量监控之外,BigMeta做到让数据链路可观测,自动扫描数据资产、收集统计数据并监控这些统计数据的变化。一旦出现异常,BigMeta可基于算子级血缘追溯全链路所有历史变更,分钟级完成数据异常根因定位。
·隐私敏感数据实时追踪,秒级感知用数合规风险
BigMeta可实时追踪隐私敏感数据的应用、流转和导出事件,并基于用户隐私授权协议和应用场景标识,秒级完成对数据应用隐私合规风险的精准判断和主动预警,防范风险于未然。
图:Aloudata Data Fabric方案落地某头部险企
目前,Aloudata已为多家金融头部机构提供Data Fabric方案,并在极高复杂度的数据环境中完成实地验证。未来,Aloudata将持续致力于为客户提供业界最先进的技术与产品,消除最困难的数据治理技术瓶颈,帮助企业实现数据管理效率百倍提升。