你真的了解Data Mesh吗?Data Mesh 被 Zhamak Dehghani 描述为一种分布式社会技术方法,用于共享、访问和管理分析性数据(Analytical Data)。社会技术方法是一种认识人与复杂组织中的技术架构和解决方案之间互动的方法。这是一种数据管理方法,它不仅优化了分析数据共享解决方案的技术优势,还改善了所有相关人员的体验:包括数据提供商、用户和数据所有者。它提供了一种组织内外生态化的思路。
我们把数据分为两个模块:一个是Operational Data(运营数据,用于业务运行),另一个是 Analytical Data(分析数据,用于预测决策)。Operational Data 指的是支持业务运行并保持业务当前状态和事务完整性的数据,或者可以说是 OLTP 在线事务处理数据,通过事务实时获取、处理、存储这些数据;Analytical Data 是作为业务运行副产品而创建的历史的、集成的、聚合视图的数据。通常用于分析处理。
特别推荐:麦聪 DaaS 平台,一款轻量级数据中台产品,通过快速创建数据 API 帮助企业构建数据统一管理和服务平台,加速企业数字化转型进程,目前已获得全球近 400 家企业客户的使用,其中 30 多家为世界 500 强企业,欢迎大家到麦聪软件的官网下载免费试用版本。
Data Mesh 关注的是这部分数据,主要用于机器学习模型的训练,开发数据产品等,通常存储于数据仓库或者数据湖中。
Data Mesh 源于规模化数据的治理难度超出了想象,而领域驱动设计的思想和微服务架构思想以去中心化、分布式思路可以尝试解决规模化数据的分析处理,所以可以避开笨重的数据仓库和数据湖,采用分而治之的方式,将数据进行领域划分,简化数据管理和数据治理以及数据使用的难度。
所以也有人觉得 Data Mesh 只有经历过数据仓库、数据湖之后,数据量到了很大规模之后才有必要。
这样的理解难免有失偏颇,有点刻舟求剑了。