热门

最新

红包

立Flag

投票

同城

我的

发布
weixin_42977958
weixin_1235
4 年前
trueweixin_42977958

数据湖、湖仓一体等新技术的出现都对数仓公共层的建设必要性提出挑战,技术的趋势似乎都在朝着数仓公共层的反面进行,即强调原始数据分析的所见即所得,强调对不可知数据和不可知业务的探索分析。


数据仓库通常预先定义 schema,外部数据需要按照标准写入(比如清洗转化等)并对外提供数据服务查询接口,数仓公共层进一步延伸了这种设计思想,通过事先的生成和约束来确保良好的数据性能,所谓先建模再使用,强调的是未来的成长性。


数据湖则是反过来的,外部数据几乎不受限制的进入数据湖,只有在需要使用的时候才明确 schema来建模,数据湖也不存在所谓的公共层,应用需要就即席建模,强调的是灵活性。

CSDN App 扫码分享
分享
评论
点赞
打赏
  • 复制链接
  • 举报
下一条:
物联网:物联网(IoT)是配备传感器的物体和设备,可通过互联网收集和传输数据。物联网设备是数字技术与物理现实融合的地方。电力物联终端生成实时数据,人工智能和大数据分析应用将这些数据转化为自动化和决策。
立即登录