首页 体育 教育 财经 社会 娱乐 军事 国内 科技 互联网 房产 国际 女人 汽车 游戏

谈数据中台(12.05)

2020-01-17

前面谈了事务中台,在很早我也谈过事务中台和数据中台的差异,今日再谈下数据中台。首要咱们看下网上关于数据中台的一个界说和说法,即:

数据中台是指经过数据技能, 对海量数据进行收集、核算、存储、加工,一起一致规范和口径。数据中台把数据一致之后,会构成规范数据,再进行存储,构成大数据财物层,进而为客户供给高效服务 。这些服务跟企业的事务有较强相关性,是这个企业独有且能复用的。

假如独自看这个界说,那么数据中台很简略被了解为企业里边的BI体系建造,包含了ODS库和数据仓库,一起支撑OLTP和OLAP才能。也能够说是构建企业的大数据渠道。

而今日自己想谈下对数据中台这个概念的一些了解。

首要咱们要看到数据中台是整个企业中台战略的一部分,是合作企业微服务架构转型和事务中台才能构建不行短少的部分。假如没有整个中台战略,那么就不存在数据中台,你独自去建造大数据渠道或BI渠道就能够了。数据中台不是一个单纯的数据技能渠道,而是一个同享数据才能供给渠道。关于数据的收集,清洗,存储和加工终究都是为了敞开数据服务才能。

假如说事务中台更多的是事务才能的开发,那么数据中台便是聚合后的数据服务才能的敞开。为何要敞开数据服务才能,这个必定不是简略的给上层做BI来剖析用的,而是这种数据服务才能需求去支撑前台事务场景和事务功用的完结。即这种数据服务才能需求具有必定的数据实时性要求,那么咱们或许看到关于事务中台自身也会供给数据服务才能,比方订单中心也供给订单查询数据服务才能,那么两者的差异终究在哪里?开始剖析包含:

1. 事务中台数据服务实时性最强,数据中台数据服务准实时

2. 事务中台数据服务单一数据目标,而数据中台数据服务能够供给相关后多数据目标聚合后数据

3. 事务中台数据服务包含了CRUD各种类型,可是数据中台的数据服务一般为单一的查询服务

这点了解清楚后,咱们再回来就简略搞清楚为何数据中台需求供给准实时的数据服务API接口,要看到在微服务架构下构建的事务中台各个中心,依照规范的微服务架构要求,各个中心对应的数据库自身也彻底是独立和拆分的,订单中心是订单数据库,用户中心是用户数据库,相互之间彻底笔直独立以便利运用的灵敏扩展。可是这种数据库拆分带来最大的问题便是?

当事务场景需求底层多个事务数据目标供给相关后聚合后的查询数据集的时分极不便利。为了处理这个问题,实际上咱们有两种做法来进行处理。

第一种:构建一个范畴服务层组件

即咱们独自构建一个范畴服务层组件或微服务模块,来供给整合后的范畴服务才能,这个组件假如需求供给一个相关多个事务目标的数据调集,那么就需求调用过个API接口回来多个独立数据调集,然后在组件事务逻辑完结中来完结多个数据集的整合作业。

尽管关于查询类服务没有分布式事务问题,可是这种方法在性能上必定存在较大损耗,优势则在这种方法不必前台拜访屡次API接口服务,一起又确保了数据的实时性。

第二种:构建数据中台,然后供给敞开数据服务才能接口

这种方法便是构建数据中台,在数据中台完结事务中台多个数据库数据的数据收集和整合,构成一个完好的跨过的数据模型,因为有了完好的数据,因而很天然能够供给相关聚合数据目标服务的才能。

可是这种方法的问题也比较显着,便是怎么确保数据自身的实时性和一致性,彻底的实时往往很难确保,那么怎么确保数据的准实时性,怎么确保数据收集过程中出现问题而导致数据不一致也需求考虑。

把整个想清楚了,也便是想清楚了数据中台的一个要害作用,便是供给准实时的聚合数据服务才能API接口并进行敞开给前台运用,便利前台事务场景和功用的完结,而不是简略的供给一个供剖析决议计划的数据库。因而关于数据中台的这个要害才能咱们能够简略的了解为:

分布式ODS库+才能敞开渠道+准实时数据才能供给 

这个便是咱们前面谈到的数据中台的一个要害才能供给,那么咱们谈到数据收集集成技能,分布式数据存储,实时数据集成,数据流处理,包含相似Hadoop大数据渠道等,所有这些都是数据中台在完结过程中为了满意分布式+实时性的技能支撑。

先了解清楚为何需求数据中台,再来搞清楚数据中台构建需求用到什么技能,什么渠道,整个对中台战略,中台构建的考虑逻辑才会清楚。

热门文章

随机推荐

推荐文章