2019年05月24日星期五

图片报道

BuzzFeed被曝正筹划明年上市

Bilingual·Foreign Business|全

大众布局自动驾驶的首款

为了这辆车,我做了一场

玛丽亚·梅诺诺斯:电视娱

火箭出现人员变动,教练

除权游的星巴克 还有哪些

大众I.D. Buzz Cargo概念车 货

Buzz

一种敏捷数据中台的建设思路,以供参考和探讨

导读:宜信于2017年推出了一系列大数据开源工具,包括DBus、Wormhole、Moonbox、Davinci等,这些工具是如何在宜信内部应用的?它们和宜信数据中台是怎样的关系?又是如何驱动各种日常数据业务场景的?

本次分享对这些问题进行了回答,同时重点分享了宜信敏捷数据中台的设计、架构以及应用场景,提出一种敏捷数据中台的建设思路,以供参考和探讨。以下是本次分享的实录。

分享实录

一、导语

目前“中台”的概念很火,包括数据中台、AI中台、业务中台、技术中台等。宜信技术学院第一期技术沙龙,井玉欣博士分享了宜信的AI中台,本期技术沙龙,由我来为大家分享《宜信敏捷数据中台建设实践》。

本次分享分为三个部分:

宜信敏捷数据中台的顶层设计。数据中台是一个公司级的平台系统,所以不能只从技术层面去设计,还要考虑包括流程、标准化等在内的顶层设计。

从中间件工具到平台介绍宜信是如何设计建设敏捷数据中台的。

结合典型案例介绍宜信敏捷数据中台支持哪些数据方面的应用和实践。

二、宜信数据中台顶层设计

2.1 特点和需求

关于数据中台的建设,目前并没有一个标准的解决方案,也没有一个数据中台能适用于所有的公司,每个公司都应该结合自己的业务规模及数据需求现状来研发适合自己公司的数据中台。

在介绍宜信敏捷数据中台的顶层设计之前,我们先来了解其背景:

业务板块和业务条线众多。宜信的业务大体可分为四大板块:普惠金融板块、财富管理板块、资产管理板块、金融科技板块,拥有近百条业务线和产品线。

技术选型众多。不同业务方有不同的数据需求,技术选型时依据这些客观需求及主观偏好,会选择不同的数据组件,包括 :MySQL、Oracle、HBase、KUDU、Cassandra、Elasticsearch、MongoDB、Hive、Spark、Presto、Impala、Clickhouse等。

数据需求多样。业务线多样,导致数据需求多样,包括:报表、可视化、服务、推送、迁移、同步、数据应用等。

数据需求多变。为顺应互联网的快速变化,业务方的数据需求也是多变的,经常有周级产出数据需求和数据应用。

数据管理考虑。要求数据元信息可查,数据定义和流程标准化,数据管理可控等。

数据安全考虑。宜信作为一家同时拥有互联网属性和金融属性的公司,对数据安全和权限的要求很高,我们在数据安全方面做了很多工作,包括:多级数据安全策略、数据链路可追溯、敏感数据不可泄露等。

数据权限考虑。在数据权限方面的工作包括:表级、列级、行级数据权限,组织架构、角色、权限策略自动化。

数据成本考虑。包括集群成本、运维成本、人力成本、时间成本、风险成本等。

2.2 定位

关于数据中台的定位,每个公司都不太一样。有的公司业务比较专注,只有一条业务线,那它在建设数据中台的时候,可能需要一个垂直的平台,直达前线,更好地支持前线的运作。

前文提到宜信业务线很多,且在众多业务中没有一个主体业务,这就相当于所有业务线都是主体。基于这样的背景,我们需要一个平台化的数据中台,来支撑所有业务线的需求和运作。

一种敏捷数据中台的建设思路,以供参考和探讨

图1 定位

如上图所示,绿色的部分是宜信敏捷数据中台,我们称之为“ADX数据中台平台”,“A”即“Agile(敏捷)”,之所以称为“平台”,是因为我们希望将其打造成一个服务于全业务线的平台系统,助力业务发展。

敏捷数据中台处于中间位置,最底下是各种数据集群,最上端是各个业务领域数据团队。数据中台通过整合处理数据集群的数据,为业务领域数据团队提供自助化、实时化、统一化、服务化、管理化、可溯化的数据服务。

右边三个蓝色的板块分别是数据管理委员会、数据运维团队和数据安全团队。前文提到宜信对数据安全的要求非常高,所以设置了专门的数据安全团队来规划公司数据安全的流程和策略;数据管理委员会负责数据的标准化、流程化,补齐技术型驱动的数据中台的推动效率,保证有效沉淀和呈现数据资产。

我们对宜信敏捷数据中台的定位是:从数据技术和计算能力复用,到数据资产和数据服务复用,敏捷数据中台会以更大价值带宽,快、准、精让数据直接赋能业务。

2.3 价值

宜信敏捷数据中台的价值集中表现为三个方面:快、准、省。

一种敏捷数据中台的建设思路,以供参考和探讨

图2 价值

一种敏捷数据中台的建设思路,以供参考和探讨

一种敏捷数据中台的建设思路,以供参考和探讨

一种敏捷数据中台的建设思路,以供参考和探讨

2.4 模块架构维度

一种敏捷数据中台的建设思路,以供参考和探讨

图3 模块架构维度

时政 |市场要闻 |生活 |社会 |风云人物 |微视界 |专题 |