Lenovo x DorisDB:简化数据处理链路,极大提升BI分析效率

粤讯 中字

Lenovo联晟智达隶属于全球PC领导厂商联想集团,致力于打造科技驱动、柔性敏捷、服务体验一流的智慧物流生态平台,面向产业端企业提供综合物流解决方案,成为服务于中国及全球客户的智能供应链科技企业。联晟智达大数据团队逐步引入了多种OLAP分析引擎来更好的满足需求。DorisDB从众多的OLAP分析引擎中脱颖而出,它采用了全面向量化的计算技术,是性能非常强悍的新一代MPP数据库。通过引入DorisDB,构建了全新的统一数据服务平台,大大降低了数据链路开发复杂性,极大提升了BI分析效率。

“作者:韩文博联想销售物流大数据平台负责人,专注于数仓建设、数据分析等领域研究。”

一、OLAP引擎在Lenovo联晟智达的演进史

第一阶段

在2018年之前,联晟智达的数据总量还不是特别大,这个阶段使用的是传统关系型数据库(SQL Server),数据仓库体系还尚未建立,很多数据需求的实现都是以SQL脚本的开发方式来满足。

但随着业务复杂度不断提升,以及数据量的快速增长,这种模式很快遇到了瓶颈。最主要体现在查询响应时效变得越来越慢。例如:之前运行一个任务需要10分钟或20分钟,现在需要一个小时或更长时间,查询效率严重下降。另外数据存储容量也存在瓶颈,无法满足随业务而快速增长的数据量存储需求。

第二阶段

2019年随着数据仓库在Hadoop/Hive体系上搭建和完善,ETL任务全部转移至Hadoop集群,这个阶段使用数十台Presto完成OLAP分析。Presto天然和Hive共享元数据信息,且共同使用物理数据存储,大量的对数仓表的灵活查询使用Presto完成。前端BI层面使用Tableau直接连接Presto,实现数据分析与挖掘。

第三阶段

2021年联晟大数据团队进行了离线数仓的整体设计和搭建,既需要做低延时的BI报表,又要满足Adhoc复杂查询,同时对高效明细查询也有很高的要求。这个阶段我们根据场景引入了OLAP圈炙手可热的DorisDB产品,它既能做Presto的Adhoc多表关联查询及复杂嵌套子查询,又能提供比ClickHouse更好的单表明细查询和多维物化视图上卷加速,满足极速BI分析需求。

二、数据分析体系架构

1.OLAP体系现状

整个数据分析体系,由数据采集、数据存储与计算、数据查询与分析和数据应用组成。

原始架构图:

image.png

数据采集

1)通过Sqoop读取RDBMS导入Hive。

2)用Flume来同步日志文件到Hive。

3)通过爬虫技术将网上数据爬取下来,存储到RDBMS,再由Sqoop读取RDBMS,导入到Hive。

数据存储与计算

离线数据处理:利用Hive高可扩展的批处理能力承担所有的离线数仓的ETL和数据模型加工的工作。

数据查询与分析

数据共享层主要提供对外服务的底层数据存储和查询共享界面。离线ETL后的数据写入RDBMS或MPP数据库中,面向下游多种服务,为Tableau BI、多维固定报表、Adhoc即席查询等不同场景提供OLAP查询分析能力。应用侧完美服务于BI报表平台、即席查询分析平台及数据可视化平台(Control Tower)

数据应用层

数据应用层主要为面向管理和运营人员的报表,查询要求低时延响应,需求也是迭代层出不穷。面向数据分析师的即席查询,更是要求OLAP引擎能支持复杂SQL处理、从海量数据中快速遴选数据的能力。

三、各OLAP分析工具选型比较

1.ClickHouse

优点

1)很强的单表查询性能,适合基于大宽表的OLAP多维分析查询。

2)包含丰富的MergeTree Family,支持预聚合。

3)非常适合大规模日志明细数据写入分析。

缺点

1)不支持真正的删除与更新。

2)Join方式不是很友好。

3)并发能力比较低。

4)MergeTree合并不完全。

2.DorisDB

优点

1)单表查询和多表查询性能都很强,可以同时较好支持宽表查询场景和复杂多表查询。

2)支持高并发查询。

3)支持实时数据微批ETL处理。

4)流式和批量数据写入都能都比较强。

5)兼容MySQL协议和标准SQL。

缺点

1)大规模ETL能力不足。

2)资源隔离还不完善。

四、DorisDB在SEC数据中心的应用实践

渠道仓配管理(SEC)的核心数据来自两大块:一个是消费业务;第二个是SMB中小企业务(Think、扬天)。基于这些数据,根据不同的业务场景需求,汇总出相关业务统计指标,对外提供查询分析服务。

1.原有解决方案

在引入DorisDB之前,用到大量Hive任务进行业务逻辑清洗加工,清洗加工后的数据部分保留在Hive,部分数据写入MySQL/SQL Server,以达到数据的落地。前端BI通过Presto计算引擎连接Hive、MysSQL、SQL Server等,实现报表分析及数据可视化。

2.技术痛点

原有架构主要有以下两个问题:

1)数据逻辑没有很好做归拢合并,维护工作量大,新需求无法快速响应。

2)Presto的在SQL较多的Tableau复杂报表上响应较慢,不能满足业务即时看数需求。

因此我们希望对原有体系进行优化,核心思路是利用一个OLAP引擎进行这一层的统一,对OLAP引擎的要求是比较高的:

1)能支撑大吞吐量的数据写入要求。

2)可以支持多维度组合的灵活查询,响应时效在100ms以下。

3)比较好的支持多表关联。

4)单表查询数据量在10亿以上,响应时效在100ms以下。

经过大量调研,DorisDB比较契合数据中心的整体要求。DorisDB本身高效的查询能力,可以为数据中心数据报告提供一体化服务。新架构具备以下优点:

1)结构清晰,RDBMS专注于数据的清洗,业务逻辑计算从Hive迁到DorisDB内实现,DorisDB就是数据业务逻辑的终点。

2)可以维护统一的数据口径,一份数据输入,多个APP接口输出。

3)MPP分布式架构,得以更好的支持分布式聚合和关联查询。

4)和Tableau有较好的兼容性,可以满足核心BI分析需求。

3.基于DorisDB的解决方案

升级后架构图:

image.png

数据表设计

1)数据模型设计

DorisDB本身提供三种数据模型:明细模型/聚合模型/更新模型。对SEC业务来说,目前以明细模型为主,后续如果有其他场景,再考虑应用其他模型。

2)数据分区/分桶

DorisDB提供的数据分区和分桶功能,可以很好的提升历史库存及周转场景下明细查询的性能。例如,历史库存查询常见的一种查询场景,是查询过去某一时间段内的库存周转情况,我们可以在DorisDB中根据出库时间进行分区,过滤掉不必要的分区数据,减少整个查询的数据量进行快速定位,尽量减少了查询语句所覆盖的数据范围,分区、分桶、前缀索引等能力,可以大大提高点查并发能力。这些特性对业务迎接增长,面对未来可能出现的高并发场景也具有非常大的意义。查询某一个物料条码(SN)的历史轨迹数据,能够快速的检索出该条码的所有历史出入库轨迹信息,帮助我们高效的完成供应链全生命周期回溯。

物化视图

我们利用DorisDB物化视图能够实时、按需构建,灵活增加删除以及透明化使用的特性,建立了基于库存物料SN粒度、基于产品类型特征粒度、基于库房粒度、基于分销商粒度的物化视图。基于这些物化视图,可以极大加速查询。

数据导入

数据导入DorisDB这里用到了两种方案:

1)在DorisDB提供的Broker Load基础上将离线数仓Hive的表导入到DorisDB中。

2)通过DataX工具,将SQL Server、MySQL上的数据导入到DorisDB。

4.DorisDB使用效果

灵活建模提升开发效率

结合使用宽表模型和星型模型,宽表和物化视图可以保证报表性能和并发能力,而星型模型可以让AP如TP里那样建模,直接进行关联查询,不必所有场景都依赖宽表准备,在数据一致性和开发效率上得到很好提升。另外,有不少表是在MySQL里的,我们通过DorisDB外表的方式暴露查询,省去了数据导入的过程,大大降低了业务方的开发和迁移周期。DorisDB的分布式Join能力非常强,结合View的能力构建统一的视图层,面下不同BI报表进行查询,提升了指标口径的一致性,降低了重复开发。

BI体验极好

前期部分BI可视化是基于SQL Server、MySQL构建的。部分看板不断优化和丰富需求后,加上多维度灵活条件筛选,每次加载很慢,有些Tableau报表很长时间才能加载出来,业务无法接受。引入DorisDB之后,我们用DataX将SQL Server数据导入DorisDB,这里使用了DorisDB-Writer插件,底层封装的Stream-Load接口,向量化导入效率非常高。MySQL可以通过外表insert into select流式导入,也可以直接外表查询,非常便捷。Tableau图表秒出,体验有了质的飞跃。

运维成本较低

数据中心是非常核心的一个线上服务,因此对高可用及灵活扩容能力有非常高的要求。DorisDB支持数据多副本,FE、BE仅仅2种角色组成的简洁架构,在单个节点故障的时候可以保证整个集群的高可用。另外,DorisDB在大数据规模下可以进行在线弹性扩展,在扩容时无Down Time,不会影响到在线业务,这个能力也是我们非常需要的。

总结

Lenovo联晟智达从今年(2021年)4月份开始调研DorisDB,POC测试阶段用了1/4的资源,就完美替代了数十个节点的Presto集群,当前DorisDB已经上线稳定运行。引入DorisDB后,实现了数据服务统一化,大大简化了离线数据处理链路,同时也能保障查询时延要求,之后将用来提升更多业务场景的数据服务和查询能力。最后,感谢鼎石科技的大力支持,也期望DorisDB作为性能强悍的新一代MPP数据库引领者越来越好!

声明: 本文系OFweek根据授权转载自其它媒体或授权刊载,目的在于信息传递,并不代表本站赞同其观点和对其真实性负责,如有新闻稿件和图片作品的内容、版权以及其它问题的,请联系我们。
侵权投诉

下载OFweek,一手掌握高科技全行业资讯

还不是OFweek会员,马上注册
打开app,查看更多精彩资讯 >
  • 长按识别二维码
  • 进入OFweek阅读全文
长按图片进行保存