当今信息化建设程度不断深入，企业在优化整合各种IT能力，使IT成为企业的前进驱动力与核心竞争力的同时，将视角关注于更深层次的数据治理与分析，预示着以数据、流量、知识为主的数字经济时代到来，此背景下，数字化转型正在各行业快速萌生并发展。

随着各行业逐渐走向多元化、服务化、个性化发展，行业竞争趋势愈演愈烈，这时收集、利用数据资产，以支撑战略决策、风险规避、业务创新的需求急剧上升，而数据价值对于企业的作用不言而喻，数通畅联的数据治理分析方案能够快速构建数据仓库，形成数据集成、数据可视化、数据服务、数据指标分析/监控/预警、数据画像、数据挖掘于一体的统一大数据分析平台。

项目总体需求分析

1.项目背景介绍

数字化时代，数据作为继土地、劳动力、资本、技术之后的第五大成产要素，从企业业务发展的副产品变成了炙手可热的“数字明星”，在各界瞩目中冉冉升起。为了实现自身的存续发展，企业纷纷谋求转型，希望能够搭上数字经济的快车。而要实现企业的数字化转型，实现企业内部数据的资源化和资产化，使数据能够发挥其价值，就必须先越过横亘在道路上的大山——数据治理。

2.项目需求分析

1.内部系统数据整合：已建/在建/待建系统：财务管理、OA办公、人力资源管理、成本管理、客户管理、预算管理等；

2.行业外部市场分析：对行业政策、行业性网站/平台、竞争对手、社交平台、区域购买力、区域供求等数据进行分析；

3.数据处理/分析/查询：基于数据存储、处理工具，对数据进行多维动态分析，并针对数据提供全文检索及数据查询用户权限控制；

4.数据可视化：实现数据可视化，构建团队作战室，对挖掘数据统一配置、建模，最终以仪表盘、报表、决策管理仓等多样形式将数据展现；

5.决策分析：通过对数据治理、整合、采集、存储、计算、展现等一系列技术，实现企业数据的价值挖掘，从而提高企业集团业务洞察力、风险掌控力、市场竞争力，为各级管理决策者的决策效率与质量打下坚实的基础。

3.项目建设目标

1.共享，统一数据归集：集团、板块纵向数据来联动归集；建设统一的数据查询、自助分析及报表分析系统；整合集团应用系统数据。

2.治理，统一数据集成：集团的数据统一管理、业务数据汇总、计算；板块运营区的数据同步、分发、采集；支持各级公司的数据采集、分享。

3.共用，深度数据分析：范式化星型模型的数仓模型；数据源、数据ODS、数仓模型、数据集、立方体、页面及组件体系化的元数据管理；支撑全面、深度、准确的数据分析、数据挖掘、业务预测；梳理和规划公司整体业务分析体系。

4.共赢，全面应用支持：对各应用系统提供同步、分发服务；实现数据管理集约化、数据统计标准化、数据价值最大化；为公司领导决策提供可靠的数据支持。

架构规划设计方案

在由“DAP数据分析平台+ESB企业服务总线”构成的数据治理分析方案中，ESB企业服务总线负责数据的抽取、加工、转换等，结合可视化分析组件进行数据可视化展示，能够真实、准确、清晰、有效地将企业内部及外部行业数据进行可视化展现，帮助企业提升行业洞察力，加强决策力，从而提升整体竞争力。

1.整体架构说明

DAP结合ESB服务总线从各系统进行数据抽取、加工、转换，并汇聚存储到数仓中，构建企业的数据中心，基于数仓通过图形化、拖拽式配置构建分析主题，对企业内外部海量数据进行采集、计算、存储、加工、分析等一系列活动，从而为企业的业务决策提供数据方面的参考，用数据为公司业务、营销、管理赋能。通过DAP数据分析平台进行数仓建设和数据分析展现，而ESB企业服务总线通过数据集成完成数据的同步分发和数仓的数据汇聚。

 

2.数仓架构说明

数仓作为一个数据存储的“仓库”，其本身并不会生产业务数据，同时自身也不会对数据进行消费，数仓的数据均会来源于其它业务系统，并在数据加工、汇聚、转换的过程中将数据通过接口的形式开放给外部系统，数仓中的数据研究意在于从数据中获取信息并暴露出企业管理及运营问题，数据仓库的特性在于面向各个主题，并具有集成性、稳定性和时变性的特点。

 

数仓架构具体分为ODS中间层、数仓层，数仓层具体细分维度层、DWD层及DWS层，具体作用如下：

1.ODS中间层：用来存储多个数据源业务数据的系统，其数据用来支持业务流程或者输入到数据仓库中进行分析，实现操作型数据存储，是一种面向主题的、集成的、可变的、反映当前数据值和详细的数据的集合。ODS是数据仓库体系结构中的一个可选部分，具备数据仓库的部分特征和OLTP系统的部分特征；

2.DWD细节数据层：是业务层与数据仓库的隔离层，主要实现对ODS数据层数据清洗和规范化的操作；

3.DWS数据服务层：基于大量指标的数据层基础数据进行整合汇总，分析某一个主题域的服务数据层，一般是宽表，用于提供后续的业务查询；

4.DIM维度层：建立一致数据分析维表，可以降低数据计算口径和算法不统一的风险。以维度作为建模驱动，基于每个维度的业务含义，通过定义维度及维度主键，添加维度属性、关联维度等定义计算逻辑，完成属性定义的过程并建立一致的数据分析维表，进一步保证维度的一致性和使用便捷性。

3.集成架构说明

在数据分析或数据治理过程中，业务数据会从其它业务系统中抽取，通过企业服务总线对业务数据及基础数据进行数据的加工或数据同步，在数据分析过程中由主数据作为标准的数据分析维度，业务数据与主数据加工汇总后作为分析模型的数据分析指标最终进行数据的展现。

 

1.每类主题需要分析的业务数据，都会有对应的来源系统作为数据源头；

2.通过提供从库或直接获取数据表的访问权限，通过ESB进行数据抽取将需要分析的数据同步至ODS中；

3.将统一的标准主数据（组织、人员等）进行基础数据的治理，进行数据的建模、数据的清洗等，将这些数据下发至下游系统中；

4.主数据中的数据作为数据分析的维表同步至数仓中；

5.最终维表、ODS表通过汇总、分析、计算等实现数据整合，以及最终的图形化展现。

4.数据架构说明

数据治理分析项目中，在数据分析过程中通过抽取源头系统的业务数据与主数据系统中的维度数据，通过服务总线对数据进行加工汇总，通过业务系统—>ODS，ODS—>数据仓库，数据仓库加工汇总后对业务指标整合分析最终进行可视化展现：

 

1.由业务系统提供业务数据，ESB通过数据集成、业务系统接口调用或者DAP通过读取源库等方式，将源头系统的业务数据抽取到ODS中；

2.ODS中的基础数据、业务数据，通过ESB的聚合流程按照类别汇聚到数仓的维表或事实表中；

3.维表与事实表中的数据根据业务主题、业务指标，再次进行加工汇总，形成数仓中的汇总事实表；

4.DAP的分析模型根据汇总数据进行整合计算；

5.结合分析模型整合计算的数据与DAP预置的展现组件，形成直观的图形、图表展现，最终配置成各类展现看板、报表等，完成可视化效果的最终呈现。

架构落地方案介绍

伴随着互联网技术的高速发展，数据正在呈现爆发式的增长。由DAP数据分析平台和ESB企业服务总线构成的数据治理分析方案能让企业数据发挥更大的价值。基于业务指标进行前端的动态展现，结合数据指标的多维度穿透，实现以不同形式、不同维度的智能分析、数据探索。

1.方案总体说明

DAP数据分析平台结合ESB企业服务总线从各系统进行数据抽取、加工、转换，并汇聚存储到数仓中，构建数据仓库。将基础数据、业务数据进行高度汇聚整合，并通过图形化的分析看板和组件将数据直观展现，满足企业高层对于业务的掌握以及决策的制定。

ESB企业服务总线可以根据DAP数据分析平台的数据资源（ODS、DIM、DWD、DWS）定义的元数据自动生成数据采集同步、清洗转换、加工汇总的流程，同时自动完成与调度资源的关联，完成对数据的处理。

2.DAP平台介绍

 

DAP数据分析平台是数通畅联自主研发的，能够高效存储、计算、分析并处理海量数据的数据分析类产品。能够真实、准确、清晰、有效地将企事业内部及行业外部相关数据进行可视化展现，帮助企事业提升行业洞察力，加强决策力，从而提升整体竞争力。

3.ESB平台介绍

ESB是传统中间件技术与XML、Web服务等技术相互结合的产物，用于实现企业不同应用间消息和信息准确、高效、安全传递，消除应用之间的技术差异，让不同的应用服务协调运作，实现服务之间的通信与整合。ESB能把数据、接口、协议、消息、文件都进行统一封装，采用引擎把它们图形化串联起来，构建数据集成、应用集成的可视化流程，实现数据传输交换、异构系统对接。

 

项目建设实施步骤

数据治理分析项目的实施不是简单搭建平台就能达到，而是一项长期、复杂的工程。项目管理实施一般包含项目准备、项目蓝图、项目实施、项目验收等四个阶段。

 

1.项目准备阶段

项目准备阶段的主要工作为成立项目组、召开启动大会、服务环境部署。通过成立项目组确定项目的组织机构、人员配置、项目的组织资源管理及组织职责；项目启动会非常重要，其既是动员会，又是分工会，同时也是培训会。项目启动会是项目良好的开端，项目启动会的顺利召开，可以起到事半功倍的效果，为后续顺利展开工作奠定坚实的基础。服务环境部署是指搭建开发环境，用于在调研阶段部给客户演示、调研需求和产品使用培训。

2.项目蓝图阶段

项目蓝图阶段主要工作内容为需求调研、概要设计、制定标准规范、制定实施计划、蓝图确认等内容。需求调研主要工作是制定落地、高效的调研方案，包含调研计划、访谈提纲及项目调研问卷等；通过资料收集、业务需求调研、关键用户访谈等方式了解当前数据管理现状和主要需求，发现数据相关问题和关注点。

明确需求后，便可以对体系进行概要设计，确立与企业目标相一致的建设目标。而后根据目标，进行体系架构的设计。架构设计是项目体系建设的关键环节，主要包括组织体系设计、管控体系设计、标准体系设计、安全体系设计四个方面，实现数据管控体系建设和各级管控组织的流程设计，确认人员岗位、明确职责分工、规范业务流程、制定数据管理规范、数据应用标准、数据集成服务标准。经过体系架构设计，企业的数据体系已经基本成型。

3.项目实施阶段

环境部署一般由项目团队或内部运维团队负责，采用云平台的部署方案，提供一键部署脚本和对应的文档，可以实现快速部署；在实际项目中一般会部署两套环境：一套测试环境采用非高可用部署，在前期调研阶段部署，用于给客户演示、调研需求和产品使用培训；一套生产环境，一般在正式实施时部署，采用高可用部署，搭建开发、测试、生产环境，满足后续项目开发、测试、生产运行需要。实施交付主要是根据前期调研的需求协助输出对应的标准规范、蓝图资料，以及在实施过程中提供产品培训、技术指导、方案支持等。

4.系统验收阶段

系统验收我们可以根据之前定的里程碑节点进行，明确达到里程碑的条件，并得到双方一致正式认可，我方提供项目验收单甲方确认签字对项目进行验收。项目交接至甲方运维人员，交付对应的系统使用手册、维护手册等。

对于任何一个项目，总有做不完的地方，就算全部做完了，也不可能做到完美，而且更不可能做到客户的百分百认可，项目的验收不是说项目完全完成之后才提出而是项目到了验收的阶段，逐步引导客户，让客户具有验收意识。

在项目验收时需要提供相关文档，如：需求规格说明书、技术标准规范及开发规范、系统设计规格说明书、所有项目管理过程文档（周报、会议纪要、需求变更等）、测试手册、测试报告、使用手册、维护手册；项目源码、测试环境、正式环境等。

项目建设实施意义

随着企业的发展，信息化建设越来越完善，当今数据时代背景下更加强调、重视数据的价值，通过数据治理分析方案为企业提升渠道转化率、改善企业产品、实现精准运营，为企业打造自主模式的数据分析成果，以数据驱动决策。

1.消除应用孤岛

信息孤岛割裂了信息系统之间的互联互通，被割裂的信息系统无法有效对公司经营、管理、决策形成统一的视图，对公司长期、高速发展的战略形成了一定的阻碍。统筹规划全局的信息基础与应用平台，在统一化、集成化的基础架构与平台之上，整合遗留的应用系统，推进及保障企业的业务战略落地。

2.实现数据治理

随着信息技术的飞速发展，企业对互联网环境下数据的呈现提出了更高的要求。AEAI ESB企业服务总线与AEAI DAP数据分析平台结合，实现数据抽取、加工、转换，构建企业数据中心，在分析数据可视化的基础上，实现了资产可视化。以图形化的方式呈现资产数据，为用户提供更加直观的数据呈现形式，更好地展现资产数据之间的相互关系，挖掘出数据背后隐含的信息，有效地提高资产管理效率。

3.促进业务升级

企业数据的整合与展现覆盖关键业务控制点，不仅展现数据结果，同时包含过程的分析。在掌握运营情况的同时，能及时发现企业管理存在的问题，查缺补漏，马上推动改善，促进企业业务的升级，提升业务升级频率，促进业务固化优化。

4.支撑经营决策

通过对大规模、高效性和多样性的数据资源的采集挖掘、清洗与预处理, 有效进行实时感知、即时呈现和智能分析, 揭示数据中隐藏的真相, 预测未来发展演变的趋势, 能为上层决策提供强力支撑，保障高层决策的合理性和可靠性，同时能提示风险，帮助企业规避雷点，促进企业发展。

在大数据、移动互联、人工智能的技术背景下，数字化、智能化建设已成为大势所趋，未来企业如何快速响应业务需求、支撑业务创新，结果必然会在数字化、智能化方面展开竞争。数据治理分析之路也存在多样性，企业可以根据自身情况和业务需求去构建，但只重结果不管过程的构建是无用功，发现问题不去调整的治理是瞎忙活，一旦要做，就要真正实现数据治理分析与经营管理过程的联动，通过数据发现问题、调整问题、预测问题，分阶段进行，逐步加码构建、持续提升。

事实上，企业整体IT架构、数据治理分析建设之路只有进行时，没有完成时，未来也一定会源源不断有新的技术或理念出现，当下能做的就是根据形势、稳扎稳打、逐步构建，让信息化建设程螺旋式上升，持续支撑业务良好运转、推进业务不断升级与创新。

本文由@数通畅联原创，欢迎转发，仅供学习交流使用，引用请注明出处！谢谢~