北京某饮料有限公司实施BI成功案例
随着企业进入快速增长期,销售数目逐步加快,公司生产能力与日俱增,业务数据量迅速膨胀,对企业的OLTP数据库和ERP系统产生了巨大负荷,造成了沉重负担。并且,国内软饮料生产企业普遍存在着数据量庞大,数据整齐程度差,随意性大,信息分散、不及时、不共享,前端报表展现方式单一、不美观等问题,造成企业数据仓库非常缺乏互操作性和可扩展性。这些矛盾阻碍了企业的快速发展,制约了企业的规模扩张。
针对这种情况,企业急切需要一种全新、灵活而又集成的方案来解决这种挑战和问题。
系统建立前的不足
数据来源不统一
来源多种类报表的制作主要通过Excel工具手工完成,报表的数据来源主要来自三大部分:基于DB2的ERP数据库、财务部门转化后的SQL Server2000数据库和手工填报的excel数据。
处理流程长当前的数据来源中,报表制作人员首先从、财务部门转化后的SQL Server2000数据库上获取制作报表需要的数据,如果、财务部门转化后的SQL Server2000数据库的数据不能满足报表需求,则从基于DB2的ERP数据库中直接获取或将其数据导出为excel文件,存放在本地以备报表制作。
业务人员技能要求高在这个工作流程中不难发现,报表制作人员必须同时了解和维护这三种数据来源,并确保三种数据来源的数据完整性和一致性,这无疑给报表制作人员带来额外的工作负担,如果能在一个统一的、规范的数据中心提取数据,完成报表制作,则将为报表制作人员减少大量的报表数据准备工作。
数据源无法充分共享
当前的报表制作中,基于DB2的ERP数据库和财务部门转化后的SQL Server2000数据库可被报表制作人员所共享,但在实际的报表制作工作中,还存在大量的excel填报数据用以业务报表的制作。这些填报数据往往存放在报表制作人员各自的电脑中,相互间较少共享使用,尤其是在不同部门间的共享。然而在实际工作中,比如:业务人员与销售客户的对应关系信息以及销量预算、目标等信息却是需要报表制作人员相互共享的,因为很多报表都会使用到这些信息,这个工作流程也造成了数据或信息缺乏统一规划、管理的问题,手工维护的excel文件则存放在各个制作报表的工作人员的机器上,造成不同部门、报表制作人员的excel数据无法充分共享和统一。
报表制作困难
制作报表花费时间长现行报表格式更新及公式变更往往会大幅增加制作报表的工作量。
依赖桌面级工具excel当前的报表制作使用的工具为excel工具,在报表制作过程中,许多数据运算及加工都需要在excel中完成,为此,对于复杂的报表制作,报表制作人员不得不预先制作数据透视表,创建额外的sheet页对报表中间数据进行临时处理以及多处使用单元格值引用及运算来获取最终报表数据。这样的做表方式必然为报表制作带来大量的额外工作。
报表的函数关系需要大量实时手工调整在报表的格式发生变化时,比如报表的行、列转置或增加、减少部分报表内容时,由于数据的运算关系、单元格的引用关系等原因,报表制作人员不得不对报表做大量的调整和重新校对工作。
历史查询困难历史报表不易统一管理,查找历史报表不方便
管理数据缺乏系统管理
当前的报表制作完成后,报表制作人员须向相关领导、部门提供报表文档,而历史报表文档则仍然需由报表制作人员保存,从而有多少个报表制作人员,则有多少个小型的报表存档中心。对于这些历史报表的存档则缺少一个统一的管理平台。进而造成针对历史报表的查询极为不便。
缺乏权限机制没有统一的报表管理平台,没有统一的授权功能对报表用户的授权进行管理
数据共享当务之急当前的几十张业务报表,其服务的报表用户是不尽相同的。有的报表是提供给营业所查看的,有的报表是提供给财务部门的,有的报表是提供给高层领导的。虽然在实际工作中存在严格的报表授权需求,但实际操作中却没有一个统一的报表管理平台实现报表及报表权限的管理。报表权限的控制以及报表文件的发送对象都仅存在于相关人员的大脑中,并没有借助信息系统固化下来。从而造成报表管理及发送的正确性和及时性完全依赖于相关人员的工作细心程度。与此同时,报表查询人员也无法实现随需而查,要想查看相关报表,只能等待报表制作人员制作完成,并告知后方可查询。
数据分析不及时
数据分析主要通过外部工具实现,分析数据由北京某饮料公司提供,但数据不能自动实时更新。
相关数据的灵活分析需要借助于外部工具实现,其分析数据由财务部门打包、上传提供。数据分析范围完全基于北京某饮料公司现有的业务数据范围。由于数据上传需要人工操作,导致数据上传的实时性差,基于DB2的ERP数据库的相关数据不能在外部工具中快速得以展现。
不能实现多维报表的展现
外部能对数据进行钻取分析,但不能制作出多层展现维度的报表,这类报表在实际工作报表中有较多的需求。
总体流程
系统架构
整个架构由4层组成:业务数据源、SRC数据层、DW和MD数据层、前端数据分析及报表展现。
业务数据源:由excel填报数据和基于DB2的ERP数据库提供的数据组成。
SRC数据层:即标准资源中心,通过ETL整合工具,以增量方式将业务数据源抽取转换至SRC数据层,完成异构数据源的同构化处理。
MD元数据管理:包含业务元数据和技术元数据,通过业务元数据,即需求指标和维度的定义,以及指标和维度间的对应关系确认技术元数据的物理结构和存储。
DW数据仓库:把大量数据按主题、维度方式加以整理和归纳形成多维数据库,为OLAP多维数据源提供分析数据,是数据中心体系结构的基础。
MDDB多维数据库:多维数据库为终端用户提供一种可对数据进行灵活访问的信息结构,利用多维数据库可以对数据进行切片、切块、动态地观察汇总数据与细节数据的关系。
OLAP分析及报表展现层:用户可以通过Analyzer工具分析、查看业务数据,也可通过Report service提供的报表,查询固定业务报表数据。
功能描述
基于企业的ERP系统数据源、业务系统数据、手工填报的Excel数据,构建BI分析系统。针对海量数据设计数据仓库、ETL流程,多维数据集、完成参数化报表的制作。
应用到的工具软件
操作系统平台:Windows2003
Web服务器:IIS
数据库系统:SQL Server2005
多维数据系统:SQL Server2005 Analysis Service
报表工具:Strategy Companion Analyzer 2007
数据清洗工具:SQL Server 2005 Integration Service
ETL数据整合工具SSIS
当前,系统的数据有三个来源,即绝大部分的手工数据、基于DB2的ERP基础数据,还有一部分是财务部门转化过的加工数据,签于数据来源不统一、数据格式异构、数据逻辑复杂的几点因素,通过SQL Server 2005的Integration Services来实现数据抽取、转化、清洗、加载等处理。
SQL Server Integration Services(SSIS):是用于生成高性能数据集成和工作流解决方案的平台,可以针对数据仓库进行提取、转换和加载(ETL)操作,这是业务数据转化为分析数据最重要的一步。
SSIS由4个关键部分组成,包括Integration Services服务、Integration Services对象模型、Integration Services运行包和运行时可执行的包,以及数据流任务。
多维数据分析工具SSAS
SQL Server 2005 Analysis Services(SSAS):是SQL Server 2005进行数据分析的工具。SSAS是建立和管理多维数据集并且对Cube进行分析的工具。
本项目中采用自上而下的设计方法,即强调应用决定数据,有什么应用就获取什么数据。根据设计好的维度和多维数据集生成数据源视图和基本关系数据库架构。