商业智能在供水企业的应用——澳门自来水

商业智能在供水企业的应用——澳门自来水

1、概述：

随著计算机网络与数据库技术的广泛应用，供水企业普遍建立了供水运营、客户服务、水质检测等多种业务信息系统，然而，逐步实现了生产运营的信息化和业务数据的电子化，同时也产生和积累了大量的历史业务数据。面对瞬息万变的业务环境，企业的经营管理人员迫切需要的并不是大量繁琐的业务数据，而是隐藏在这些业务数据背后的统计分析信息和决策支持信息。如何实现从业务型数据到分析型信息的转化，是在供水企业中普遍存在，并长期困扰管理人员和技术人员的难题。

近年来，随著资讯科技的发展和信息需求的膨胀，商业智能（Business Intelligence，Bl）技术应运而生。BI技术融合了现代数据仓库技术、在线分析技术、数据挖掘和数据呈现技术、能够对企业现有的数据进行提取、合并和转化，从而对其进行分析和处理。BI技术为供水企业突破数据分析瓶颈提供了一个良好的契机和可行的方向。

澳门自来水于2011年开始了对BI引技的研究和试验，在改善敷据利用方式、加强数据分析效果等方面做出了一系列的探索和努力。我们设计了一套基于BI技术、贯穿数据整合、采集、分析、呈现等多个流程的解决方案，并于2012年投入了实际应用，取得了初步的成果。

2、背景分析

澳门自来水经历了多年的信息化建设，累积了大量零散的历史数据。这些历史数据来自各个不同的业务系统，分散存储在各个数据库和数据文件中。长期以来，数据的统计分析工作主要在Excel中以手工方式完成。从信息资源组织和利用的角度来看，这样的数据处理方式存在以下一些问题：

（1）数据具有不同的数据结构和格式，无法交叉分析和全局比较。

（2）统计分析主要依靠手工进行，消耗较多人力，也容易出错。

（3）手工统计週期比较漫长，影响了统计的时效性。

（4）手工报表缺少系统性和科学性，分析角度比较单一。

（5）决策人员需要查看形式内容各异的多种报表，增加读表负檐，降低决策效率。

（6）决策人员无法自由操作分析参数，难以展开二次分析，决策辅助效果不理想。

（7）难以从日常业务数据中发掘出潜在的分析型信息，浪费企业现有信息资源。

（8）决策者缺少有效的数据支持，导致决策缺乏科学依据，容易形成盲目或随意的决策。

3、BI解决方案

为了解决现有数据处理方式中存在的问题，我们提出了一套基于BI技术的数据分析解决方案。

3.1方案目标

澳门自来水BI解决方案主要实现以下几个目标：

（1）整合业务数据：采集散落于不同部门和不同系统的业务数据，并对数据进行统一的清理和整合，令原本零散的数据具备有序的组织结构，最终将所有数据合并到一个统一的数据集合中，形成企业数据的全局视图。

（2）数据分析与决策支持：在企业级数据集合的基础上，利用合适的查询、统计和分析工具对数据进行分析，将业务数据转化为全面、系统的分析型信息。为决策者提供一个发现间题、分析问题、建立模型、凝定方案的辅助环境，提高决策水平和质量。

（3）开放访问与资源共享：利用网络环境，向用户提供一个开放、便捷的网络访间平台。数据将以共享资源的形式在网络上发布，并提供并发式的共享服务。用户只要身处网络中，便可利用各种终端设备，包括桌面电脑和移动设备，对数据进行访间。

3.2设计原则

在澳门自来水BI解决方案的设计过程中，我们遵循以下原则：

（1）面向决策原则：面向公司内部的中，高级管理和决策人员，为决策提供服务。

（2）非侵入性原则：在数据采集的过程中，减少对业务系统的侵扰，避免影响业务系统的日常运作。

（3）即时性原则：在数据采集和整合过程中，缩短时间差，保证数据即时性。

（4）准确性原则：在数据转化过程中，维持基础数据的准确性。

（5）易用性原则：界面尽量简洁，提供交互式操作，提高整体友好度。

（6）网络化原则：以网络服务器的形式提供服务，并注重对移动设备的支持。

3.3系统架构

澳门自来水BI解决方案的系统架构如图1所示：

图1系統架构

系统主要由五个部分组成：

（1）数据源：包括数据库和数据文件，是系统采集业务数据的场所。

（2）数据仓库：综合性的企业数据集合，负责存储和管理数据。

（3）数据分析服务器：对数据进行查询和分析，生成各类报表。

（4）网络服务器：接收用户的分析请求，并将分析结果发布到网络环境。

（5）用户终端：包括电脑终端与移动设备（例如平板电脑、智能手机）。以各种形式呈现数据分析结果与用户互动。

3.4系統流程

澳门自来水BI解决方案的系统流程主要包括以下几步：

（1）採集数据：从业务系统中提取业务数据，进行初步的过滤和清理。

（2）整合数据：将业务数据进行转化和重组，装载到统一的数据集合。

（3）分析数据：按照用户需求，从数据集合中查询相关数据，进行统计分析。

（4）制作报表：利用表格或图形模版，将分析结果以各种形式呈现给用户，并可与用户实现互动。

3.5 技术平台基于稳定性、灵活性、可维护性、可扩展性等多方面综合考量，我们选择了以下技术平台：

4、系统实施

澳门自来水BI解决方案于2011年9月设计成形，经过6个月的系统实施，于2012年3月开始上线运行。

整个实施过程包括了数据採集、数据整合、数据分析、报表呈现等多个功能模块的开发和集成。

4.1 数据採集数据採集模块负责提取来自不同部门、不同系统的业务数据。目前，BI系统主要採集了以下业务数据：

表2数据采集

4.2数据整合

数据整合模块通过ETL技术实现（ETL: Extraction-Transformation-Loading，数据提取、转换和加载）。

目前我们选择了基于Java的ETL工具Talend，利用Talend的Eclipse插件进行配置与开发，实现了以下功能：

• 创建数据源，从关係数据库和数据文件中提取数据。

• 根据需求对数据源进行过滤。

• 校对数据、转换数据格式。

• 创建目标数据库，将整理后的数据加载至目标数据库。

• 设定ETL任务排程，设定ETL错误处理机制。

经过ETL过程对业务数据的提取、转换和加载，数据不再分散，成为了一个统一有序的数据集合。

（1）日供水情况报表（图3）

以曲线图表现不同区域一日24小时的供水情况走势。

以饼图表现当日各水厂的供水比例，以及不同地区的用水比例。

图3日供水情況报表

以曲线图表现不同区域一日24小时的供水变化，并与去年同日作比较；自动计算出差值，以列表形式显示在下方。

图4日供水对比报表

（3）年供水对比报表以分组网格的形式对比历年同期的供水情况，包括总供水量、日平均量、以及变化百分比等等。

（4）管网压力趋势报表（图5）以曲线图表现当日的管网压力情况，并可观察到过去三十天的整体趋势。

图5管网压力趋势报表

（5）原水指标报表（图6）

以分组网格的形式显示一日24小时各大水库的原水指标，包括水位、咸度、浊度、开泵台数等等。

图6原水指标报表

5、实施效果

系统自2012年3月上线以来，经过一年多的运行，各个功能模块运行稳定，用户反馈总体较好。目前，系统运行的初步效果可大致归纳如下：

（1）系统每日自动採集数据3万条左右。其中Data Logger用水量记录占主要部分，约2万条。其他原水、供水量、管网监测数据各有数十至数千条。

（2）系统已提供预设报表13个，主要包括供水营运和客户服务的数据分析报表。

（3）目前用户数量约10人，包括公司管理层以及供水营运和客户服务的管理人员。

（4） 从目前的用户反馈来看，用户对系统的功能、界面、性能、扩展性方面都作出了总体满意的评价。

（5）用户已开始适应BI系统的数据分析报表，BI正在一定范围内逐渐取代传统的Excel文件。

（6）用户积极提出新的需求，包括添加新数据源、制作新报表、应用新的分析方式等等。

6、未来发展

面对BI技术的不断发展，结合用户的具体需求，我们制定了BI系统下一步的发展方向，主要包括：

（1）加强互动操作图表鑽取：在图形化报表上自由变换分析粒度。图表联动：在同一页面中显示多张关联的图表，图表内容同步变化。

（2）优化性能进一步优化查询分析速度和报表加载速度，不断适应日益增大的数据量。

（3）自动预警支持定义预警条件，预警条件通过数据分析加以判断；主动挖掘潜在的预警信号。

（4） 平台化报表订阅推送、报表收藏、报表分享等功能。

（5）发展移动应用加强系统对移动设备的支持，发展更多适合移动设备的应用。

7、结语

社会的高速发展和企业竞争环境的变化，为供水企业的信息化建设提出了新的要求。供水企业需要将传统的数据处理升级为深入的数据分析，将企业现有信息资源转化为企业未来发展机遇。澳门自来水公司应用商业智能技术，提出了一个可行性较强的数据分析解决方案，在一定程度上实现了对供水企业业务数据的採集、整合、分析与呈现，取得了初步的效果。当然，这一新方案的设计和应用还处于初期，在许多方面还有很大的改进空间。我们期待与深港珠澳供水界各位同仁加强交流与合作，为推

动供水事业的信息化发展作出贡献。