大数据平台 - 数据驱动决策的基础

Data Warehouse

不管你是否相信,一个精心设计的大数据分析平台可以改变一家企业的经营方式。我们已经在许多客户身上看到过这种“化学反应”:当一个个复杂的业务流程被清楚的数据分析模型所定义,当一个个分散的信息被整合(物理或虚拟)在一起,当用户的所有问题都可以自助地从这个大数据平台里得到回答时,人们就会发现企业的管理模式已经渐渐的从靠直觉判断进化到凭数据说话的层次上来了。

麦易信息的大数据解决方案包含:数据集成系统和大数据平台系统。

数据集成系统

数据集成解决方案可以最大限度地提高数据的业务价值 - 将结构化和非结构化数据,本地和远程的数据,以及各个业务系统的数据整合在一起,并进行清洗与计算。确保用户可以在企业的各个层面获得及时,一致和可靠的信息。
其模块主要包括:数据复制代理,数据收集,数据转换与计算。

1)数据复制代理
数据复制代理负责让您的源数据与我们的数据仓库保持同步。它会监测您所使用系统的任何新增,更新或删除事件。一旦发生变化,代理便立即将这些事件推送出去。ME-BI数据复制代理可以同步复制所有主要数据库和云平台。


2)数据收集
数据收集器负责收集所有您可能需要的数据。无论您的系统每一分钟产生数千条还是数百万条记录,我们都将提供相应的解决方案。ME-BI数据收集器的数据来自我们的数据复制代理,或者我们也可以直接通过您自己的数据接口收集这些数据。


3)数据转换与计算
ME-BI数据转换集群将收集到的数据进一步清洗、重构、预处理(预先计算结果),然后再加载到我们的数据仓库之中。这种优化过程使数据分析起来更容易,更快捷,更一致。我们的数据转换集群是建立在高度可扩展的数据处理引擎之上的。


大数据平台

数据库是IT基础设施的核心。在过去三十年,数据库技术的发展经历了四个主要阶段:

1)大型机

随着政府,金融服务和电信行业的业务量的增加,大型机蓬勃发展起来,因为它们可以处理(在当时看来)大批量的商业交易。

2)在线事务处理(OLTP)数据库

随着OLTP数据库的诞生,可以提供经济实惠的计算能力的客户机/服务器(C/S)模式开始流行。后台数据库通过前端程序被调用,OLTP数据库被广泛用在CRM/ERP和电子商务系统中,其用户甚至延伸到了企业外部的消费者和供应商。

3)数据仓库

数据仓库将所有交易数据(人力资源,销售,财务和物流等)集中起来,与分析展现软件一起,形成了一个独立的领域:商务智能/数据仓库。一些数据库厂商在这一时期开始崭露头角。有些是新的,有些是老OLTP数据库的扩展。

4)第四次浪潮:大数据平台

在互联网时代,当人们认识到数据是他们最具战略意义的资产,可以提供独特的竞争优势时,大数据时代开始了。然而,随着海量数据的指数级增长,正如Gartner所描述的,传统数据库厂商的技术演进是不够的。无论从处理的数量,数据的种类还是用户所希望信息查询速度来看,传统的数据仓库都远远无法满足未来的需求。我们需要一个新的大数据平台,能够满足从TB极到PB级数据,从结构化,半结构化到非结构化数据,从单服务器部署到n台服务器的集群架构,从分钟级等待到秒级响应,从加减乘除运算到更先进的数据挖掘分析方法,所有这些,我们的大数据平台都能为您提供。