一种数据集市框架的制作方法

  导航:X技术最新专利计算;推算;计数设备的制造及其应用技术

  2.数据集市(data mart),也叫数据市场,是一个从操作的数据和其他的为某个特殊的专业人员团体服务的数据源中收集数据的仓库,设计的目的是支持决策支持系统(decision-making support system,dss)功能。在数据仓库里,每个数据单元都与特定的时间相关。数据仓库包括原子级别的数据和轻度汇总的数据,是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化(不同时间)的数据集合,用以支持经营管理中的决策制定过程。

  3.从范围上来说,数据是从企业范围的数据库、数据仓库,或者是更加专业的数据仓库中抽取出来的。然而,现有的数据集市抽取出来的数据杂乱,无脑存储,难以管理,需要花费大量的人力成本来维护;并且在需要出具报表时才会对数据进行处理,导致报表出具效率低,因此针对以上问题,迫切需要设计出一种数据集市框架,以满足实际使用的需要。

  6.一种数据集市框架,所述数据集市框架接入至少一数据平台,所述数据集市框架包括:

  7.数据整合模块,用于监控所述数据平台,并于所述数据平台中的源数据发生变动时,对发生变动的所述源数据进行整合;

  8.数据处理模块,连接所述数据整合模块,用于将整合的所述源数据同步到一数据表中;

  9.报表展示模块,连接所述数据处理模块,用于预先设置一报表,并于出具所述报表时通过更新后的所述数据表进行内容展示,所述数据表与所述报表一对一展示。

  10.本发明所述的数据集市框架,所述至少一数据平台包括一数据库,用于存储所述源数据;

  11.所述数据整合模块与所述至少一数据平台通过生产者-消费者模式对所述数据库进行实时监控和数据整合。

  13.一生产者处理单元,用于所述源数据一旦发生变动,则触发一次生产者,并生成一生产者记录;

  14.所述数据整合模块包括:一消费者处理单元,用于根据所述生产者记录进行消费。

  15.本发明所述的数据集市框架,所述数据整合模块通过日志的方式进行有序的记录每一所述生产者记录。

  17.一定时处理单元,用于按照一所述预置的定时任务根据所述生产者记录对所述数据平台中发生变动的所述源数据进行全量同步更新。

  18.本发明所述的数据集市框架,所述数据处理模块通过字段关系映射的方式将发生变动的所述源数据同步到所述数据表中的对应字段。

  19.本发明所述的数据集市框架,所述数据处理模块为kettel工具,所述kettel工具以插件的形式存储在所述数据集市框架中。

  20.本发明所述的数据集市框架,所述数据集市框架提供一报表接口,用以通过所述报表接口接入不同的所述报表。

  21.本发明所述的数据集市框架,所述数据集市框架提供一数据资源接口,用以通过所述数据资源接口接入所述至少一数据平台。

  24.本发明通过python程序搭建数据集市框架,利用生产者-消费者模式对接入的数据平台中的数据进行实时监控,一旦发生变动就触发生产者,进而通过消费者实现数据整合、处理;并且在数据整合、处理过程中,将源数据拉取到数据表中,在出具报表时,直接通过数据表进行内容展示,数据表和报表一对一展示,以提供可靠的决策制定依据。

  27.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进

留下评论