发布日期:2019年12月26日
发布内容:浪潮数据管理平台V2.3
产品描述:
随着企业的发展,数据类型、数据量越来越多,数据成为企业的重要资产,数据仓库、大数据分析系统的建设逐渐成为热点,由于缺少专业的数据仓库建设和管理工具,导致数据仓库建设步履维艰,管理过程困难重重。为了解决客户遇到的此类问题,浪潮总结20多年数据治理、数据仓库实施、大数据分析应用的经验,通过自主研发,推出了数据管理平台产品。
浪潮数据管理平台(DMP)支撑数仓建设和数据管理,具有智能、敏捷、高效、协同等特点,拥有数据源、数据加工厂、数据质量管理等功能模块,可实现数据的全生命周期管理。
数据加工厂模块,提供高效、协同的ETL和数据仓库建模工具,构建数据仓库,使数据能够得到充分的管理和应用,为发挥数据价值提供有力保障。
数据质量模块,通过制定数据检核规则和方案,实现对数据质量的监控。当数据产生质量问题时,系统自动告警,为数据管理者提供详细的数据质量报告。
系统管理
- 机构用户:可设置不同用户、单位及用户与单位的关系。
- 角色管理:可设置不同的角色及其相应的资源权限。
- 数据源连接:可设置不同类型数据库的连接及连接池配置信息。
数据源
- 实体表就是对应实际的对象的表。
- 代码表即字典表。由代码项、说明项组成。
- 存储过程即数据库相应存储过程的描述。
数据加工厂
- 设计区:数据仓库设计人员操作区,可以建立ods、dw、数据集市、etl转换、主题、主题域等。
- 工厂分层:数据仓库工厂层次划分,浪潮数据仓库划分三大层:ods、dw、数据集市。
- ODS(操作数据):即操作型数据存储,ODS具备数据仓库的部分特征和OLTP系统的部分特征,它是“集成的、当前或接近当前的、不断变化的”数据,一般不保留数据的变动轨迹,是数据仓库体系结构中的一个可选部分。
- DW(数据仓库):用于存放经过汇总处理的数据,数据来源于ODS。
- 数据集市:面向决策分析需求,数据来源于汇总层。
- 主题域:通常是联系较为紧密的数据主题的集合。
- 主题:是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念。
- 维表:即代码表,包含创建维度所基于的数据。
- 模型:是数据工厂的基本单元,包含表信息、表结构等。
- 运行区:能够运行经过编排测试通过后的转换和作业,并能够对作业进行任务调度,是数据处理自动执行。
- ETL转换:ETL转换时一系列转换的组合,能够实现对数据的处理功能。
- ETL作业:ETL作业是经过一系列转换的编排形成的作业任务,一个作业任务可以包含多个转换或者作业任务。
- 任务调度:是对运行区的作业任务进行定时调度的功能。
数据质量
- 规则:是数据质量审核的逻辑校验标准,是数据质量监控管理的基础;是数据在数据质量维度上的一系列核查验证的依据
- 方案:是面向目标业务的一套完整的稽核对象、规则和任务调度
- 检核结果:是查看各个规则执行情况,包含检验合计、错误合计、错误率等
集群管理
- 提供创建、管理、监视 Hadoop 集群的功能,实现Hadoop集群可视化的管理和运维。
聚数
- ETL转换:ETL转换时一系列转换的组合,能够实现对数据的处理功能。
- ETL作业:ETL作业是经过一系列转换的编排形成的作业任务,一个作业任务可以包含多个转换或者作业任务。
- 任务调度:是对运行区的作业任务进行定时调度的功能。
数据服务
- 系统预置丰富的数据共享服务,包括系统服务、数据资源服务、模型服务、标准服务、ETL调度服服务,为集成调度、数据共享提供有力支撑,内置数据加密、数据授权等功能,在满足数据共享需求的同时,保证数据安全。