目前基本各个行业都在进行数字化和智慧化转型，之前从事于智慧矿山行业的大数据平台产品工作，对于整体的建设思路有一些思考，发布出来希望大家可以交流提高
总体愿景
依据《国家智慧矿山信息系统通用技术规范》既定的指导方针，明确智慧矿山建设路线将是基于空间和时间的四维地理信息、泛在网、云计算、大数据、虚拟化、计算机软件及各种网络、集成应用各类传感感知、数据通信、自动控制、智能决策等技术，对矿山信息化、工业自动化深度融合，能够完成矿山企业所有信息的精准适时采集、高可靠网络化传输、规范化信息集成、实时可视化展现、生产环节自动化运行，能为各类决策提供智能化服务的数字化智慧体，并对人一机一环的隐患、故障和危险源提前预知和防治，使整个矿山具有自我学习、分析和决策能力。
在智慧矿山的建设中，大数据分析平台相当于整个智慧矿山的大脑中枢，通过梳理能源公司未来智慧矿山建设中底层大数据平台的设计和开发数据标准规范体系，实现矿山多系统数据互联，构建业务集约化管控平台，建设数据仓库、数据综合采集平台、各主题数据分析模型、多端数据图表展示系统和数据运维全局监控平台，将实现安全生产核心数据的互联互通和资源共享，满足智慧矿山底层数据采集、存储、分析、展示等多维应用，也为创新性研究提供数据基础，真正提升能源公司安全生产综合监测风险预警和生产智能化能力。
设计思路
结合目前矿山实际业务系统建设情况和管理发展要求，坚持实用性、创新性、前瞻、标准性、集成性、开放性、先进性、安全性等方面的要求，同时又符合优雅、简洁、大方的设计规则，更充分考虑到未来发展对数据分析庞大的需求和对技术要求不断的提高。产品设计将基本遵照一下三个原则：
（1）安全性。大数据分析平台应采取安全性高的访问认证机制，同时在平台建设中要充 分重视系统自身的安全性，并保证数据的安全性。
（2）可扩展性。大数据的分析和应用是一项长期持久的工作，随着业务的变化，企业对 于大数据分析平台的功能和要求也会不断变化。因此，要求平台的设计和研发要具有良好 的扩展性，以满足业务不断发展变化的要求。
（3）灵活性。在平台的设计和实施中要考虑与其他应用系统的整合，能够实现多种类型 的接口，并可以灵活地接入其他系统中，拓展服务类型和服务能力
大数据平台整体框架设计
大数据分析平台整体框架设计基本还是根据数据的流向自底向上划分四层，跟传统的数据仓库存在一定相似性，大数据平台整体上采用类似的结构，分别为数据采集层、数据计算层、数据服务层、数据产品层。同时，大数据平台架构跟传统数据仓库有一个不同，就是同一层次，为了满足不同的场景，会采用更多的技术组件，更加灵活智能化的分析展示情况，可以支持对数据进行多维度下钻、单图之间数据联动、对数据异常点进行标注、指标 异常检测等功能，可以让使用人员方便、快捷地分析更精细的业务场景，实现从更多维度 的数据出发去了解业务，让数据发挥更立体的价值。
具体见下图示例：
数据采集层：既包括传统的ETL离线采集、日志采集、后台服务监测、数据库直接读取等。
数据计算层：根据数据处理场景要求不同，可以划分为离线数据计算、实时计算、ODS元数据拉取和DM数据管理功能等。
数据服务层：主要是实现读写分离，将偏向应用的查询等能力与计算能力剥离，包括实时查询、多维查询、常规查询、系统对接等应用场景。
数据产品层：根据矿山企业的特点不同划分不同类别的应用，比如安防领域主题分析，生产领域人员定位、各核心系统监控、数据巴士调度等等。
数据管理层：主要是实现数据的管理和运维，包括主数据管理和数据质量管理等多个维度。
数据综合采集系统
云数据ETL工具
主要用于各类数据融合、数据交换场景，专为超大数据量、高度复杂的数据链路设计的灵活、可扩展的数据交换平台。全流程图形化界面，应用端采用B/S架构，可以在浏览器中进行使用配置，同时也支持移动系统的轻应用体系，所有操作在浏览器内就可以完成，不需要额外的开发和生产发布分布式集群高可用架构，可以水平扩展到多节点支持超大数据量，架构容错性高，可以自动调节任务在节点之间分配，适用于工业大数据场景。
基于日志、基于时间戳和自增序列等多种方式可选
基于日志的采集方式对数据库无侵入性
可视化的过程监控，提供多样化的图表，辅助运维，故障问题可实时预警
支持围绕数据质量做轻量清洗
支持数据转换自动化的schema mapping
支持多种工业数据协议采集
数据统一交换平台
在我们建设数据仓库过程中，经常需要与外围系统进行接口对接，用以获得对方的业务数据或者将自己的计算数据提供给展示系统使用。
业务调用时，我们通常将接口接口数据按照一定的规范封装成报文或者参数，然后通过网络协议将对应的报文发送给对应的外围接口地址，外围接受到相关业务请求后，将内部处理结果，再通过约定的报文形式回传给接口调用方，整个过程如下图所示：
1）接口地址：对方提供的一个可以访问的URL地址，访问地址可以直接带一些系统级或者业务级参数
2）请求数据：数据在消息传输过程中，首先选择通过表单参数POST/GET提交，当请求数据过大或者多变情况，我们可以将请求参数按照一定的数据格式进行封装为字符串，然后通过传输协议报文头直接传输，这里的数据格式有XML格式、Json格式等。
3）响应数据：相应数据一般直接放入 请求响应的数据流中，获得相应字符流按照数据格式解析为对应的响应数据
4）传输协议：一般分为：webservice，socket，http等多种形式，主流为http(s)，本文主要也是基于http(s)进行实现
统一接口报文转换工具设计
在大数据分析平台设计中，我们通常从基础架构，业务架构，数据架构多个层面去建设，以大拆小，求同存异，进行主题域设计，让各主题功能职责分明，高内聚，易扩展，同时数据采集池中给部分耦合度尽量低，调用方式尽量统一，简单。统一接口报文转换工具将极大的简化了业务系统接口对接模式，同时又可以将全面的保证了基础数据资源的质量。
1）业务系统对接时只需要关注系统内部数据计算逻辑，只需要调用数据仓库接口时统一调用一下的接口报文转换工具的API接口，调用API的数据只要基本服务业务系统内部数据规范，都将满足数据仓库的要求。
2）统一接口报文转换工具的接口不需要关心业务规则与流程，只需关注接口调用的规则以及其他细节，同时高扩展性，如：加解密、签名，报文封装，报文转换效率。
3）统一接口报文转换工具的API需要简单、通用、易扩展特性。
业务系统与数据仓库的接口调用，将相当于调用自己系统其他模块一样，不需要专门约束和单独的系统级接口开发。同时也能极大程度上满足数据仓库自身的数据质量要求。
数据仓库
数据仓库是数据分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它并不是所谓的“大型数据库”。数据仓库的方案建设的目的，是为前端查询和分析作为基础，由于有较大的冗余，所以需要的存储也较大。为了更好地为前端应用服务数据仓库的特征在于面向主题、集成性、稳定性和时变性。数据仓库具有如下特性：
- 数据仓库是面向主题，操作型数据库的数据组织面向事务处理任务，而数据仓库中的数据是按照一定的主题域进行组织。主题是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。
- 数据仓库是持续集成的，数据仓库的数据有来自于分散的操作型数据，将所需数据从原来的数据中抽取出。
- 数据仓库的核心工具来，进行加工与集成，统一与综合之后才能进入数据仓库；数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。
- 数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。
- 数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到当前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。
- 数据仓库是不可更新的，数据仓库主要是为决策分析提供数据，所涉及的操作主要是数据的查询。
- 数据仓库是随时间而变化的，传统的关系数据库系统比较适合处理格式化的数据，能够较好的满足商业商务处理的需求。稳定的数据以只读格式保存，且不随时间改变。
- 汇总的。操作性数据映射成决策可用的格式。
- 大容量。时间序列数据集合通常都非常大。
- 非规范化的。Dw数据可以是而且经常是冗余的。
- 元数据，将描述数据的数据保存起来。
- 数据源，数据来自内部的和外部的非集成操作系统。
- 效率够高，数据仓库的分析数据一般分为时、日、周、月、季、年等，可以看出，时为周期的数据要求的效率最高，要求每小时甚至12小时内进行数据同步和存储。
- 数据质量。数据仓库所提供的各种信息，肯定要准确的数据，但由于数据仓库流程通常分为多个步骤，包括数据清洗，装载，查询，展现等等，复杂的架构会更多层次，另外由于数据源有脏数据或者代码不严谨，都可以导致数据失真，从来造成数据分析的失真。
- 扩展性，大型数据仓库系统架构设计复杂，是因为考虑到了未来3-5年的扩展性，这样的话，未来将不用重建数据仓库系统，就能很稳定运行。主要体现在数据建模的合理性，数据仓库方案中多出一些中间层，使海量数据流有足够的缓冲，不至于数据量大很多，就运行不起来了。
能源企业数据仓库采集范围分析（仅供参考）：
| 编号 | 系统名称 | 采集范围 |
| 1 | 水文监测系统 | 全数据库 |
| 2 | 地理空间管理信息系统 | 点表采集 |
| 3 | 中央泵房自动控制系统 | 点表采集 |
| 4 | 风机监控系统 | 点表采集 |
| 5 | 空压机远程监控系统 | 点表采集 |
| 6 | 电力监控系统 | 点表采集 |
| 7 | 皮带机集中控制系统 | 点表采集 |
| 8 | 井下制冷系统 | 点表采集 |
| 9 | 主副井提升系统 | 全数据库 |
| 10 | 煤矿安全监测系统 | 全数据库 |
| 11 | 束管监测系统 | 全数据库 |
| 12 | 冲击地压应力在线监测系统 | 全数据库 |
| 13 | 煤矿顶板动态监测系统 | 全数据库 |
| 14 | 微震监测系统 | 全数据库 |
| 15 | 应急广播系统 | 全数据库 |
| 16 | 人员定位系统 | 全数据库 |
| 17 | 有线调度通讯系统（生产调度通信系统） | 全数据库 |
| 18 | 无线调度通讯系统 | 全数据库 |
| 19 | 虹膜考勤系统 | 全数据库 |
| 20 | 工业视频系统 | 全数据库 |
| 21 | 协同办公系统 | 全数据库 |
| 22 | 三级调度系统（安全生产调度系统） | 全数据库 |
| 23 | 行政通讯系统 | 全数据库 |
| 24 | SAP财务系统 | 全数据库 |
| 25 | 人力资源系统（webhr） | 全数据库 |
| 26 | SAP供应系统 | 全数据库 |
| 27 | 内部市场化系统 | 全数据库 |
| 28 | 铁路装运系统 | 全数据库 |
| 29 | 考试系统 | 全数据库 |
| 30 | 煤质化验系统 | 全数据库 |
| 31 | 皮带秤称量系统 | 全数据库 |
数据质量管理平台
数据质量管理平台计划将有两个部分组成，主数据管理和元数据质量管理两个维度进行产品规划设计。
主数据管理平台
主数据管理（MDM Master Data Management）描述了一组规程、技术和解决方案，这些规程、技术和解决方案用于为所有利益相关方（如用户、应用程序、数据仓库、流程以及贸易伙伴）创建并维护业务数据的一致性、完整性、相关性和精确性。
通过主数据管理平台上成熟的多维MDM集中主数据的管理，从而消除点对点集成，简化数据结构，降低维护成本，改进数据治理。 MDM（主数据管理平台）主要通过以下步骤帮助企业成功进行多领域主数据管理：
1. 建模：用灵活的数据模型定义任意类型的主数据
2. 识别：快速匹配和准确识别重复项目
3. 解决：合并以创建可靠、唯一的真实来源
4. 联系：揭示各类主数据之间的关系
5. 治理：创建、使用、管理和监控主数据
MDM提供业务用户和数据管理员可访问的强大接口，从而实现完整的数据管理和数据异常处理，可以轻松浏览不同主数据实体（财务、人事、合同、地理坐标、设备管理等）中的多层次结构。
元数据质量管理系统（DM）
元数据质量管理系统的整体设计将自底向上包括：检测数据采集、质量集市处理层；质量规则引擎模型存储层；系统功能层及系统应用展示层等。整个数据质量检核点基于技术性、业务性检测，形成完整的数据质量报告与问题跟踪机制，创建质量知识库，确保数据质量的完整性（Completeness）、正确性（Correctness）、当前性（Currency）、一致性（Consistency）。
数据分析建模平台
数据分析建模平台，不仅仅是单纯展现数据的，更不是一些业务常用报表的罗列，还要能够为数据分析师、业务人员提供更多的数据建模功能和数据的洞察，让数据更加智能化。例如，可以支持对数据进行多维度下钻、单图之间数据联动、对数据异常点进行标注、指标 异常检测等功能，可以让使用人员方便、快捷地分析更精细的业务场景，实现从更多维度的数据出发去了解业务，让数据发挥更立体的价值。
1.数据下钻
很多分析平台只是堆积展现业务的各种各样的报表，仅实现了数据范围的广度。很多业务指标也只是了解到表面的一些核心数据，缺少对数据更深层次的掌握，不能指导用户发现到底是哪些维度、哪些因素影响了业务的发展，没有实现数据的深度。利用数据下钻功能，在单图中，只需框选数据异常的点，选择“下钻”便可分析出到底是哪些数据出现问题，导致整体的业务的异常。
2.数据联动
进行业务分析的时候，有时候需要根据一个表的数据变化情况联动展现其他相关表的数据。这样，在分析业务时会更加高效、快捷，能够发现更多业务方面的问题。在大数据分析平台中，图表联动功能可以将某个图表作为筛选器，点击其中某一个数据项，与其关联的图表将会筛选出所选项的数据内容。首先，要对单图设置哪些图表要与之联动，如果联动的图表使用的底层表不是同一张表，那么需要设置一个与主表关联的字段，这样就可以在联动的时候以这个字段为标准进行过滤，当某一个字段的内容需要跟着上一个字段的变化而自动填写或自动改变选项的时候，数据联动就可以发挥作用了。
3.数据标注
数据异常分析，是数据分析工作中最常见且重要的分析主题，通过异常分析查找造成数据波动的原因，根据日常运营工作和数据波动之间的相关性以及影响程度，从而可以找到促进数据增长的途径，改善数据结果。
在设计数据标注功能的时候，可以点选图表上的任意一个异常点，然后输入标注信息，如 图5-30所示，2018年5月订单量明显下降，由于5月的某一天线上系统故障，导致服务访问 异常，从而影响了订单量，便可以把这一天的信息标注在2018年5月对应的点上。这样， 其他人在看到的时候，就可以很快地知道出现问题的原因，从而提高了信息获取的效率， 并降低了沟通成本。
4.数据异常检测
在大数据时代，数据的质量直接影响大数据分析处理方法的效果，也影响决策过程。通过分析海量数据，我们可以从中发现数据集中隐含的模式和规律。但数据集中的异常数据会 对分析过程产生重大干扰，因此在通过数据挖掘方法对大数据利用的研究领域中，数据异常检测已成为热门研究。可视化也是一种非常重要且有效的分析手段。可视化既可以作为分析工具，直接以图形方式呈现数据之间的关系，提高数据可读性，又可以作为分析结果的呈现工具，使分析结果 更加直观。在大数据分析平台中，通过实时在大量的数据中发现异常的数据并把它们转为 有价值的商业信息，以消除商业观察中的延迟，支持快速的商业决策，如果能自动检测指 标异常，并对异常给出预警提示，那么会让人注意到数据的情况，及时发现业务的问题， 对于业务的健康发展，能起到很好的保障作用。
对于大数据分析平台中与正常数据的表现有明显差异的数据，可以设置一个异常范围，例 如把超出或者低于正常值10%的数据设置为异常数据。如果是维度较高的异常数据，那么 便要对数据进行多维度分析，然后一个维度一个维度地排查数据问题，直到找出引起指标 异常的真正原因。
假设基于时间预测的采煤量数据为例，可以在预测数据的基础上，用某一天订单量的 真实值和预测值做对比，如果真实值不在预测数据的置信区间内，可以认为这一天的真实生产量数据可能存在问题，可以把其设置为异常点，进而在大数据分析平台中提示引起业务方和数据分析师的注意，以便排查确认，发现引起核心指标异常的真正原因。
5.内置人工智能算法模型（Machine Learning）
机器学习是一门多学科交叉专业，涵盖概率论知识，统计学知识，近似理论知识和复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式， 并将现有内容进行知识结构划分来有效提高学习效率。通过机器学习算法,可以通过数据简化人工算法的逻辑，从而提高整体数据的利用率，深度的挖掘数据之间的内在联系和隐藏价值。同时机器学习可以用数据或以往的经验,以此优化算法程序的性能标准，更精准的辅助领导层做出最优的决策。
智能数据图表可视化系统
数据图表展示系统，通过集约化的简单整体的展示设计，内置常用的页面模板，通过该系统将建立全套的数据可视化服务，并且支持大屏展示、pc展示、移动端（小程序、移动web、app）多端展现。核心功能主要包括：
- 支持各种类型的数据源整合到一张报表中去；
- 将单元格和数据绑定，快速对数据进行清洗、计算和统计；
- 将报表发布至服务器，并通过PC、手机、大屏等进行浏览和分析；
- 内置不低于20余种图表样式，并通过输入数据维护对报表样式进行推荐，打造出各种炫酷的数据可视化效果。
产品应用架构：
数据运维全局监控平台
数据运维全局监控平台针对大数据平台和大数据业务的数据化全息投影，实现多维的立体化监控、智能决策分析、自动化执行的运维闭环。数据运维全局监控平台是面向复杂大数据系统的数据化驱动运维解决方案，解决方案包含一个统一运维门户(运维工单、运维垂直搜索)和四个运维基础平台(流程平台、配置平台、作业平台、数据平台)，集日常运维工单管理、自动化发布变更、统一配置管理、统一任务调度、智能监控告警管理、异常检测预测、故障自愈等功能。
数据运维全局监控平台主要是应用数据化运维思想，通俗来讲就是把整个大数据平台的运行数据全部采集起来、真正打通，深度挖掘这些数据的价值，为运维提供数据决策基础和依赖。 从系统“稳定性、成本、效率、安全”多个维度去驱动自动化、智能化的运维运营，从而助力实现真正的全局监控。相比于传统运维，数据运维全局监控平台最大的改变可能就是把传统的使用命令、人工决策的运维过程转变成数据+算法的模式。
煤矿大数据平台建设思路
煤矿数据采集层规划设计方案
水文检测系统SWJC
水文监测系统主要监测井下、井上水压、水温等信息。目前部署了3个井下传感器，5个井上传感器，按8个分站管理。井上地面传感器主要对降雨量数据进行监测。数据量有井下传感器采取定时监测模式，数据量下；井上传感器采取实时监测模式，雨季雨天数据采集量较大。
数据抽取方式：云数据ETL工具抽取
更新方式：增量全量
主要采集数据：
井上、井下水量、水压、温度等信息，井上降雨量、水质、位置、安装时间、最大量程、警戒上限、警戒下限、地面标高、手机号码、地名、钻孔名称、含水层、x坐标、y坐标、孔深、竣工、时间、喉口宽度、水深校正、传感器零点、坡度比值、支架高度、管道系数等数据
地理空间管理信息系统DLKJ
地理空间信息系统：指以特定的地球投影数据模型进行空间定位，对地理空间实体的空间特征信息和属性特征信息，进行组织管理、存储查询、空间计算分析、可视化表达输出、专业模型处理和应用的信息系统。
数据抽取方式：云数据ETL工具抽取
更新方式：增量全量
主要采集数据：
地理空间数据、空间计算数据
中央泵房自动控制系统
中央泵房自动控制系统具备远程自动控制功能，可以人工监控水仓水位高低，人工控制；计划实现远程自动控制7个大泵的自动化排水。提供有关单日流量、各主水泵的排水量、水仓水位等排水业务数据的统计分析；有关耗电量，电流多少，电压、功率、功率因素的统计汇总需要结合供电系统的数据完成；已经完成井下安装部署，井上的视频化监控模块尚在建设中；已接入环网，数据可传递到调度室；当前处理的有关排水作业量的数据是少量的结构化数据；反映主排水核心装备的运行状况的检测数据为流数据，数据采集量大。下一步需要能通过功率因数的利用，评估水泵的排水效率，判断水泵是否处于经济运行状态，建设专家系统，自动给出水泵检修建议措施。
数据抽取方式：数据统一交换平台+云ETL工具抽取
更新方式：增量全量
主要采集数据：
水仓水位，单日流量，主水泵排水量等排水业务数据；耗电量、电流、电压、功率、功率因素（配合供电系统）等数据。
风机监控系统FJJK
实时监测监控主扇风机运行状态，及时发现设备运行异常信息，提供设备运转异常信息报警功能；关键参数和指标包括：可监控的参数有负压、风速、风量、电机轴承温度、震动等；现场实时检测功能已投入使用，计划后续实现远传远控；反应主扇风机检测监控子系统运行状态的指标检测数据，是实时流数据，数据采集量大；下一步需要能根据风量、风洞瓦斯含量测算总体瓦斯量。
数据抽取方式：数据统一交换平台+云ETL工具抽取
更新方式：增量全量
主要采集数据：
负压、风速、风量、电机轴承温度、震动波纹等数据
空压机远程监控系统KYJK
自动控制压风管路的压力，提供风动设备的动力。压风机自动控制系统具备远程控制功能，并能够通过关键参数监控系统运行状态；关键参数和指标有压风机管网压力、压风机温度、断水保护、超温保护；数据量有反应压风机自动控制系统运行状态的指标检测数据，是实时流数据，数据采集量大。
数据抽取方式：数据统一交换平台+云ETL工具抽取
更新方式：增量全量
主要采集数据：
管网压力、压风机温度、断水保护、超温保护、运行状态、运行状态参数
电力监控系统DLJK
对主要的供电设备系统进行检测监控，记录每一时刻的电压、电流峰值、谷值，实现远传远控；系统具备四摇功能，即遥测、遥控、遥信、遥调，每个开关上都有智能电表；供电子系统具备自身故障判断功能，能够依据关键参数的异常变动，判断可能的故障/异常原因；关键参数/指标包括电压、电流、有功功率、无功功率、功率因数、电量。自动区分峰平谷电量及价格；每台负荷、按班次、按月、按日、按季度的用电报表；细分到各专业、各生产部门的耗电数据是小量的结构化数据；反应整个供电系统运行状态的指标检测数据为实时流数据，数据采集量大。下一步需要通过两化融合，实现精细化管理，业绩考核到班组，通过记录每个班次生产了多少煤，电费支出、材料支出，人力支出，计算出每个班次创造的效益。
数据抽取方式：数据统一交换平台+云ETL工具抽取
更新方式：增量全量
主要采集数据：
电压、电流峰谷、有功功率、无功功率、功率因素、电量等
皮带机集中控制系统PDJ
矿用带式输送综合保护装置是根据国家煤炭部关于完善井下带式运输机保护的有关文件的要求而进行设计的，在进行了大量的井下实地调查及试验后，对现有的带式机综合保护进行了优化和改进；同时听取了大量的用户意见，使本装置的可靠性、密封性和操作方便性与现有同类产品相比较有了很大程度的提高。
数据抽取方式：数据统一交换平台+云ETL工具抽取
更新方式：增量全量
主要采集数据：
电压、电流数据、控制点等
井下制冷系统 JXZJ
矿井制冷是冷端和空气冷却器之间的管道内循环。制冷机产生的热能由冷却水带走，冷却水经冷缺水塔喷淋排热可循环使用。矿井制冷降温用制冷装置降低矿井空气温度的技术。制冷降温系统主要由制冷机、空气冷却器和冷却水塔组成。在制冷机内，通过制冷剂的蒸发吸热和压缩放热过程，在一端制冷，另一端散热。冷媒在制冷机的冷端冷却后，经管道送人空气冷却器，用于冷却空气。
数据抽取方式：数据统一交换平台+云ETL工具抽取
更新方式：增量全量
主要采集数据：
制冷温度，冷气生产量、热交换量、耗电量等
主副井提升系统 ZFJ
主副井提升系统主要实现对煤炭提升的自动控制，有详细的提升量数据，可细分到班组、月份等维度；副提升子系统主要实现对井下人员的升降井作业；关键参数和指标包括涉及安全生产的关键参数：闸控系统的开闸压力、恒减速、供电俩个主线的谐波成分等；数据量细分到各专业、各生产部门的，有关产量、提升作业量的数据是小量的结构化数据；反应整个提升系统运行状态的指标检测数据，是实时流数据，数据采集量大。
数据抽取方式：云ETL工具抽取
更新方式：增量全量
主要采集数据：
提升量、开闸压力、恒减速、供电主线谐波成分数据等
煤矿安全监测系统 AQJC
煤矿安全监控系统是主要用来监测甲烷浓度、一氧化碳浓度、二氧化碳浓度、氧气浓度、硫化氢浓度、矿尘浓度、风速、风压、湿度、温度、馈电状态、风门状态、风筒状态、局部通风机开停、主要风机开停等，并实现甲烷超限声光报警、断电和甲烷风电闭锁控制等功能的系统。
数据抽取方式：云ETL工具抽取
更新方式：增量全量
主要采集数据：
系统序号、报警值、当前值、时间、报警信息、传感器状态、统计
、备注
束管监测系统 SGJC
束管监测系统：采用KSS-200矿用火灾预报束管监测系统，主要由监测控制微机、束管专用色谱仪驱动电路、气体采样控制装置、自动进样器、束管、采样器等组成。通过敷设的束管将回采工作面采空区气体连续不断的输送到井上气相色谱仪中进行精确分析，实现对O2、N2、CO、CH4、CO2、C2H4、C2H6、C2H2等气体含量的在线连续监测，其分析结果可用实时监测报告、分析日报表俩种方式呈现，自动存入数据库中，实现对某种气体含量的变化趋势进行分析，预报煤炭自燃的趋势；分析精度：色谱仪检测精度：1ppm；系统精度<1.5%。
数据抽取方式：云ETL工具抽取
更新方式：增量全量
主要采集数据：
O2、N2、CO、CH4、CO2、C2H4、C2H6、C2H2等气体含量数据、变化趋势、煤炭自燃趋势等
冲击地压应力在线监测系统CJDY
冲击动态检测系统主要用于煤矿冲击地压矿井的媒体应力监测，包括井下煤岩体应力采集、数据传输、井下监测预警等功能。数据量有冲击动态检测系统从200个井下煤岩体应力采集终端上，按每小时采集两组数据的方式进行数据采集，每天的数据采集量近万条，年数据采集量约为350万条。
数据抽取方式：云ETL工具抽取
更新方式：增量全量
主要采集数据：
区域ID、上限值(Mpa)、下限值(Mpa)、启用标志、煤岩体应力采集
煤矿顶板动态监测系统 DBDT
KJ520煤矿顶板动态监测系统是一套专用于对顶板动态进行远距离实时监测的分布式系统，主要用于实时监测综采支架工作阻力、单体支护工作阻力、工作面顶板下沉量及支架倾角、巷道顶板和围岩的松动离层量、巷道锚杆的锚护应力、煤体或岩体内部应力等矿压参数，可实现井上动态显示监控参数、数据分析处理等功能，偏于评价回采工作面支架对顶板运动适应性及巷道现有支护参数的合理性，研究顶板动态规律和采场防控措施，并对现有矿压监测手段提出可行性该进意见，为确保矿井的安全生产提供依据，可有效地减少煤矿井下顶板发生的事故。
数据抽取方式：云ETL工具抽取
更新方式：增量全量
主要采集数据：
综采支架工作阻力、单体支护工作阻力、工作面顶板下沉量、支架倾角、巷道顶板和围岩的松动离层量、巷道锚杆（索）的锚护应力、煤体或岩体内部应力等矿压数据
微震监测系统 WZJC
微震监测系统是通过监测岩体破裂产生的震动或其他物体的震动，对监测对象的破坏状况、安全状况等作出评价，从而为预报和控制灾害提供依据的成套设备和技术。微震监测技术基于声发射学和地震学，现已发展成为一种新型的高科技监控技术。它是通过观测、分析生产活动中产生的微小地震事件，来监测其对生产活动的影响、效果及地下状态的地球物理技术。当地下岩石由于人为因素或自然因素发生破裂、移动时，产生一种微弱的地震波向周围传播，通过在破裂区周围的空间内布置多组检波器并实时采集微震数据，经过数据处理后，采用震动定位原理，可确定破裂发生的位置，并在三维空间上显示出来。
数据抽取方式：云ETL工具抽取
更新方式：增量全量
主要采集数据：
拾振器采集数据、震动位置、时间、释放能量、分析报告数据、震动频率、检测结果数据等
应急广播系统 YJGB
应急广播是指当发生重大自然灾害、突发事件、公共卫生与社会安全等突发公共危机时，提供一种迅速快捷的讯的息传输通道。井下应急广播系统为提高煤矿生产者的安全生产意识，高效应急指挥煤矿生产人员的生产与生活，丰富职工的文化生活。最主要是在矿井生产安全事故的紧急情况下，可以通过调度指挥中心（广播系统控制中心）调度安排，由井下生产人员及时到达指定安全地点，为生产人员安全撤离、减少人员伤亡、减少煤矿安全事故。
数据抽取方式：云ETL工具抽取
更新方式：增量全量
主要采集数据：
文件名称、文件大小、文件时长、播放曲目类型ID等
人员定位系统 RYDW
矿山作业人员井下定位及动态监管系统（简称：井下人员定位系统）以现代无线电编码通讯技术为基础，应用现代无线电通讯技术中的信令技术及无线发射接收技术，结合流行的数据通讯、数据处理及图形展示软件等技术。系统能够及时、准确的将井下各个区域人员和移动设备情况动态反映到地面计算机系统，使管理人员能够随时掌握井下人员和移动设备的总数及分布状况；系统能跟踪干部跟班下井情况、每个矿工入井、出井时间及运动轨迹，以便于企业进行更加合理的调度和管理。
关键参数和指标有井下系统自动记录人员读卡数据，井下读卡器分布广泛，每天井下工作人数近500人左右，井下读卡器每8秒采集一次数据，据此测算每天数据量约为430万条，年数据采集量约15.7亿条，数据采集量大。
数据抽取方式：云ETL工具抽取
更新方式：增量全量
主要采集数据：
设备信息、区域信息、井下人员基本信息（卡号、姓名、身份证号、年龄、职务 、工种、区队班组、主要工作地点）、位置、轨迹、分布密度、出入井时间、报警、统计（每月下井次数、每天下井情况、工作时间）、特殊区域出入及滞留时间等数据
无线电调度通讯系统 WXD
无线通讯选用KT167型矿用无线通讯系统，可为地面工业广场及井下重点场所和主要巷道提供无线通讯功能。采用WCDMA,同时支持WIFI接入或扩展。
数据抽取方式：云ETL工具抽取
更新方式：增量全量
主要采集数据：
通讯使用次数、接入量等数据
虹膜考勤系统 HMKQ
虹膜考勤机是利用虹膜识别技术针对于特定行业工作人员记录工作时间的设备。主要解决工作人员上班人数不准确，冒名顶替等违规行为，确保人员唯一性。虹膜安全考勤替代传统指纹、人脸打卡机等方式，录入方便、识别准确、考勤更方便快捷。虹膜安全考勤一体机具备众多功能，使我们可以很容易地虹膜识别功能集成到我们项目中，在煤炭行业中使用，虹膜一体机已经不再仅仅做为考勤机使用，更多地是做为安全终端来使用，与其他系统连动。
数据抽取方式：云ETL工具抽取
更新方式：增量全量
主要采集数据：
虹膜数据、录入时间、考勤记录等数据
工业视频系统 GYSP
工业大型视频监控系统越来越多的出现在工业中，通过视频、音频以及各种综合性、网络性的功能带给我们前所未有的视觉体验，极大的便利解决矿区安防、人员追踪等各种事件回溯的需求。
数据抽取方式：数据统一交换平台
更新方式：增量全量
主要采集数据：
工业视频影像数据
协同办公系统 XTBG
协同办公系统是将现代化办公和计算机网络功能结合起来的一种新型的办公方式。协同办公系统没有统一的定义，凡是在传统的办公室中采用各种新技术、新机器、新设备从事办公业务，都属于办公自动化的领域。在煤矿中，通过实现办公自动化，或者说实现数字化办公，可以优化现有的管理组织结构，调整管理体制，在提高效率的基础上，增加协同办公能力，强化决策的一致性，最后实现提高决策效能的目的。
数据抽取方式：数据统一交换平台、云ETL工具
更新方式：增量全量
主要采集数据：
数据协同、公文中转数据、人员数据
行政通讯系统XZTX
行政通讯系统具有数字式语音双向无阻碍塞通信，一键到位，组呼、全呼、选呼、强拆、强插、监听、紧呼，调度台中文名称显示及位置，自动录音功能（可保荐一年以上），通话历史记录查询等煤矿调度通信系统行业基本功能，还具有内外线多方电话会议，IP融合通信，一键外呼直拨电话、集团彩铃、语音留言等功能。
数据抽取方式：数据统一交换平台、云ETL工具
更新方式：增量全量
主要采集数据：
主叫号码、被叫号码、中继网名、出中继、入中继、通话开始时间、通话结束时间、通话时长、通话时长(分钟)、呼叫类型、计费子冠等数据
SAP财务系统 SAP
SAP是其ERP（Enterprise-wide Resource Planning）软件名称，它是ERP解决方案的先驱，也是全世界排名第一的ERP软件，可以为各种行业、不同规模的企业提供全面的解决方案。SAP是“企业管理解决方案”的软件名称。SAP的模块功能中：SAP FI 应收账款、应付账款、总分类账、合并、投资、基金、现金等；CO 利润中心、成本中心，产品成本、项目管理、获利管理分析等；
数据抽取方式：数据统一交换平台
更新方式：增量全量
主要采集数据：
财务数据
SAP供应系统 SAP
SAP是其ERP（Enterprise-wide Resource Planning）软件名称，它是ERP解决方案的先驱，也是全世界排名第一的ERP软件，可以为各种行业、不同规模的企业提供全面的解决方案。SAP是“企业管理解决方案”的软件名称。SAP的模块功能中：MM 采购、库存管理、MRP、供应商评价等；WM 仓库管理、捡配、上架、下架、移动扫描、条形码；
数据抽取方式：数据统一交换平台
更新方式：增量全量
主要采集数据：
物资数据
MDM系统 MDM
主数据管理（MDM Master Data Management）描述了一组规程、技术和解决方案，这些规程、技术和解决方案用于为所有利益相关方（如用户、应用程序、数据仓库、流程以及贸易伙伴）创建并维护业务数据的一致性、完整性、相关性和精确性。
数据抽取方式：数据统一交换平台
更新方式：增量全量
主要采集数据：
各类主数据
人力资源系统 HR
人力资源（HumanResources，简称HR）即人事，最广泛定义是指人力资源管理工作，包含六大模块：人力资源规划、招聘、培训、绩效、薪酬和劳动关系等。多用于公司的人事部门。也是公司的一个重要的职位。公司的人员招聘，培训，职员的考核，职员的薪酬，职员调动都和人事有关。
数据抽取方式：数据统一交换平台
更新方式：增量全量
主要采集数据：
人事各类数据
内部市场化系统SCH
淄矿集团内部市场化管理信息化系统，采用集团部署的方式，替代各单位手工进行的内部市场化操作，减轻人工操作，减少差错率，志在对各单位内部市场化管理起到优化和提升作用。
数据抽取方式：数据统一交换平台
更新方式：增量全量
主要采集数据：
基础数据、定额管理数据、价格管理数据、预算管理数据、材料管理数据、结算管理数据、单项工程业务管理数据等
铁路装运系统TLZY
铁路装运系统介绍了铁路运输管理信息系统、货运营销及技术计划管理系统、车站综合管理信息系统、铁路列车调度指挥系统、分散自律调度集中系统等铁路运输主要信息系统的发展概况、系统构架、运行原理和主要操作方法等。
数据抽取方式：数据统一交换平台
更新方式：增量全量
主要采集数据：
铁路装运、铁路货数据、载重量、车次等数据
考试系统KSXT
煤矿安全学习考试系统基于微软windows操作系统，能够容纳大量的专业知识题库，为客户端提供更快和更稳定的运行环境。煤矿安全学习考试系统：采用B/S模式，由前台用户考试部分、后台系统管理部分俩部分组成，不需要安全客户端，被授权用户通过浏览器即可登录系统。
数据抽取方式：云ETL工具
更新方式：增量全量
主要采集数据：
人员考试时间、频次、成绩等数据
煤质化验系统 MZHY
煤质化验系统是一种针对煤质进行化验的各项数值指标的检测设备，采集、记录、展示数据分析的系统。
数据抽取方式：数据统一交换平台
更新方式：增量全量
主要采集数据：
煤炭成分数据，比如：硫分、灰分等含量数据
皮带秤称量系统PDC
皮带秤是指无需对质量细分或者中断输送带的运动，而对输送带上的散装物料进行连续称量的自动衡器，主要分类有按承载器分类：称量台式承载器，输送机式承载器；按带速分类：单速皮带秤，变速皮带秤。
皮带秤系统是通过皮带的秤量数据通过互联网传输到系统中，进行记录和分析。
数据抽取方式：数据统一交换平台
更新方式：增量全量
主要采集数据：
皮带秤秤量数据、皮带秤运行等数据
煤矿主数据管理平台规划设计方案
主数据规划设计原则
结合主数据规划目标确定以下规划原则：
- 主数据定义为横向上在各系统和各部门之间串联、共享的基础数据，纵向上在研究所、专业化公司、生产区队之间互通、共享的基础数据。
- 如果基础数据或基础代码只在某部门或某个系统中使用，不纳入主数据统一管理范围。
- 主数据的数据属性应该是在两个以上（含两个）系统都需要应用的，对于只在一个系统使用的数据属性不作为主数据属性统一管理。
- 有国家标准优先参考国家标准，有行业标准优先参考行业标准，并结合企业实际情况形成正通煤业主数据标准。
煤矿主数据范围
主数据范围分为人力资源类、往来单位类、项目类、物资类、设备类、产品类、地点类等七大类：
- 人力资源类
主要包括机构类型、是否法人、行政组织、岗位、证件类型、员工类型、职务、员工信息等主数据。
- 往来单位类
主要包括往来单位地区、往来单位类别、行政区域、往来单位等主数据。
- 项目类
主要包括承包形式、承揽方式、项目所在地、项目类别、建设方性质、投资性质、结构形式、工程关注度、项目状态、工程进展、项目等主数据。
- 物资类
主要包括物资分类、物资目录、计量单位、设备编码等主数据。
- 设备类
主要包括设备来源、设备用途、设备状态、生命周期、减少类型、处置类型、设备分类、设备属性、折旧方法、设备设备台帐等主数据。
- 产品类
主要包括产品名称、产品类别。
- 地点类
主要包括地点盘区、巷道、工作面、厂房、煤仓名称。
主数据相关业务逻辑图
煤矿数据仓库规划设计方案
数据仓库建设中，数据集市层为数据的标准化存储层，存储分析所需的历史明细数据，同时需要针对业务应用进行相应的模型设计。
存储周期：所有历史数据；增量更新数据视具体业务数据更新频次。
主题设计：根据实际分析所需主题的设计，设计数据仓库应用主题，如物料消耗动态分析应用、新型智能供应链支撑应用主题等。
数仓内部存储数据的表分类：事实表、维表
- 事实表：即需要统计的值的主表，存储业务基础数据，主要包括物料库存表、材料定额表、生产预算表等。事实表通常是增量更新。样例如下：
以库存数据表(DW.DW_ BIA_MaterialData _Fct)为例：
| 相关数据表： | BIA_MaterialData | |
| 数据表名称： | 库存数据 | |
| 名称 | 字段 | 数据类型 |
| 公司代码 | CompanyID | varchar(30) |
| 库存日期ID | Column_39 | char(10) |
| 库存日期 | Column_38 | char(10) |
| 库存年度 | Column_37 | char(10) |
| 库存月份 | Column_36 | char(10) |
| 库存季度 | Column_40 | char(10) |
| 组织ID | OrgID | char(20) |
| 仓库ID | WareHouseID | char(20) |
| 物料ID | MaterialID | char(20) |
| 库存状态 | InvState | char(2) |
| 特殊库存 | SpeStock | char(1) |
| 相关对象 | ofObject | varchar(30) |
| 核算批次编号 | BatchNumCode | varchar(30) |
| 借方数量发生 | DebQuanAmount | decimal(20,8) |
| 贷方数量发生 | CredQuanAmount | decimal(20,8) |
| 当前数量余额 | CurQuanBalance | decimal(20,8) |
| 辅助借方数量发生 | AssDebQuanAmount | decimal(20,8) |
| 辅助贷方数量发生 | AssCredQuanAmount | decimal(20,8) |
| 辅助当前余额 | AssCurQuanBalance | decimal(20,8) |
- 数仓维表：即数据记录对应的分析维度信息，主要包括时间维表、物料维表、指标字典表、组织机构表、库龄段维表等。维表通常是全量更新。
以库龄段维表(DW.DW_AGE_Dim)为例：
| 关键字段 | 字段定义 | 字段用途 |
| 库龄段ID | 数字 | 物料库存表 |
| 库龄段名称 | 文本 | |
| 起始时间段 | 数字 | |
| 截至时间段 | 数字 |
物料类别维表(DW.DW_ BIA_MaterialSorts _Dim)为例
| 相关数据表： | BIA_MaterialSorts | |
| 数据表名称： | 物料类别 | |
| 名称 | 字段 | 数据类型 |
| 分类OID | MaterialSortID | char(20) |
| 分类编号 | MaterialSortCode | varchar(30) |
| 分类名称 | MaterialSortName | varchar(512) |
| 分级码 | MaterialSortPath | varchar(36) |
| 级别 | Layer | smallint |
| 明细否 | IsDetail | char(1) |
| 备注 | note | varchar(255) |
原创文章，作者：奋斗，如若转载，请注明出处：https://blog.ytso.com/262412.html