中國儲能網訊：
摘要：大數據時代，隨著煤電公司數字化轉型步伐走深走實，對海量數據進行分析、應用的需求越發(fā)高漲，對數據治理能力的要求不斷提高。如何有效利用海量數據，并將其轉化為能支撐管理決策的價值信息，成為煤電公司新時代面臨的難題。本文系統(tǒng)闡述國內外數據治理現有研究成果，深入分析煤電公司數據治理現存問題，創(chuàng)新性地提出了以數據中臺為核心的煤電公司數據治理框架，以供有參考。
關鍵詞：數字化轉型，數據治理，數據中臺，數據資產
為充分利用大數據時代海量數據蘊含的巨大價值，社會各機構積極探索數字化轉型的正確道路。然而，由于能源行業(yè)的傳統(tǒng)性和分散性，且國內尚未形成成熟的數據治理知識體系[1]，煤電公司落實數據治理存在困難。本文結合國內外數據治理實踐經驗及相關信息技術的最新發(fā)展成果，針對煤電公司數據管理普遍存在的問題，創(chuàng)新性地提出了煤電公司數據治理框架，指導能源企業(yè)科學開展數據治理工作。
1 研究背景
利用信息技術管理數據截止到目前大體經歷了人工報表、報表系統(tǒng)、數據倉庫系統(tǒng)、大數據平臺等概念階段[2]，數據管理和使用的方式更加有效，而數據中臺是現階段實現數據價值的解決方案之一[3]。中臺的概念是基于前后臺架構的傳統(tǒng)模式提出的，旨在解決后臺單獨定制導致的重復開發(fā)、資源浪費等問題和前后臺同時開發(fā)產生的數據孤島等問題[4]。煤電公司涉及煤炭、火電、新能源等產業(yè)，伴隨著信息技術的快速發(fā)展，普遍實現了從機械化到自動化的飛躍，也因此產生了海量數據。根據業(yè)務特點使用數據中臺有助于煤電公司將數據作為戰(zhàn)略資產進行管理，貫穿數據收集到處理應用的全數據生命周期，以提高數據質量，實現廣泛的數據共享，最終實現數據價值最大化。
2 煤電公司數據管理存在問題
2.1 缺乏數據標準
一是未建立統(tǒng)一的數據標準和管理規(guī)范。公司各部門和機構普遍根據自身需求進行系統(tǒng)開發(fā)，導致數據的來源、存儲、管理方式各不相同，難以管理。二是公司內各業(yè)務板塊主數據不統(tǒng)一[5]。公司的組織、用戶、設備、供應商等主要信息普遍不通過統(tǒng)一的業(yè)務管理流程在系統(tǒng)間維護，相同的數據標簽在不同的系統(tǒng)、數據庫內設置不同編碼，導致系統(tǒng)間數據無法共享、復用，主數據在整個業(yè)務范圍內難以保持一致性。
2.2 數據治理內容不明確
一是數據治理人員單一。數據治理工作普遍交由公司內部的信息管理部門或科技創(chuàng)新機構，但數據的生產者和使用者遍布各業(yè)務部門，僅依靠信息專業(yè)人員會導致數據治理內容不明確、脫離生產經營實際等問題。二是過于依賴數據治理工具。部分煤電公司將數據治理視為信息技術問題，認為只靠購買數字產品就能解決問題，忽略了建立跨技術、業(yè)務和管理部門的組織架構和制度流程。
2.3 數據全生命周期管理不完整
煤電公司普遍關注數據的收集、使用和展示，但對數據產生、使用、維護、備份、銷毀的全生命周期管理缺乏重視，沒有制定相關的規(guī)范和管理辦法，各業(yè)務數據缺少歸口管理，難以識別過期數據和無效數據。
3 數據中臺概述
數據中臺的建設與前沿的大數據技術息息相關，最終目的是實現數據價值最大化。結合大數據技術的發(fā)展情況和相關研究成果，數據中臺框架由物理管理層、邏輯管理層、數據資產管理層、數據服務層。
處于數據中臺框架底層的是物理管理層，能進行系統(tǒng)的數據存儲、運算、共享等，并搭建具備基礎能力的實體機器和軟件操作平臺。在物理管理的基礎上對存儲的數據進行邏輯管理，即將數據經過處理加工，轉變?yōu)榧婢呃斫庑院筒僮餍缘木哂幸?guī)范化結構的數據資產。數據資產管理的主要功能是面向業(yè)務實際設置的管理體系實現數據資產價值的釋放。數據服務是數據資產發(fā)揮價值的關鍵。通過對全局數據進行統(tǒng)一管理，各部門能共享數據價值，并利用數據中臺提供的數據服務為各業(yè)務領域提質增效。網絡的安全防護是數據中臺平穩(wěn)運行的基礎，從數據安全和隱私保護等方面采取相應的安全管理技術手段，為數據的處理提供安全保障。
4 建設方案
4.1 整體架構
煤電公司數據治理整體架構如圖1所示，包括數據采集、數據治理、數據構建三部分。
圖1 數據治理整體架
4.2 實施內容
4.2.1 全業(yè)務域數據入湖
煤電公司需要搭建各種系統(tǒng)為生產經營提質增效，利用數據治理工具將在運系統(tǒng)進行數據入湖，將不同來源、不同格式的數據集中存儲管理，并對外提供統(tǒng)一的數據分析方式，有效解決數據孤島問題，同時顯著降低存儲和使用數據的成本。
4.2.2 數據治理規(guī)范化
數據治理團隊要和各業(yè)務部門做好調研、協(xié)商，確定標準主題，制定信息項框架，力求覆蓋全面、重點明確。在調研階段，根據煤電公司業(yè)務范圍進行主題定義和分類，明確責任部門，做好信息項類別的識別和劃分。在標準制定階段，完善信息項屬性，確保唯一性、準確性。在發(fā)布和落地階段，進行數據管理規(guī)范的發(fā)布，并制定數據規(guī)范的管理辦法和更新規(guī)則，記錄相關規(guī)范的落實情況，促進推廣應用。
4.2.3 數據管理標準化
一是制定數據標準與規(guī)范，組織編制公司級數據中臺搭建規(guī)范、基礎編碼規(guī)范等文件，并在平臺建設過程中嚴格遵守，保證數據的兼容性和規(guī)范性。二是優(yōu)化數據校核流程，充分調研安全生產及經營管理業(yè)務填報數據校對審核的情況，開發(fā)配置數據審核校對等功能，保證數據的真實性、可靠性、及時性。三是明確用戶數據權限，對業(yè)務系統(tǒng)數據進行盤點、展示和管理，并對用戶數據權限進行管理，為數據的管理者和使用者提供個性化數據資產管理、資產視圖以及權限管控功能。
4.2.4 生產經營數據一體化
一是盤點數據資產，對各業(yè)務系統(tǒng)按照業(yè)務場景形成數據資產目錄，評估數據資產的重要性和數據分布情況。二是進行數據清洗、加工與存儲，包括對采集的數據進行清洗和整合等，然后加載到數據倉庫中，支持數據分析和數據挖掘。三是元數據管理。元數據管理是對相關數據源定義、目標定義、轉換規(guī)則等進行管理。從數據源到后續(xù)的逐層加工以及稽核，元數據將各類的數據實體進行定義、約束。四是數據質量管理。具體措施包括數據處理過程監(jiān)控、數據稽核、問題管理、日志管理等。五是數據安全管理。數據管理安全保障方面，要求平臺具備身份認證、數據加密、數據脫敏等功能，保障平臺的數據應用安全。
