打造智慧園區 助力企業上云
400-008-2859/span>
關注微信公眾號"龍智造工業云"
了解更多動態
發布時間:2024-12-19 10:06:52
一、制造業企業數據要素治理的背景與現狀
我國的數字經濟建設正式啟動開始于2016年G20 峰會倡議。2017 年,習近平總書記在中共中央政治局的集體學習中進一步強調了數據的關鍵作用。2019 年,黨的十九屆四中全會指出,健全勞動、資本、土地、知識、技術、管理、數據等生產要素由市場評價貢獻、按貢獻決定報酬的機制。2020年4月,《中共中央、國務院關于構建更加完善的要素市場化配置體制機制的意見》將數據進一步提升為生產要素之一。隨著數據入表工作的不斷推進,數據要素被視為推動數字經濟發展的“催化劑”,對價值創新和生產力提升產生了廣泛影響。2020年8月,國務院國資委發布的《關于加快推進國有企業數字化轉型工作的通知》對國有企業的數據治理也提出了明確的要求,拉開了企業數字要素治理的序幕。對于制造業企業來說,數據要素治理已逐步成為數字化轉型的關鍵要素之一。
隨著大數據技術的不斷發展和制造業企業中數據體量的與日俱增,如何進行有效管理和利用數據的研究需求也在不斷增加。企業擁有的數據資源需要通過數據治理,才能夠將數據要素轉化為生產要素,成為數據資產。近年來,隨著數據管理能力成熟度評估(DCMM)在制造業的推廣,不少企業意識到數據要素治理的重要性,這也標志著企業層面已經由理論研究付諸實踐行動,開始建立數據治理體系,并采取實際行動來提升數據治理能力。
在政策層面,我國多部門、多省市地區已經制定了數據要素治理的法規和標準,例如數據保護法、數據安全法、數據質量標準等。新的政策問題和挑戰也在不斷出現,例如數據歸屬權問題、如何保護數據隱私、如何確保數據安全、如何處理跨境數據流等。
在理論研究層面,國內外不少機構從不同層面提出過一些數據要素治理的基本框架和原則,包括數據質量管理、數據安全和隱私、數據生命周期管理等方面。但是,隨著企業側數據環境的不斷變化和復雜化,新的問題和挑戰也在不斷出現,例如,如何處理龐大的非結構化數據、實時數據的管理效率、大規模多源頭數據一致性問題等。
在實踐層面,許多制造業企業已經開始探索數據要素治理的路徑,并且取得了顯著的效果和影響。但是,數據要素治理的實踐還面臨許多挑戰。例如,如何制定和實施有效的數據要素治理策略、如何評估和改進數據要素治理的效果、如何保證數據質量和可用性、如何處理數據要素治理的技術和法律問題等。
在技術層面,已經有數據服務商開發了大量多場景下的數據要素治理工具和技術,并且已實現商業化應用。例如,數據質量監測工具、數據安全防護工具、數據一致性檢查工具和數據生命周期管理跟蹤工具等。但是,數據治理領域不斷涌現出新的應用需求,而技術工具的升級迭代速度無法及時跟上新需求的變化。
總的來說,數據要素治理領域理論和實踐已經取得了一定的成績,治理水平也在不斷躍升。但是,在制造業企業數字化轉型的大背景下,數據要素治理仍然面臨許多新問題和新挑戰,需要持續地進行研究和改進,以應對不斷變化和復雜化的數據環境。
二、制造業數據要素治理體系研究
數據要素治理是制造業企業實施數據管理的基礎,主要目標是保證數據的質量穩定、統一、安全和可獲取性。在充分保障底層數據安全、可靠、可用的前提下,才能進一步發揮數據作為企業核心驅動要素對業務發展的持續驅動作用。本文基于大中型制造業領域的數據要素治理現狀,梳理了當前數據要素治理的短板與瓶頸,并參考數據管理能力成熟度評估框架和數據管理協會(DAMA)對數據要素治理的框架,提出符合企業未來治理方向的制造業企業數據要素治理體系。
制造業數據要素治理體系主要包括以下7個治理域。
(1)治理策略和原則是企業數據治理的頂層規劃,需要在企業管理層面定義自身數據要素治理的目標、策略和原則,通常需要包括數據的范圍、所有權、責任、透明度、一致性、可用性等。
(2)數據質量管理是企業數據要素治理的核心部分,并且受多方面因素影響。比如源頭采集數據、多系統處理數據、數據集成共享調用、非結構化數據識別等都可能對數據質量產生較大影響。因此,需要制定和實施數據質量管理的立體化策略和深度流程管理。
(3)數據一致性是確保數據在不同系統和平臺中保持一致的狀態,需要通過數據結構化、標準化、集成共享、轉換調用等方法來實現。
(4)數據安全和隱私是數據治理的重要部分,涉及數據的保護、訪問控制、隱私保護等,需要制定和實施數據安全和隱私的策略和流程,例如數據加密、訪問控制、隱私保護等。
(5)數據可用性是確保數據可以被有效地存儲、檢索和使用,需要通過數據有效備份和快速恢復以及數據共享等多種方法來保障。
(6)數據生命周期管理是管理數據從數據的生成創建到應用管理再到歸檔銷毀的整個過程。每個過程都需要根據數據階段特性制定適用的管理原則和重點,才能保障數據全周期的合理化管理。
(7)治理度量和評估是評價數據治理效果的重要環節,也是完成數據要素治理閉環管理的關鍵一步,需要定義和收集數據治理的度量指標,例如數據質量指標、數據一致性指標、數據可用性等量化指標等,并通過定期的評估和審計來改進數據治理的效果。
三、數據要素治理體系治理域的應用分析
數據治理是指在組織內部建立一套系統化、組織化的方法來管理和優化數據資產,包括一系列策略、規則、程序、工具和角色,以提高數據的質量、安全性、一致性和合規性等。一些常見的數據治理策略和原則如下。
(1)數據所有權:每個數據元素都應有一個明確的所有者或責任人,負責管理和維護該數據元素。
(2)數據一致性:應確保在組織內部和組織之間,對同一數據元素的定義、格式和解釋是一致的。
(3)數據合規:應遵守相關的法律法規、標準和契約,以滿足監管要求和社會責任。
(4)數據價值:應優化數據的收集、存儲、使用和共享,以提高數據的價值和效益。
(5)數據文化:應培養組織和員工的數據意識、數據素養和數據行為,以形成良好的數據文化。
實施數據治理需要組織的領導支持,需要跨部門的協作參與,需要專業的技術支持,需要持續的改進過程。只有這樣,才能真正實現數據治理的目標,提高組織的數據能力,支持組織的業務戰略。
(二)數據質量管理
數據質量管理是數據治理的關鍵部分。數據質量管理的主要步驟和方法包括以下幾點。
(1)數據質量策略和規劃:首先,需要明確數據質量管理的目標和策略,以及如何實現這些目標。這可能包括定義數據質量的標準和指標,以及如何收集和分析數據質量的信息。
(2)數據質量評估:通過收集和分析數據質量的指標來衡量、監測數據質量的過程。
(3)數據清洗:數據清洗主要涉及識別并修正數據中的錯誤和不一致性,這是比較重要的步驟,只有高質量的數據才能幫助企業做出準確的決策和預測。數據清洗可以采用多種方法,如數據校驗、數據轉換和數據匹配等。
(4)數據質量改進:數據質量改進是通過改變數據的生成和處理過程來提高數據質量。這可能包括改進數據的收集和輸入過程,改進數據的處理和存儲過程,以及改進數據的使用和維護過程。
數據質量管理是一個持續提升的過程,需要持續地評估和改進。有效的數據質量管理可以提高數據的可用性和價值,支持更好的決策和操作。
(三)數據一致性
數據一致性是指在一個數據系統中,數據的各個存儲之間保持相似的狀態。在分布式系統中,數據一致性是一個核心的問題,因為數據的副本可能被同時在多個地點修改,這就需要一種機制來保證所有的副本都能反映出最新的修改。數據一致性可以從多個維度來考慮。
(1)強一致性是最可靠的一種模型,需要消耗大量資源進行保障。在數據進行任何更新操作后,所有的后續操作都能同步采用最新值。這種模型在理論上十分理想,但在實際的分布式系統中往往很難實現,因為需要在所有的數據副本之間進行頻繁的通信和同步更新。
(2)弱一致性模型無法保證所有的數據副本在同一調用時都能讀取最新值。這種模型在實際的分布式系統中較為常見,因為它可以減少系統的通信開銷,提高系統的性能。然而,這也給弱一致性模型也帶來了新的挑戰,例如如何處理數據的沖突和不一致。
(3)實際的分布式系統應用中最常見的是最終一致性模型。系統不是保證所有的數據副本都可以實時響應最新的更新,但是需要在所有操作完成以后,再進行所有的分布式數據的同步。例如,亞馬遜的 Dynamo系統就采用了最終一致性模型進行管理。
數據一致性的保證須依賴一系列的技術和策略,例如分布式鎖、版本控制、沖突解決算法等。在實際的系統設計中,需要根據系統的需求和特性,選擇合適的一致性模型和實現策略。
(四)數據可用性
數據可用性是數據管理的一個重要方面,它指的是數據是否可以被有效地存儲、檢索和使用。主要包括以下幾個方面。
(1)數據存儲和備份:主要關注數據物理存儲是否安全,備份數據是否有效,保證數據的物理安全不被破壞。數據備份至少應該涵蓋全量備份、增量備份以及異機異地備份等。
(2)數據恢復:在數據被破壞無法使用的情況下,須能夠將備份數據快速地恢復至正式系統中,以保證數據的可用性。
(3)數據訪問:數據須能夠被用戶和應用程序方便地訪問。這可能涉及數據的索引、查詢優化、數據接口等。
(4)數據共享:在組織內部,不同的部門和角色可能需要訪問和使用同樣的數據。
(五)數據安全和隱私
數據安全和隱私是數據存儲、處理和傳輸的重要保障。需要配置的關鍵數據安全措施有以下幾點。
(1)訪問控制:這是防止未經授權訪問的主要方法。訪問控制可能涉及用戶名和密碼認證、雙因素認證或多因素認證、角色基礎的訪問控制(RBAC)等。
(2)數據加密:數據加密是將數據轉換為無法被人理解的形式,只有擁有正確密鑰的人才能解密并訪問數據。數據應在存儲時(靜態加密)以及在傳輸過程中(傳輸加密)進行加密。
(3)網絡安全:網絡安全是防止網絡攻擊的重要保障,如部署安裝防火墻、入侵檢測系統、堡壘機、密碼機、上網行為管理和入侵預防系統等安全防護系統。
(4)數據隱私:數據隱私是保護個人數據不被未經授權使用的實踐,涉及數據加密、數據脫敏、數據偽裝、權限最小化等。
(5)安全審計和監控:定期進行安全審計并持續監控系統和網絡活動,可以幫助檢測和防止安全威脅。
(6)員工培訓和意識:員工是數據安全的重要環節。定期的安全培訓和意識教育可以幫助員工理解和遵守安全政策和程序,防止人為錯誤和內部威脅。
(六)數據生命周期管理
數據生命周期管理的核心目的是確保數據的可用性、完整性、安全性和合規性,同時提升數據的價值和降低數據的管理成本。數據生命周期管理的主要階段如下。
(1)數據創建是數據生命周期的開始,包括數據的生成、收集和輸入等活動。
(2)數據存儲是保持數據可用的關鍵階段,包括數據的保存、備份和復制等活動。在這個階段,需要考慮數據的存儲位置、存儲介質、存儲格式、存儲期限等因素。
(3)數據使用是實現數據價值的主要階段,包括數據的查詢、分析、處理和利用等活動。在這個階段,需要考慮數據的訪問權限、訪問頻率、訪問效率等因素。
(4)數據流通是擴大數據價值的重要階段,包括數據的交換、傳輸和發布等活動。在這個階段,需要考慮數據的共享方式、共享范圍、共享安全等因素。
(5)數據歸檔是延長數據價值的必要階段,包括數據的遷移、封存和檢索等活動。在這個階段,需要考慮數據的歸檔策略、歸檔條件、歸檔效果等因素 。
(6)數據銷毀是結束數據管理的最后一步,包括數據的清除和銷毀等活動。在這個階段,需要考慮數據的銷毀方法銷毀時間、銷毀確認等因素。此外,數據生命周期管理還需要進行數據審計和數據監控,以跟蹤數據的狀態和行為,評估數據的效果和風險。
(七)數據治理的度量評估指標
數據治理的度量評估指標是評估數據治理效果的關鍵,可以幫助企業理解數據治理的當前狀況,識別存在的問題,以及監控改進的效果,包括以下度量指標。
(1)數據治理策略和原則的指標主要是衡量企業用來構建數據治理的方向和治理的原則。例如,是否具備數據治理規劃、數據治理原則是否清晰、數據治理的責權劃分是否明確等。
(2)數據質量指標用來衡量數據的準確性、一致性和可信度等。例如,數據標準統一性、數據查詢響應時間、數據分析準確率、數據驅動決策的成功率、數據過時率和數據可信度評分等。
(3)數據一致性指標用來衡量數據統一可用的情況。例如,缺失數據的比例、誤差率或錯誤比例、重復數據比例等。
(4)數據可用性主要衡量數據是否可靠以及實時服務的可靠性等。例如,可用性百分比可以用于度量數據可用時間和系統停機時間的比率、數據恢復時間和數據恢復點目標(RTO和RPO)、數據訪問量、數據訪問速度和數據訪問錯誤率等指標。
(5)數據安全和隱私指標衡量數據的保密性和隱私性。例如,數據泄露事件數量、數據篡改事件數量、數據丟失事件數量、數據違規事件數量、數據合規性評分等。
(6)數據生命周期管理指標主要衡量數據從產生到使用再到歸檔銷毀的管理水平。例如,數據產生頻率、數據存儲空間利用率、數據交互共享調用頻次、數據銷毀合規性等。
除了以上基本的數據治理度量指標,其他指標需要根據企業的具體情況和目標來確定。
四、制造業企業數據要素治理應用案例分析
本文提出的制造業企業數據要素治理體系研究了未來制造業數據治理的方向和七個重點治理域。依據此框架,本文選取了某鋼鐵公司并對其數據進行治理,取得了較好的治理效果,達到了預期目標。
某鋼鐵公司是一家大型的民營鋼鐵聯合企業,其業務領域包括煉鐵、煉鋼、軋鋼、焦化、化工、物流、機械制造、科研和資本運作等多個方面。隨著信息化建設的不斷推進,公司內部擁有各類信息化系統上百余套,集成度不高,存在“數據孤島”。在集團層面,尚未建立統一的數據要素治理的目標原則和策略,數據管理的相應制度也尚未健全。數據質量、一致性、可用性、安全性以及生命周期都以散點管理方式散落在各個系統運維過程中。數據運維基本以“救火”狀態為主,缺乏統一的數據治理體系。
2022年開始,集團統一開展數據治理工作,建立起一套行之有效的數據治理體系。其數據要素治理框架。
公司采取了“頂層設計”與“局部實施”相互結合的策略,動員相關各方一起進行數據管理工作。鼓勵數據管理活動直接在一線信息系統和數據倉庫中進行,并在系統的全生命周期中嵌入,共同解決數據管理過程中存在的問題。從源頭提升數據資源的質量,讓所有參與方共享高質量的數據治理成果,打造一種“標準化、要素化、資產化”的新數據要素治理模式。主要工作如下。
(1)明確數據治理規劃與原則。公司建立了一個跨部門的數據要素治理組織,包括數據所有者、數據管理員和數據用戶,負責制定和執行數據要素治理策略和程序。在此基礎上,牽頭制定《集團數據戰略規劃》,從構建數據治理體系、改善數據質量、加強數據共享、促進業務協同、推動業務創新、支撐智能決策等方面明確了公司的數據戰略,通過大力推進工業互聯網建設實現從傳統制造向數字化制造的轉型,計劃利用5年左右使公司數據管理水平達到行業領先。
(2)制定公司級的數據質量標準。公司定義了數據元素的標準,編制形成統一的數據元某鋼鐵企業數據要素治理框架2024 年第04期第14 卷應用實踐 Application Practice60素字典,供全公司使用。構建公司級數據質量評估指標體系,設計數據質量評估分析報告,明確各專業數據質量基線閾值,制定各專業數據質量目標和提升計劃,數據質量日常管理,定期發布數據質量評估報告。
(3)數據一致性治理。數據一致性是數據治理體系中的核心任務,為構建企業數據架構體系提供基礎,并且是確保數據可用性的關鍵。企業開始創建數據資源目錄,對公司的數據資源進行層級劃分,同時開展數據標準、數據模型、元數據、指標數據、數據源和數據集成管理等相關工作。
(4)數據可用性。建立數據倉庫,并且逐步實現數據庫層級的國產替代。服務節點為平臺的服務運行容器,用于運行元數據采集、數據脫敏、數據質量檢查等服務。治理平臺提供工具可視化配置生成運行節點,支持星形、樹形、網狀的集群部署方式,滿足跨網段實時、批量的元數據采集,支持跨單位、跨區域的業務聯動。另一方面,通過建立數據模型提高數據可用性:邏輯模型涉及所有業務概念命名和數據規則的統一定義;物理模型是集團公司統建信息系統的物理模型快照,并形成統一的數據導圖。
(5)實施數據安全管理。公司組織實施了數據安全管理提升工作,包括數據的訪問控制、數據的加密、數據的備份和恢復等,保護數據元素的安全和隱私。同時,開展安全應用授權管理和安全策略管理。實施安全應用授權管理流程后,各類用戶想使用資源目錄中的各種數據時,通過對應的審批流程就可達到使用數據的目的;安全策略管理實現了數據在系統交互時候的控制措施管理,保證了數據共享與安全的平衡性。
(6)實施數據生命周期管理。公司發布的《數據需求管理規范》規定了公司內部數據需求的采集、驗證、匯總等相關工作,明確了過程中職責分工、工作流程及工作文檔模板。在數據項目需求分析階段,對數據需求與業務流程之間的關系進行詳細分析,明確數據的來源、獲取方式、編碼規則及與業務流程的對應關系。公司圍繞產品質量管理、鑄坯終判改造、煉鋼工藝數字化等業務流程,詳細分析了業務流程與數據管理的關系。從數據來源、數據導入途徑、數據的應用環節、數據需求的執行主體、編碼規則等逐一明確數據需求,確保數據需求與業務流程相匹配。公司充分考慮內部業務的數據使用情況、外部法律規章等因素,采集數據退役需求,綜合考量內外部監管要求并制定形成了《數據退役管理規范》,參考數據重要程度的分類,對數據源退役的類型、標準進行了規定。
(7)構建數據要素質量度量評價指標體系。指標體系的評估分析為公司數據要素質量提供了評價框架,同時也為數據管理的持續提升提供方向參考,具體指標體。
五、數據要素治理研究總結與展望
數據要素治理在制造業企業中扮演著至關重要的角色,是數據從簡單的代碼信息向數據資產轉變的關鍵步驟,同時也是數據驅動要素發揮其價值的必經之路。這種治理方式的實施,不僅可以提高數據的質量,保證數據的一致性,增強數據的安全性,提升數據的可用性,還可以確保數據的合規性。這些都是數據要素治理的基本目標,也是其核心價值所在。
數據要素治理的實施對企業運營效率的提升和成本降低、效益增加都有著深遠的影響。通過對數據的精細化管理,企業可以更好地理解數據,更有效地利用數據,從而提高決策的準確性,優化業務流程,提高運營效率。同時,高質量、一致性強、安全可靠、可用性高、合規的數據也可以幫助企業降低風險,減少不必要的損失,從而實現降本增效。
另外,數據要素治理還可以為企業的數據資產管理提供支持。通過對數據的全面、系統地管理,企業可以將數據真正轉化為可用的資產,從而為企業創造更大的價值。總的來說,數據要素治理是企業實現數據驅動、提高運營效率、降低成本、提升競爭力的重要工具和手段。
在數字經濟如火如荼的今天,制造業企業的數據必將成為數據治理的主戰場之一。在數據治理框架和模型方面,更加高效、靈活的數據治理框架和模型將會出現,以適應不同組織和管理需求;在智能化和自動化方面,數據治理技術與工具將會不斷迭代進步,為數據治理的效率和效果提供堅實的基礎保障;在數據治理的標準化和規范化方面,更多的數據治理標準規范和數據治理最佳實踐不斷涌現。