體系建設四階段,1-3-3-3十步法
既參考了國內外數據治理最佳實踐,也對過去17年典型案例項目的實踐經驗進行了提煉和總結,遵循“共建、共治、共用、共安”原則,從搭建一體化數據治理與服務平臺入手,同時開展數據現狀盤點及體系編制工作,通過以用代管、以管帶安的方法,基于一體化數據治理與服務平臺實施數據管和安的工作,促進數據合規、安全使用,實現了數據實體、標準與規范、組織和人、及服務的融合。在交換、匯聚、關聯、融合、共享等的數據流通過程中將原始數據轉化成數據資源,讓數據產生價值。這過程我們稱為“體系建設四階段,1333十步法”。
第一階段、搭建平臺
第1步.搭平臺、數聯網
一體化數據治理與服務平臺是功能全面且融通,無坑“平”臺,從數據治理→建立業務模型(含數據標準、業務規則)→生成數據匯集、融合、質檢、脫敏、交換共享等數據服務,做相應數據處理→可視化數據運維的全面的功能。
1) 提供數據梳理工具及模板,方便業務人員敏捷開展數據梳理活動。
2) 提供可視化數據管理,建立完整的包含數據標準、安全、質量、規則、確權、標簽、來源等的數據模型。
3) 基于數據模型定義的數據標準、安全、業務規則生成數據匯聚/交換/加工/質量/脫敏/共享等數據服務,實現業務規則與數據服務深度融合。
4) 可視化數據運維,全景式展示業務應用涉及數據實體流轉、關鍵數據項變化、模型、質量、安全、標準、來源、確權等;能查看數據流轉血緣、運行狀態查看、運行操作、數據對賬、明細日志等。提供包含數據架構、質量、安全等的數據運維報告。
5) 建立數據安全開放體系,選擇數據資源目錄中的相關數據實體和數據項生成數據開放共享目錄,通過數據門戶開放數據資源;根據用戶申請的數據實體和數據項生成共享數據服務,通過安全數據服務流程管理機制,實現數據開放共享的安全管理。
基于插座式架構的一體化數據治理與服務平臺支持分布式部署模式,集團、區域、廠側共建一體化數據治理與服務平臺,可將海量、多源、異地、異構數據聯接在一起,形成數聯網,實現全集團數據層面的“共建、共治、共用、共安”。
第二階段、數據咨詢
第2步.拆目標,畫藍圖
1) 按照客戶需求拆解任務目標,建議按照業務條線進行拆解,采用周期循環迭代的方式按節奏推進。
2) 根據目標拆解任務,繪制項目藍圖,明確時間節點。
第3步.盤數據、理現狀
1) 通過原始數據盤點,梳理集團公司信息系統的數據模型、數據分布、數據集成等數據現狀。
2) 依據集團公司業務和數據現狀,劃分數據主題域。
3) 基于業務流程,梳理數據實體信息,編制集團原始數據目錄。
第4步.認權責、建制度
1) 提出數據治理組織方案,明確各方職責與分工。
2) 編制集團公司數據治理的制度政策文件,明確數據認責機制。
3) 優化數據治理流程,保障數據治理工作正常運行。
第三階段、數據治理
第5步.定標準、導規則
1) 標準管理,定義數據標準,明確數據術語、數據標準或者參考數據、定義標準數據元、定義指標等。
2) 安全管理,定義數據安全,定義安全分級分類、定義脫敏項及相應的安全脫敏策略等。
3) 規則管理,可以根據數據實體模型中的的標準、安全定義,導出數據質檢、清洗、轉換、脫敏等處理的業務規則模型;也可以根據具體的業務特點定義業務規則模型。
第6步.提治理、促安全
l 數據落標處理
1) 數據落標處理,定義數據落標處理服務,引入該數據標準的清洗規則、轉換規則,實現對數據庫、表、文件、接口等的數據落標處理,并記錄下不滿足條件的問題數據。
2) 問題數據處理,查看根據問題數據清單,根據數據確權實現問題數據派活,方便數據操作者修改問題數據。
3) 持續增量落標,提供增量的數據落標服務,根據項目的不同特點,選擇不同的數據落標處理服務。
l 數據質量處理
1) 數據質檢處理,定義數據質量檢測服務,引入數據質量檢測規則,實現對數據庫、表、文件、接口等的數據質檢處理。
2) 問題數據處理,生成問題數據清單,可以查看具體問題數據,并根據數據確權實現問題數據派活,方便數據操作者修改問題數據。
3) 數據質量報告及數據質量評估,生成數據質量報告,實現對業務部門、業務系統、業務庫表等的質量評估和考核。
4) 持續提升數據質量,提供增量的數據質檢服務,持續實現數據質量的檢測、問題數據處理、數據質量報告和評估及考核。
l 數據安全處理
1) 數據脫敏處理,定義數據脫敏服務,引入數據脫敏規則,實現對數據庫、表、文件、接口等的數據脫敏處理。
2) 數據安全共享管理,根據數據實體的安全定義,對數據服務、數據授權
3) 安全審計。
第7步.建模型、接數據
l 數據建模
1) 建立數據實體的數據模型,根據數據實體的結構、約束關系等建立包含編目、安全、標準、來源、確權、標簽、質量、規則八個維度的數據模型。
2) 邏輯模型管理,根據數據實體模型,生成邏輯模型,可以將邏輯模型物理化到不同的數據庫中。
l 數據匯集
1) 數據匯集處理,定義數據匯集服務,根據數據實體的數據來源,引入該數據匯集服務的映射規則、清洗規則、轉換規則等,實現對數據庫、表、文件、接口等的數據匯集處理。
l 數據交換協同
1) 數據交換處理,定義數據交換服務,引入該數據交換服務的清洗規則、轉換規則、路由規則,實現對數據庫、表、文件、接口等的數據交換處理。
2) 數據協同處理,基于業務流程或應用構建業務鏈全景數據視圖,明確數據實體、來源、處理規則,數據變化關系等、生成處理運行任務,實現業務流、數據流、處理流三流合一,通過數據流轉運行分析,優化業務流程。
第四階段、利用數據
第8步.上門戶、通服務
l 數據門戶
1) 選擇數據資源目錄中的相關數據實體和數據項生成數據開放共享目錄,通過數據門戶開放數據資源。
2) 根據用戶申請的數據實體和數據項生成共享數據服務,通過安全數據服務流程管理機制,實現數據開放共享的安全管理。
3) 數據防擴散,采用隱式計算和數據防擴散機制。
l 數據服務總線
1) 數據共享處理,定義數據共享服務,根據數據實體的數據來源,引入該數據匯集服務的映射規則、清洗規則、轉換規則、脫敏規則等,實現對數據庫、表、文件、接口等的數據共享處理。
2) 授權和訪問控制,根據數據的安全定義,對共享單位和用戶授權。
第9步.業數融、生圖譜
l 業數融合
1) 基于業務流程或應用構建業務鏈全景數據視圖,形成業務流程的數據BOM,明確數據實體、來源、處理規則,數據變化關系等、生成處理運行任務,實現業務流、數據流、處理流三流合一,通過數據流轉運行分析,優化業務流程
2) 根據實體模型關鍵數據項在不同部門、信息系統間流轉、變化情況生成業務鏈全景數據視圖,全景式展示業務應用涉及數據實體流轉、關鍵數據項變化、模型、質量、安全、標準、來源、確權等,形成跨系統、跨部門、跨層級等閉環的業務流程,實現業務流、數據流、信息流的深度融合,完成數據資產到生產要素的轉變,提升數據價值。
l 數據加工分析
1) 根據業務邏輯或數據分析優化關系建立加工分析模型,能夠以“一張圖”的方式直觀的展現數據來源(數據源有可能是異構的、異地的、或通過多方安全計算處理后同步過來的)、經過數據匯聚、交換、加工、質檢、隱私計算等處理后形成的分析處理結果,并能夠展示相應物理實體表的模型、數據的血緣關系等信息。
l 數據圖譜
1) 通過圖譜建模可視化拖拽的方式建立實體表間的關聯關系,并能夠自動生成圖譜數據處理服務,通過手動或定時運行將數據按照圖譜關系裝載至圖數據庫中。
2) 圖譜關系及數據裝載完成后,通過平臺可視化界面以“所見即所得”的方式進行數據圖譜展示,以量化的方式展示數據間的關系及相關數據內容,為數據的優化分析、價值鏈的優化提升提供量化依據。
第10步.數驅動、助業務
按照數據驅動方法論,循環迭代,持續提升。
1) 了解數據及其關系;
2) 數據建模和治理處理,關聯原始數據,形成數據資源;
3) 根據業務邏輯打通數據實體關系;
4) 數據賦能(業務流與數據流融合);
5) 持續提升、優化系統。

