簡(jiǎn)介《主數(shù)據(jù)管理實(shí)踐白皮書(shū)2.0版》由中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會(huì)CCSA TC601于2023年12月發(fā)布面向企業(yè)數(shù)據(jù)管理者、數(shù)據(jù)架構(gòu)師與數(shù)據(jù)治理從業(yè)者系統(tǒng)闡述主數(shù)據(jù)的定義、特點(diǎn)、管理范圍及核心價(jià)值并涵蓋裝備制造、能源化工、金融、通信、地產(chǎn)、政府機(jī)構(gòu)等行業(yè)的落地實(shí)踐。資源為一份PDF電子文檔壓縮包僅1個(gè)文件大小6.21MB適合作為數(shù)據(jù)治理專題學(xué)習(xí)的便攜參考資料。白皮書(shū)在1.0版基礎(chǔ)上進(jìn)一步梳理了主數(shù)據(jù)識(shí)別、標(biāo)準(zhǔn)體系、管理制度、管理平臺(tái)和應(yīng)用方式并對(duì)編碼規(guī)范、分類體系、質(zhì)量與安全、集中式與聯(lián)邦式應(yīng)用等關(guān)鍵內(nèi)容展開(kāi)說(shuō)明同時(shí)提煉了主數(shù)據(jù)管理成功要素、常見(jiàn)誤區(qū)以及從自動(dòng)化到智能化的發(fā)展趨勢(shì)有助于讀者系統(tǒng)建立主數(shù)據(jù)管理框架。目前已有75人瀏覽學(xué)習(xí)可為正在規(guī)劃或優(yōu)化主數(shù)據(jù)體系的企業(yè)與個(gè)人提供參考。1. 主數(shù)據(jù)管理為什么一實(shí)體一編碼是整個(gè)數(shù)據(jù)治理的第一性原理做了幾年數(shù)據(jù)治理的人大概率都遇到過(guò)這樣一個(gè)荒誕場(chǎng)景同一個(gè)客戶在 CRM 里叫北京某科技有限公司在財(cái)務(wù)系統(tǒng)里叫北京某科技公司到了供應(yīng)鏈系統(tǒng)里變成了一串內(nèi)部代碼BJ-KJ-001。三個(gè)系統(tǒng)各自維護(hù)一份客戶檔案誰(shuí)都不認(rèn)誰(shuí)的賬。集團(tuán)月底對(duì)賬幾十個(gè)人撲在 Excel 里手工匹配越對(duì)越亂。這個(gè)問(wèn)題的根源不在數(shù)據(jù)質(zhì)量而在主數(shù)據(jù)管理——組織里那些被反復(fù)共享、跨系統(tǒng)跨流程復(fù)用的核心業(yè)務(wù)實(shí)體沒(méi)有被當(dāng)作獨(dú)立的資產(chǎn)來(lái)治理。白皮書(shū) 2.0 把一個(gè)反直覺(jué)的結(jié)論放在最前面主數(shù)據(jù)不是組織里所有的數(shù)據(jù)只是那些跨部門(mén)、跨業(yè)務(wù)、跨系統(tǒng)共享的最大公約數(shù)據(jù)。而主數(shù)據(jù)管理的終極目標(biāo)就是做到一實(shí)體一編碼——一個(gè)客戶一個(gè)碼、一個(gè)物料一個(gè)碼、一個(gè)供應(yīng)商一個(gè)碼。這個(gè)看似簡(jiǎn)單的約束決定了后面積分異構(gòu)系統(tǒng)、降低信息交互成本、支撐數(shù)據(jù)分析的全部可能性。理解主數(shù)據(jù)本質(zhì)上是在理解一個(gè)問(wèn)題為什么數(shù)據(jù)治理的抓手偏偏落在少數(shù)幾類基礎(chǔ)實(shí)體身上。2. 主數(shù)據(jù)識(shí)別與標(biāo)準(zhǔn)UC 矩陣和編碼規(guī)范如何把哪些數(shù)據(jù)值得管變成可判定的問(wèn)題2.1 主數(shù)據(jù)識(shí)別的三個(gè)硬條件核心對(duì)象、基礎(chǔ)數(shù)據(jù)、重復(fù)使用主數(shù)據(jù)管理的第一步不是建系統(tǒng)也不是定編碼而是回答一個(gè)更難的問(wèn)題哪些數(shù)據(jù)才是主數(shù)據(jù)白皮書(shū) 2.0 給出的判定標(biāo)準(zhǔn)非常收斂——一個(gè)對(duì)象要同時(shí)滿足三個(gè)特征才能被識(shí)別為主數(shù)據(jù)對(duì)象核心對(duì)象、基礎(chǔ)數(shù)據(jù)、重復(fù)使用。核心對(duì)象與組織業(yè)務(wù)經(jīng)營(yíng)直接相關(guān)的最關(guān)鍵對(duì)象比如客戶、產(chǎn)品、供應(yīng)商、賬戶、組織機(jī)構(gòu)、物料。基礎(chǔ)數(shù)據(jù)業(yè)務(wù)經(jīng)營(yíng)活動(dòng)發(fā)生的依托屬于支撐性的基礎(chǔ)信息而不是業(yè)務(wù)過(guò)程中產(chǎn)生的動(dòng)態(tài)記錄。重復(fù)使用被多個(gè)業(yè)務(wù)部門(mén)、多個(gè)業(yè)務(wù)系統(tǒng)之間共享。這三個(gè)條件我一般會(huì)這么理解它們本質(zhì)上是在過(guò)濾噪音。交易流水、賬單明細(xì)、傳感器日志這類數(shù)據(jù)雖然重要但它們不具備跨系統(tǒng)共享的屬性——它們是某個(gè)業(yè)務(wù)流程產(chǎn)生的結(jié)果而不是多個(gè)流程共同依賴的前提。主數(shù)據(jù)捕獲的是名詞諸如物品中文名稱企業(yè)注冊(cè)資金是相對(duì)靜止的明細(xì)數(shù)據(jù)捕獲的是動(dòng)詞諸如物流運(yùn)輸、訂單、售后記錄是實(shí)時(shí)變化的。這個(gè)名詞與動(dòng)詞的區(qū)分極其關(guān)鍵它解釋了為什么主數(shù)據(jù)系統(tǒng)要高于業(yè)務(wù)系統(tǒng)——名詞是所有動(dòng)詞句子的主語(yǔ)句子可以千變?nèi)f化但主語(yǔ)必須穩(wěn)定。2.2 UC 矩陣把共享性從定性描述變成可計(jì)算的判定特征判定聽(tīng)起來(lái)簡(jiǎn)單落到實(shí)際項(xiàng)目中就玄學(xué)了。重復(fù)使用怎么度量一個(gè)數(shù)據(jù)被兩個(gè)系統(tǒng)用算共享嗎被五個(gè)系統(tǒng)用呢白皮書(shū) 2.0 給出的方法是 UC 矩陣一種源自業(yè)務(wù)流程分析的系統(tǒng)關(guān)系判定工具。U 代表 Use使用C 代表 Create創(chuàng)建。把數(shù)據(jù)名稱放在行首、系統(tǒng)名稱放在列首某個(gè)系統(tǒng)創(chuàng)建了該數(shù)據(jù)就填 C使用了該數(shù)據(jù)就填 U既不創(chuàng)建也不使用就留空。以某金融企業(yè)為例對(duì)客戶數(shù)據(jù)做識(shí)別數(shù)據(jù)名稱核心系統(tǒng)人力資源系統(tǒng)信用卡系統(tǒng)零售信貸系統(tǒng)ECIF系統(tǒng)客戶數(shù)據(jù)UUU/UU/UC機(jī)構(gòu)數(shù)據(jù)UC//U員工信息/C//U存單信息//UU/這張表的解讀邏輯很簡(jiǎn)單看每一行的 C 和 U 分布。客戶數(shù)據(jù)只有一個(gè) CECIF系統(tǒng)創(chuàng)建但被核心系統(tǒng)、信用卡系統(tǒng)、零售信貸系統(tǒng)等多個(gè)系統(tǒng)使用U 的密度最高共享性最強(qiáng)應(yīng)該作為主數(shù)據(jù)管理。存單信息只有信用卡和零售信貸兩個(gè)系統(tǒng)在使用U 密度低更像明細(xì)數(shù)據(jù)不需要納入主數(shù)據(jù)范疇。UC 矩陣的價(jià)值在于把共享性這個(gè)抽象特征轉(zhuǎn)化為可以定量比較的指標(biāo)——統(tǒng)計(jì)每個(gè)數(shù)據(jù)對(duì)象對(duì)應(yīng)的 U 的數(shù)量、C 的數(shù)量按共享程度排序再結(jié)合唯一性、穩(wěn)定性、長(zhǎng)期性進(jìn)一步確認(rèn)。這套方法雖然原始但它給了數(shù)據(jù)治理一個(gè)可執(zhí)行的起點(diǎn)不是拍腦袋決定管什么而是用矩陣把數(shù)據(jù)的產(chǎn)生與消費(fèi)關(guān)系畫(huà)出來(lái)讓最大公約數(shù)據(jù)自己浮出水面。2.3 主數(shù)據(jù)標(biāo)準(zhǔn)四件套編碼規(guī)范、分類體系、描述與表達(dá)、質(zhì)量與安全識(shí)別出主數(shù)據(jù)對(duì)象之后緊接著的問(wèn)題是怎么讓各方對(duì)同一個(gè)實(shí)體保持一致的認(rèn)知這就進(jìn)入主數(shù)據(jù)標(biāo)準(zhǔn)的范疇。白皮書(shū) 2.0 把主數(shù)據(jù)標(biāo)準(zhǔn)拆成四個(gè)部分每一部分解決一個(gè)層面的一致性問(wèn)題。編碼規(guī)范解決的是唯一標(biāo)識(shí)問(wèn)題由編碼規(guī)則、編碼結(jié)構(gòu)、編碼字典三部分組成。編碼規(guī)則定義如何生成唯一編碼比如用數(shù)字、字母或組合編碼結(jié)構(gòu)定義編碼的組成部分和它們之間的關(guān)系編碼字典提供編碼的含義和解釋。常見(jiàn)的實(shí)現(xiàn)思路是層次編碼與順序編碼的組合-- 以物料編碼為例分類段(4位) 規(guī)格段(4位) 序列段(6位) -- 例如MAT-1001-AB12-000001 -- 創(chuàng)建編碼校驗(yàn)函數(shù) CREATE OR REPLACE FUNCTION validate_material_code(p_code VARCHAR(20)) RETURNS BOOLEAN AS $$ BEGIN -- 校驗(yàn)格式符合 3位前綴-4位分類-4位規(guī)格-6位序列 的規(guī)則 IF p_code !~ ^MAT-[0-9]{4}-[A-Z0-9]{4}-[0-9]{6}$ THEN RETURN FALSE; END IF; -- 校驗(yàn)序列段有實(shí)際值 IF RIGHT(p_code, 6) 000000 THEN RETURN FALSE; END IF; RETURN TRUE; END; $$ LANGUAGE plpgsql;這段校驗(yàn)邏輯背后的機(jī)制是編碼規(guī)范一旦定下來(lái)就變成了一個(gè)格式約束注入到主數(shù)據(jù)平臺(tái)的申請(qǐng)環(huán)節(jié)。任何人新建一個(gè)物料必須通過(guò)這個(gè)函數(shù)校驗(yàn)否則無(wú)法入庫(kù)。這就是編碼規(guī)范從紙面文檔變成系統(tǒng)強(qiáng)制的關(guān)鍵步驟——它不是寫(xiě)在制度里給人看的而是寫(xiě)進(jìn)校驗(yàn)規(guī)則里讓系統(tǒng)執(zhí)行的。分類體系解決的是組織問(wèn)題包含分類方法、分類層次、分類字典決定了同一組主數(shù)據(jù)在一級(jí)分類、二級(jí)分類下如何歸屬。描述與表達(dá)規(guī)范即主數(shù)據(jù)模型解決的是語(yǔ)義一致性問(wèn)題定義數(shù)據(jù)格式、字段描述、數(shù)據(jù)關(guān)系確保企業(yè)注冊(cè)資金這個(gè)字段在不同系統(tǒng)里長(zhǎng)度一致、精度一致、含義一致。質(zhì)量與安全規(guī)范則解決底線問(wèn)題規(guī)定準(zhǔn)確性、完整性、一致性、可用性等質(zhì)量要求以及訪問(wèn)控制、加密、備份等安全要求。四件套拆開(kāi)看各自獨(dú)立合在一起才構(gòu)成完整的標(biāo)準(zhǔn)化閉環(huán)。3. 主數(shù)據(jù)管理落地避坑五個(gè)高頻翻車現(xiàn)場(chǎng)與排查思路主數(shù)據(jù)管理這個(gè)領(lǐng)域理論框架看起來(lái)不復(fù)雜真正落地時(shí)翻車的頻率卻高得驚人。白皮書(shū) 2.0 在管理策略部分列出了幾條典型誤區(qū)我把它們展開(kāi)成可復(fù)現(xiàn)的踩坑記錄。每一條都是現(xiàn)象 → 原因 → 解決的結(jié)構(gòu)看完可以直接對(duì)照自家項(xiàng)目排查。誤區(qū)一主數(shù)據(jù)管理無(wú)法貫穿源頭系統(tǒng)現(xiàn)象主數(shù)據(jù)平臺(tái)建好了編碼規(guī)范也發(fā)布了但業(yè)務(wù)系統(tǒng)該用內(nèi)部編碼還是用內(nèi)部編碼主數(shù)據(jù)平臺(tái)成了一座孤島。數(shù)據(jù)不一致的問(wèn)題從三個(gè)系統(tǒng)各自為政變成四個(gè)系統(tǒng)各自為政。原因主數(shù)據(jù)管理的本質(zhì)是對(duì)源頭系統(tǒng)的改造但很多項(xiàng)目把它當(dāng)作一個(gè)獨(dú)立的平臺(tái)建設(shè)項(xiàng)目來(lái)推。源頭系統(tǒng)的數(shù)據(jù)入口沒(méi)有被管控主數(shù)據(jù)平臺(tái)的輸出就只是一份參考數(shù)據(jù)對(duì)生產(chǎn)系統(tǒng)沒(méi)有約束力。白皮書(shū)的說(shuō)法很直白主數(shù)據(jù)系統(tǒng)服務(wù)于但高于其他業(yè)務(wù)系統(tǒng)。如果組織不給主數(shù)據(jù)平臺(tái)這個(gè)高于的授權(quán)平臺(tái)再先進(jìn)也落不了地。解決在項(xiàng)目啟動(dòng)階段就明確主數(shù)據(jù)管理的管控邊界——哪些系統(tǒng)的哪些字段必須以主數(shù)據(jù)平臺(tái)為唯一來(lái)源。常見(jiàn)的實(shí)現(xiàn)思路是入口管控新客戶建檔必須調(diào)用主數(shù)據(jù)平臺(tái)接口查不到就新建新建完回傳主數(shù)據(jù)編碼不允許業(yè)務(wù)系統(tǒng)自行生成客戶編碼。這個(gè)約束要從制度和技術(shù)兩個(gè)層面同時(shí)落實(shí)制度上寫(xiě)明責(zé)任技術(shù)上封死繞過(guò)路徑。誤區(qū)二混淆業(yè)務(wù)實(shí)體數(shù)據(jù)和主數(shù)據(jù)范圍現(xiàn)象項(xiàng)目組討論主數(shù)據(jù)范圍時(shí)越擴(kuò)越大把訂單、交易流水、審批記錄全部納進(jìn)來(lái)主數(shù)據(jù)平臺(tái)的數(shù)據(jù)量暴漲但真正用于跨系統(tǒng)共享的核心實(shí)體反而被淹沒(méi)。建出來(lái)的主數(shù)據(jù)系統(tǒng)看起來(lái)更像一個(gè)數(shù)據(jù)倉(cāng)庫(kù)。原因主數(shù)據(jù)不是組織內(nèi)所有的數(shù)據(jù)只是有必要在各系統(tǒng)間共享的數(shù)據(jù)才是主數(shù)據(jù)。大部分交易數(shù)據(jù)、賬單數(shù)據(jù)都不是主數(shù)據(jù)。把動(dòng)態(tài)的明細(xì)數(shù)據(jù)當(dāng)作主數(shù)據(jù)來(lái)管既違背了主數(shù)據(jù)穩(wěn)定性、長(zhǎng)期性的特征也浪費(fèi)了管控資源——明細(xì)數(shù)據(jù)的變化頻率遠(yuǎn)高于主數(shù)據(jù)用管理主數(shù)據(jù)的流程去管理明細(xì)數(shù)據(jù)流程會(huì)卡死。解決回到 UC 矩陣方法對(duì)候選數(shù)據(jù)對(duì)象做共享性定量分析。U 密度低的數(shù)據(jù)一律排除。一個(gè)簡(jiǎn)單的手感如果一份數(shù)據(jù)描述的是某時(shí)刻發(fā)生的事情它不是主數(shù)據(jù)如果它描述的是一個(gè)持續(xù)存在的對(duì)象的狀態(tài)屬性它才有可能是主數(shù)據(jù)。誤區(qū)三同時(shí)維護(hù)多套主數(shù)據(jù)編碼體系現(xiàn)象集團(tuán)下屬的幾個(gè)子公司各自建了主數(shù)據(jù)編碼物料編碼、客戶編碼各有一套。集團(tuán)層面整合時(shí)發(fā)現(xiàn)同一個(gè)供應(yīng)商在 A 公司編碼是 00123在 B 公司編碼是 AB-T-456需要維護(hù)一張龐大的映射表才能對(duì)上賬。原因主數(shù)據(jù)管理的核心價(jià)值之一就是消除映射表。白皮書(shū)明確提出各系統(tǒng)交互數(shù)據(jù)時(shí)能直接使用主數(shù)據(jù)無(wú)需額外維護(hù)映射表和翻譯處理。多套編碼體系并存等于把主數(shù)據(jù)管理退回到了翻譯階段映射表的維護(hù)成本會(huì)隨著數(shù)據(jù)量增長(zhǎng)呈指數(shù)級(jí)上升。解決由集團(tuán)層面統(tǒng)一發(fā)布主數(shù)據(jù)編碼規(guī)范各子公司必須遵循。具體的實(shí)施策略可以借鑒離散型制造企業(yè)的兩級(jí)應(yīng)用模式集團(tuán)統(tǒng)一制定標(biāo)準(zhǔn)、統(tǒng)一編碼、統(tǒng)一發(fā)布成員單位對(duì)集團(tuán)管轄范圍內(nèi)的主數(shù)據(jù)只有使用權(quán)對(duì)管轄范圍外的數(shù)據(jù)可以自管。既有統(tǒng)一又有靈活度。誤區(qū)四組織內(nèi)主數(shù)據(jù)編碼沿用外部編碼現(xiàn)象直接把上游供應(yīng)商提供的編碼、外部權(quán)威機(jī)構(gòu)發(fā)布的編碼當(dāng)作內(nèi)部主數(shù)據(jù)編碼來(lái)用。外部編碼一旦調(diào)整或廢棄內(nèi)部系統(tǒng)全部受牽連。原因外部編碼服務(wù)于外部機(jī)構(gòu)的業(yè)務(wù)語(yǔ)境不一定滿足組織內(nèi)部跨系統(tǒng)共享的需求。白皮書(shū)指出主數(shù)據(jù)實(shí)體要求唯一的數(shù)據(jù)識(shí)別但這個(gè)唯一是相對(duì)于組織內(nèi)部的。沿用外部編碼等于把內(nèi)部主數(shù)據(jù)管理的穩(wěn)定性建立在了外部因素之上。解決內(nèi)部主數(shù)據(jù)編碼必須自成體系外部編碼可以作為屬性字段掛在主數(shù)據(jù)模型里但不能作為主鍵。這樣外部編碼怎么變不影響內(nèi)部系統(tǒng)的穩(wěn)定引用。誤區(qū)五將主數(shù)據(jù)作為孤立項(xiàng)目推行現(xiàn)象主數(shù)據(jù)系統(tǒng)上線后缺少持續(xù)的運(yùn)營(yíng)機(jī)制。數(shù)據(jù)質(zhì)量沒(méi)人考核編碼標(biāo)準(zhǔn)沒(méi)人維護(hù)組織架構(gòu)調(diào)整后認(rèn)責(zé)關(guān)系隨之失效。兩年后回頭看主數(shù)據(jù)平臺(tái)的數(shù)據(jù)又變得陳舊混亂。原因主數(shù)據(jù)管理不是一次性項(xiàng)目而是一套需要長(zhǎng)期運(yùn)轉(zhuǎn)的管理機(jī)制。白皮書(shū)提到主數(shù)據(jù)管理要覆蓋數(shù)據(jù)的申請(qǐng)、校驗(yàn)、審核、發(fā)布、維護(hù)、變更、停用等環(huán)節(jié)實(shí)現(xiàn)全生命周期管理。沒(méi)有流程、組織、績(jī)效考核配套支撐平臺(tái)就是個(gè)空殼。解決在項(xiàng)目規(guī)劃階段就把運(yùn)營(yíng)體系設(shè)計(jì)進(jìn)來(lái)——明確主數(shù)據(jù)管理組織哪個(gè)部門(mén)是權(quán)威數(shù)據(jù)源、明確工作流程申請(qǐng)、審核、發(fā)布的節(jié)點(diǎn)和角色、明確考核指標(biāo)規(guī)范性、完整性、準(zhǔn)確性、一致性、調(diào)用系統(tǒng)數(shù)量等。把主數(shù)據(jù)管理納入數(shù)據(jù)治理的常規(guī)運(yùn)營(yíng)節(jié)奏定期稽核、通報(bào)、整改。4. 主數(shù)據(jù)管理平臺(tái)與三種應(yīng)用模式從生命周期到集成服務(wù)的工程化拆解4.1 主數(shù)據(jù)管理平臺(tái)的九大能力不是一套軟件是一套管控邏輯白皮書(shū) 2.0 把主數(shù)據(jù)管理平臺(tái)的功能拆成九大模塊標(biāo)準(zhǔn)管理、編碼管理、建模管理、生命周期管理、集成管理、質(zhì)量管理、安全管理、工作流程管理、用戶權(quán)限管理。這九項(xiàng)拆開(kāi)看是功能清單合起來(lái)看是一套完整的管控邏輯。標(biāo)準(zhǔn)管理和編碼管理是地基對(duì)應(yīng)前面講的主數(shù)據(jù)標(biāo)準(zhǔn)四件套的落地標(biāo)準(zhǔn)管理負(fù)責(zé)維護(hù)編碼規(guī)范、分類體系、描述與表達(dá)規(guī)范的版本化發(fā)布編碼管理負(fù)責(zé)執(zhí)行編碼生成與校驗(yàn)確保一實(shí)體一編碼。建模管理解決的是數(shù)據(jù)模型設(shè)計(jì)問(wèn)題允許按照不同主數(shù)據(jù)對(duì)象的特征定制屬性字段和關(guān)系。生命周期管理是核心覆蓋主數(shù)據(jù)從申請(qǐng)、校驗(yàn)、審核、發(fā)布、維護(hù)、變更到停用的全過(guò)程。生命周期管理在實(shí)現(xiàn)上通常走流程引擎申請(qǐng)業(yè)務(wù)系統(tǒng)提交主數(shù)據(jù)新增/變更請(qǐng)求 → 校驗(yàn)格式校驗(yàn) 去重校驗(yàn) 業(yè)務(wù)規(guī)則校驗(yàn) → 審核數(shù)據(jù)管理部門(mén)審核 業(yè)務(wù)歸屬部門(mén)審核 → 發(fā)布生成主數(shù)據(jù)編碼同步到全量訂閱系統(tǒng) → 維護(hù)屬性修正、狀態(tài)更新 → 停用標(biāo)記失效保留歷史引用關(guān)系這個(gè)流程中有兩個(gè)很容易被忽略的細(xì)節(jié)。第一校驗(yàn)必須包含去重邏輯——不是簡(jiǎn)單地查有沒(méi)有相同的編碼而是查有沒(méi)有相同業(yè)務(wù)含義的實(shí)體。比如新增客戶時(shí)系統(tǒng)要按統(tǒng)一社會(huì)信用代碼或企業(yè)名稱模糊匹配已有的主數(shù)據(jù)記錄如果已存在則直接返回已有編碼而不是再生成一個(gè)新碼。這是一實(shí)體一編碼的技術(shù)保障。第二發(fā)布動(dòng)作必須聯(lián)動(dòng)集成管理同步到所有訂閱系統(tǒng)而不是只在平臺(tái)內(nèi)部生效。主數(shù)據(jù)只有被消費(fèi)才有價(jià)值。集成管理解決的是數(shù)據(jù)同步問(wèn)題常見(jiàn)的有實(shí)時(shí)接口ESB/消息隊(duì)列和批量導(dǎo)入兩種方式。金融行業(yè)的做法很有代表性渠道系統(tǒng)負(fù)責(zé)采集數(shù)據(jù)中心系統(tǒng)統(tǒng)一集成實(shí)時(shí)廣播用數(shù)業(yè)務(wù)系統(tǒng)訂閱廣播信息同步數(shù)據(jù)。這種采集-集成-廣播-訂閱的架構(gòu)本質(zhì)上是把主數(shù)據(jù)當(dāng)作一個(gè)消息源來(lái)運(yùn)營(yíng)保證數(shù)據(jù)變更在秒級(jí)內(nèi)觸達(dá)所有消費(fèi)方。質(zhì)量管理負(fù)責(zé)監(jiān)控六性——規(guī)范性、完整性、準(zhǔn)確性、一致性、及時(shí)性、可用性并生成質(zhì)量報(bào)告驅(qū)動(dòng)整改。安全管理與用戶權(quán)限管理則保障主數(shù)據(jù)只能被有權(quán)限的角色和系統(tǒng)訪問(wèn)避免核心實(shí)體數(shù)據(jù)泄露和未授權(quán)修改。4.2 三種應(yīng)用模式集中式、聯(lián)邦式與分析式的不同哲學(xué)平臺(tái)建好之后主數(shù)據(jù)如何被業(yè)務(wù)系統(tǒng)使用白皮書(shū) 2.0 給出了三種應(yīng)用模式我一般會(huì)這樣理解它們的技術(shù)取舍。集中式應(yīng)用是最嚴(yán)格的模式所有主數(shù)據(jù)統(tǒng)一存儲(chǔ)在主數(shù)據(jù)平臺(tái)業(yè)務(wù)系統(tǒng)不維護(hù)自己的主數(shù)據(jù)副本需要時(shí)實(shí)時(shí)調(diào)用平臺(tái)接口獲取。它的優(yōu)勢(shì)是數(shù)據(jù)高度一致沒(méi)有副本就沒(méi)有不一致的可能。代價(jià)是業(yè)務(wù)系統(tǒng)對(duì)網(wǎng)絡(luò)的依賴性強(qiáng)接口性能和可用性要求極高。適合管控需求強(qiáng)、系統(tǒng)數(shù)量可控的組織典型的如金融行業(yè)以客戶信息管理系統(tǒng)為中心的集中式管理架構(gòu)。聯(lián)邦式應(yīng)用是折中模式業(yè)務(wù)系統(tǒng)可以保留本地副本但主數(shù)據(jù)平臺(tái)是權(quán)威數(shù)據(jù)源通過(guò)集成機(jī)制把數(shù)據(jù)變更同步到各系統(tǒng)副本。這對(duì)應(yīng)離散型制造企業(yè)的兩級(jí)部署形態(tài)——集團(tuán)主數(shù)據(jù)系統(tǒng)兩級(jí)部署、集團(tuán)集中管控和成員單位多方接入。好處是各系統(tǒng)讀的是本地副本性能有保障代價(jià)是同步鏈路增加了數(shù)據(jù)不一致的風(fēng)險(xiǎn)窗口需要做變更稽核來(lái)兜底。這種模式適合多業(yè)態(tài)集團(tuán)集團(tuán)管總、成員單位管分標(biāo)準(zhǔn)統(tǒng)一與局部靈活兼得。分析式應(yīng)用不直接服務(wù)業(yè)務(wù)系統(tǒng)而是面向分析場(chǎng)景主數(shù)據(jù)平臺(tái)為數(shù)據(jù)倉(cāng)庫(kù)、BI 系統(tǒng)提供一致的維度數(shù)據(jù)確保不同主題域分析時(shí)客戶維度、產(chǎn)品維度、機(jī)構(gòu)維度口徑一致。分析式應(yīng)用是容易被忽視的部分——很多組織把主數(shù)據(jù)管理等同于業(yè)務(wù)系統(tǒng)集成忽略了它作為分析數(shù)據(jù)基石的作用。通信行業(yè)定期開(kāi)展主數(shù)據(jù)稽核對(duì)主數(shù)據(jù)總量、新增量、調(diào)用系統(tǒng)數(shù)量、規(guī)范性、完整性、準(zhǔn)確性、一致性進(jìn)行考核評(píng)價(jià)本質(zhì)上就是把分析式應(yīng)用納入常態(tài)化管理的范例。4.3 行業(yè)差異背后的管控哲學(xué)為什么各家做法不一樣白皮書(shū) 2.0 用了大量篇幅描述各行業(yè)的主數(shù)據(jù)管理實(shí)踐。表面上看是行業(yè)特色底層其實(shí)是管控強(qiáng)度和數(shù)據(jù)特性的不同組合。能源化工行業(yè)的強(qiáng)管控與弱管控模式對(duì)比最有啟發(fā)。強(qiáng)管控模式下集團(tuán)制定統(tǒng)一標(biāo)準(zhǔn)并要求下屬企業(yè)按規(guī)范執(zhí)行并上報(bào)數(shù)據(jù)集團(tuán)擁有管理權(quán)限進(jìn)行集中管控適合集團(tuán)財(cái)務(wù)、人力資源和供應(yīng)鏈集中管理的場(chǎng)景。弱管控模式下集團(tuán)只做財(cái)務(wù)合并不干預(yù)下屬企業(yè)的人財(cái)物產(chǎn)供銷數(shù)據(jù)權(quán)限下放到各企業(yè)集團(tuán)可能只制定統(tǒng)一的會(huì)計(jì)科目規(guī)范。這兩種模式的選擇本質(zhì)上取決于集團(tuán)和成員單位之間的業(yè)務(wù)耦合度——財(cái)務(wù)合并只需要會(huì)計(jì)科目一致供應(yīng)鏈協(xié)同則需要物料編碼一致。管控模式不與技術(shù)先進(jìn)性掛鉤只與業(yè)務(wù)需求的剛性程度掛鉤。通信行業(yè)的注冊(cè)、審批、報(bào)備三級(jí)管理方法也值得一提。注冊(cè)對(duì)應(yīng)低風(fēng)險(xiǎn)高共享數(shù)據(jù)流程最輕量審批對(duì)應(yīng)高影響數(shù)據(jù)需要嚴(yán)格審核報(bào)備對(duì)應(yīng)事后監(jiān)督數(shù)據(jù)允許先使用后登記。這套分類是根據(jù)主數(shù)據(jù)對(duì)象的穩(wěn)定性、業(yè)務(wù)影響程度、共享調(diào)用頻率等因素綜合確定的。政務(wù)領(lǐng)域的主數(shù)據(jù)管理則依托基礎(chǔ)庫(kù)、主題庫(kù)兩類資源庫(kù)建設(shè)資源庫(kù)上接國(guó)家、下通市州、橫聯(lián)廳局集數(shù)據(jù)歸集、治理、管理、應(yīng)用、共享、開(kāi)放于一體。不同行業(yè)的差異說(shuō)明一個(gè)道理主數(shù)據(jù)管理的架構(gòu)設(shè)計(jì)沒(méi)有標(biāo)準(zhǔn)答案但判定邏輯是共通的——圍繞共享頻度、管控力度與數(shù)據(jù)特性三者做取舍。5. 從主數(shù)據(jù)與周邊數(shù)據(jù)的關(guān)系看未來(lái)演進(jìn)的方向與取舍5.1 名詞與動(dòng)詞主數(shù)據(jù)、元數(shù)據(jù)、明細(xì)數(shù)據(jù)、參考數(shù)據(jù)的邊界直覺(jué)主數(shù)據(jù)管理容易混淆的另一組概念是它和元數(shù)據(jù)、參考數(shù)據(jù)的關(guān)系。白皮書(shū) 2.0 的劃分邏輯值得反復(fù)琢磨。元數(shù)據(jù)是關(guān)于數(shù)據(jù)的描述性信息提供數(shù)據(jù)的定義、結(jié)構(gòu)、來(lái)源、格式等說(shuō)明是數(shù)據(jù)的數(shù)據(jù)說(shuō)明書(shū)。主數(shù)據(jù)包含實(shí)際的業(yè)務(wù)實(shí)體信息是業(yè)務(wù)活動(dòng)和決策的基礎(chǔ)。兩者是互為表里的關(guān)系——元數(shù)據(jù)描述主數(shù)據(jù)的屬性、類型、來(lái)源、創(chuàng)建日期幫助理解和管理主數(shù)據(jù)主數(shù)據(jù)則承載元數(shù)據(jù)所描述的實(shí)質(zhì)內(nèi)容。從這個(gè)角度理解元數(shù)據(jù)與主數(shù)據(jù)是數(shù)據(jù)治理的一體兩面主數(shù)據(jù)平臺(tái)的建模管理在落地時(shí)必然產(chǎn)生元數(shù)據(jù)而元數(shù)據(jù)管理又是主數(shù)據(jù)標(biāo)準(zhǔn)持續(xù)維護(hù)的依據(jù)。參考數(shù)據(jù)是主數(shù)據(jù)的一種特殊子集。參考數(shù)據(jù)是定義其他數(shù)據(jù)字段使用的一組允許值比如國(guó)家代碼、幣種代碼、訂單狀態(tài)枚舉通常包含附加的文本描述。主數(shù)據(jù)與參考數(shù)據(jù)都是為業(yè)務(wù)數(shù)據(jù)的創(chuàng)建和使用提供上下文語(yǔ)境但參考數(shù)據(jù)的范圍更窄價(jià)值密度更集中。真正難處理的是與明細(xì)數(shù)據(jù)的邊界——明細(xì)數(shù)據(jù)是動(dòng)詞主數(shù)據(jù)是名詞這個(gè)區(qū)分在前面章節(jié)已經(jīng)講過(guò)但它有一個(gè)值得延伸的推論主數(shù)據(jù)管理的未來(lái)必然要處理更多半名詞半動(dòng)詞的復(fù)雜對(duì)象。一個(gè)設(shè)備同時(shí)有靜態(tài)屬性型號(hào)、供應(yīng)商、安裝位置和動(dòng)態(tài)狀態(tài)運(yùn)行溫度、負(fù)載率哪些屬性應(yīng)該進(jìn)主數(shù)據(jù)哪些應(yīng)該留給明細(xì)數(shù)據(jù)這不是概念問(wèn)題而是模型設(shè)計(jì)問(wèn)題。5.2 從四大演進(jìn)方向看設(shè)計(jì)取舍主數(shù)據(jù)管理正在從管數(shù)據(jù)走向管對(duì)象關(guān)系白皮書(shū) 2.0 在展望部分提出四個(gè)演進(jìn)方向從結(jié)構(gòu)化到非結(jié)構(gòu)化、從自動(dòng)化到智能化、從組織級(jí)到行業(yè)級(jí)、從有到無(wú)。這四個(gè)方向看起來(lái)是趨勢(shì)預(yù)測(cè)實(shí)際上反映了主數(shù)據(jù)管理底層邏輯的四次轉(zhuǎn)向。從結(jié)構(gòu)化到非結(jié)構(gòu)化意味著主數(shù)據(jù)的對(duì)象范圍要從客戶、物料、賬戶擴(kuò)展到文檔、圖片、音視頻中的核心實(shí)體信息。這里的取舍是非結(jié)構(gòu)化數(shù)據(jù)的實(shí)體抽取當(dāng)前仍然有準(zhǔn)確率上限把抽取結(jié)果直接當(dāng)作權(quán)威主數(shù)據(jù)使用會(huì)有風(fēng)險(xiǎn)——更穩(wěn)妥的做法是抽取結(jié)果先進(jìn)入候選池經(jīng)過(guò)審核再發(fā)布把 AI 的能力局限在輔助識(shí)別置信判斷仍然留給人工。從自動(dòng)化到智能化對(duì)應(yīng)的是主數(shù)據(jù)質(zhì)量監(jiān)控從規(guī)則校驗(yàn)走向機(jī)器學(xué)習(xí)異常識(shí)別但智能化的前提是足夠的歷史質(zhì)量數(shù)據(jù)積累沒(méi)有標(biāo)注數(shù)據(jù)的組織直接上模型只會(huì)收獲一堆誤報(bào)。從組織級(jí)到行業(yè)級(jí)意味著主數(shù)據(jù)標(biāo)準(zhǔn)的制定主體從單個(gè)企業(yè)上升到行業(yè)組織這對(duì)標(biāo)準(zhǔn)的管理機(jī)制提出了更高要求——跨企業(yè)的認(rèn)責(zé)、稽核、爭(zhēng)議仲裁如何設(shè)計(jì)目前還在探索期。從有到無(wú)指的是主數(shù)據(jù)作為一種獨(dú)立可見(jiàn)的管理對(duì)象逐漸融入到數(shù)據(jù)底座中變成水一般的基礎(chǔ)設(shè)施——這恰恰是主數(shù)據(jù)管理成熟度最高的形態(tài)而不是主數(shù)據(jù)概念的消亡。這些方向都暗示同一個(gè)設(shè)計(jì)取舍主數(shù)據(jù)管理越成熟管控應(yīng)該越隱形。管控體現(xiàn)在每一次編碼申請(qǐng)的校驗(yàn)里、每一條同步消息的廣播里、每一個(gè)質(zhì)量指標(biāo)的監(jiān)控里而不是體現(xiàn)為一個(gè)需要業(yè)務(wù)側(cè)反復(fù)配合的流程負(fù)擔(dān)。做過(guò)主數(shù)據(jù)項(xiàng)目的開(kāi)發(fā)者大都有類似的體會(huì)主數(shù)據(jù)管理最好的狀態(tài)是業(yè)務(wù)系統(tǒng)感知不到它的存在卻離不開(kāi)它的約束。從我個(gè)人的習(xí)慣來(lái)說(shuō)每次設(shè)計(jì)主數(shù)據(jù)集成方案我都會(huì)強(qiáng)制把鏈路失敗時(shí)數(shù)據(jù)如何恢復(fù)和數(shù)據(jù)不一致時(shí)由誰(shuí)負(fù)責(zé)糾正這兩個(gè)問(wèn)題過(guò)一遍——前者看同步機(jī)制的兜底設(shè)計(jì)后者看認(rèn)責(zé)體系的真實(shí)落地。這兩個(gè)問(wèn)題問(wèn)不清楚的項(xiàng)目代碼寫(xiě)得再漂亮上線后也免不了踩坑。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取