尧图网站建设 
专栏回顾 前十一期我们系统构建了数据治理的完整体系——从认知框架、战略蓝图、组织架构、制度体系、运营机制到数据标准、元数据、数据目录、数据血缘。这些能力共同构成了企业数据治理的“基础设施”。然而在数据治理的众多领域中有一个主题始终处于核心位置——主数据管理。如果说数据治理是“地基”那么主数据就是地基上的“承重墙”。没有高质量的主数据客户画像无法统一、供应链无法协同、财务报表无法准确。本期我们将系统阐述主数据管理的核心认知深入剖析主数据的范围、单一视图的价值、唯一来源原则帮助企业理解为什么主数据是数据治理的“第一优先级”。一、主数据数据世界的“黄金资产”1.1 什么是主数据在数据管理的众多概念中主数据Master Data常常被误解和混淆。让我们从最基础的定义开始主数据是描述企业核心业务实体的数据这些实体是企业业务运作的基础并在跨业务、跨系统、跨流程中被重复使用。核心特征业务核心描述企业最核心的业务对象跨系统共享被多个业务系统使用相对稳定变化频率低于交易数据高价值数据质量直接影响业务决策和运营效率1.2 主数据 vs. 其他数据类型数据类型定义示例特点主数据描述业务核心实体客户、产品、供应商、组织、员工、物料跨系统共享相对稳定高价值交易数据记录业务活动订单、发票、发货单、付款记录高频变化量大有时间属性参考数据定义代码和分类国家代码、行业分类、产品类别相对静态标准化的取值集合元数据描述数据的数据表结构、字段定义、数据血缘描述其他数据的结构和关系一个形象的类比主数据 剧本的“核心角色”客户、产品、供应商是数据世界的“主角”交易数据是“剧情”——主角在不同场景下的行为下单、付款、收货参考数据是“剧本设定”——角色的分类、属性定义元数据是“导演脚本”——描述如何拍摄、如何呈现1.3 主数据的核心价值价值维度说明业务收益统一业务语言所有系统使用统一的客户、产品定义消除“一个客户多个身份”的混乱提升运营效率减少数据重复录入和核对工作订单处理时间缩短30%以上支持精准决策基于统一的客户、产品视图进行分析客户360°画像精准营销降低合规风险统一的供应商、客户管理规避供应商风险、客户信用风险加速数字化转型为数据中台、数据湖提供高质量核心数据降低数据集成成本加速应用开发二、主数据的范围五大核心域根据行业实践主数据通常涵盖五大核心域我称之为“主数据五大金刚”。2.1 客户主数据定义描述与企业建立业务关系的个人或组织的信息。核心属性属性类别具体内容基础信息客户名称、客户编号、客户类型个人/企业、证件类型、证件号码联系方式电话、邮箱、地址、邮编、联系人分类信息客户行业、客户规模、客户等级、市场细分信用信息信用额度、信用等级、账期、风险等级关系信息所属集团、关联客户、客户层级管理难点同一客户在不同系统中以不同名称、不同编号存在重复识别客户信息分散在CRM、ERP、客服系统难以形成统一视图客户信息变更如企业更名需要同步到所有系统行业差异行业客户主数据特点B2B制造关注企业资质、信用额度、行业分类、采购规模零售关注个人消费者、会员等级、消费偏好、联系方式金融关注身份信息、信用记录、风险等级、资产信息2.2 产品主数据定义描述企业提供的产品或服务的信息。核心属性属性类别具体内容基础信息产品名称、产品编码、产品型号、产品描述分类信息产品线、产品大类、产品中类、产品小类规格属性规格参数、计量单位、包装规格、重量、尺寸销售属性销售价格、成本价格、毛利率、销售状态生产属性BOM结构、生产工艺、原材料清单管理难点产品编码不统一——销售用SKU、生产用物料号、财务用产品代码产品属性复杂——不同品类有不同的属性集产品生命周期管理——新品上市、老品退市需要多系统同步行业差异行业产品主数据特点制造关注BOM结构、物料清单、生产工艺、库存单位零售关注SKU、条码、规格、品牌、价格、促销属性制药关注批号、有效期、GMP合规、监管备案号2.3 供应商主数据定义描述为企业提供产品或服务的组织的信息。核心属性属性类别具体内容基础信息供应商名称、供应商编码、统一社会信用代码、法人代表资质信息资质证书、认证等级、资质有效期合作信息合作开始日期、合作品类、供货区域、付款条件绩效信息质量评分、交付及时率、价格竞争力风险信息风险等级、黑名单标识、诉讼记录管理难点供应商准入流程复杂资质文件管理繁琐供应商绩效评估需要跨系统数据整合供应商风险监控需要与外部数据源对接2.4 组织主数据定义描述企业内部组织架构的信息。核心属性属性类别具体内容组织信息组织名称、组织编码、组织类型公司/部门/事业部层级关系上级组织、下级组织、组织层级职能属性职能类型销售/生产/研发/财务、成本中心、利润中心区域信息所属区域、办公地址管理难点组织架构随业务调整频繁变化需要快速响应不同系统对组织维度的定义不一致如财务成本中心 vs. HR部门组织变更影响权限、审批流、数据归属2.5 员工主数据定义描述企业员工的信息。核心属性属性类别具体内容基础信息员工姓名、工号、身份证号、性别、出生日期岗位信息岗位名称、岗位等级、所属部门、汇报关系联系信息电话、邮箱、办公地址状态信息在职状态、入职日期、离职日期管理难点员工信息涉及个人隐私需要严格权限控制员工异动调岗、晋升需要同步到HR、OA、财务等系统与组织主数据、权限管理紧密关联2.6 五大主数据域的关系三、单一视图从“碎片”到“全景”3.1 什么是单一视图单一视图Single View是指将分散在不同系统中的同一主数据实体的信息整合在一起形成一个完整、准确、一致的视图。典型的单一视图场景客户360°视图整合CRM的客户信息、交易系统的购买记录、客服系统的服务记录、风控系统的信用信息产品360°视图整合PLM的产品设计信息、ERP的库存信息、销售系统的价格信息、售后系统的维修记录3.2 为什么需要单一视图没有单一视图的困境困境表现业务影响客户识别困难同一个客户在CRM、ERP、客服系统中以不同ID存在重复营销、信用评估失准、服务体验差产品信息不一致销售用SKU生产用物料号财务用产品代码订单错误、库存不准、对账困难供应商信息碎片化采购系统有供应商财务系统有供应商但信息不一致付款错误、供应商风险漏报组织架构混乱HR系统、OA系统、财务系统的组织架构不一致审批流错误、权限错配、报表不准3.3 单一视图的实现路径第一步实体识别识别不同系统中的同一实体。常用方法唯一标识匹配同一实体在不同系统中有相同的唯一标识如统一社会信用代码模糊匹配名称、地址等属性进行相似度匹配如“阿里巴巴” vs “阿里巴巴集团”规则匹配基于业务规则进行匹配如同一手机号对应同一客户第二步属性整合从各系统中提取属性形成整合视图属性来源属性内容可信度CRM系统客户名称、客户类型、联系方式高业务源头ERP系统信用额度、账期、交易记录高交易源头客服系统服务记录、投诉记录中使用记录风控系统风险等级、黑名单标识高风控专业第三步冲突解决当不同系统的同一属性值不一致时需要解决冲突权威来源原则指定某个系统为某个属性的权威来源如客户名称以CRM为准置信度原则根据数据来源的可信度选择如政府数据 业务系统数据 人工录入规则原则根据业务规则判断如最新时间 较早时间第四步持续同步单一视图不是“一次性构建”而是“持续同步”主数据变更时实时同步到统一视图定期检核一致性发现不一致及时告警3.4 单一视图的价值度量指标说明示例实体识别率成功识别的主数据实体占比客户实体识别率95%属性完整度核心属性的完整率客户核心属性完整率92%一致性跨系统关键属性一致的比例客户名称一致率98%重复率重复记录的比例客户重复率3%四、唯一来源原则从“多点录入”到“源头统一”4.1 什么是唯一来源原则唯一来源原则是指每个主数据实体在系统中只被创建和维护一次其他系统通过接口或服务获取该数据而非各自维护副本。核心思想“创建一次使用多次”Create Once, Use Many Times4.2 为什么需要唯一来源没有唯一来源的困境业务影响数据不一致同一客户在不同系统中信息不同无法确定哪个是准确的维护成本高客户信息变更需要在多个系统中分别修改重复录入新客户需要在多个系统中重复录入质量难控无法从源头控制数据质量4.3 唯一来源的实现架构推荐架构主数据管理平台MDM4.4 唯一来源的实施要点1. 明确权威来源为每个主数据域指定权威来源系统主数据域权威来源原因客户主数据CRM系统客户信息在CRM中创建和维护产品主数据PLM系统产品设计信息在PLM中产生供应商主数据SRM系统供应商准入在SRM中完成组织主数据HR系统组织架构由HR管理员工主数据HR系统员工信息由HR管理2. 统一编码规则主数据编码在权威来源生成确保全局唯一主数据域编码规则示例客户业务域(2位)类型(2位)流水号(8位)CUST_01_00012345产品产品线(3位)品类(3位)流水号(6位)PROD_001_001_123456供应商区域(2位)类型(2位)流水号(6位)SUPP_CN_01_1234563. 标准化创建流程主数据创建必须经过标准流程4. 变更同步机制主数据变更时自动同步到所有消费系统同步方式适用场景时效性实时API核心业务系统秒级消息队列中等时效要求秒级-分钟级批量同步非核心系统小时级-天级变更日志数据分析、审计准实时4.5 唯一来源的成熟度演进阶段特征表现阶段1分散管理各系统各自维护主数据重复录入、不一致、高维护成本阶段2集中管控建立MDM平台统一创建和分发唯一来源、一致性提升、维护成本降低阶段3智能运营主数据质量智能监控、异常预警主动发现问题、持续优化五、主数据管理的实施路径5.1 实施路线图阶段目标关键任务周期第一阶段诊断与规划明确主数据管理范围和目标1. 盘点现有主数据现状2. 识别核心问题和痛点3. 确定主数据管理范围4. 制定实施路线图1-2个月第二阶段试点建设选择1-2个主数据域先行试点1. 选择试点域如客户或产品2. 明确权威来源和编码规则3. 部署MDM平台4. 完成试点域主数据治理3-6个月第三阶段扩面推广扩展至其他主数据域1. 逐步扩展至五大核心域2. 建立主数据运营机制3. 实现与核心系统的集成6-12个月第四阶段优化运营持续优化智能化运营1. 主数据质量智能监控2. 主数据价值评估3. 持续优化流程持续迭代5.2 成功关键要素1. 高层支持主数据管理涉及跨系统、跨部门的协同必须由高层推动。建议成立主数据治理委员会由分管副总裁挂帅。2. 业务主导主数据是业务数据必须由业务部门主导定义、流程和质量标准。IT负责技术实现不能“代俎越庖”。3. 标准先行在实施MDM平台之前先明确主数据的标准——编码规则、属性定义、质量要求。标准不清平台建了也白建。4. 增量切入不要试图一次性治理所有存量主数据。建议先管住新增主数据再逐步治理存量。5. 持续运营主数据管理不是一次性项目而是持续性运营。建立主数据运营团队负责日常维护、问题处理、质量监控。5.3 常见误区与对策误区表现应对策略认为主数据管理是IT项目只有IT参与业务不买账业务部门主导主数据定义和流程贪大求全试图一次性治理所有主数据域选择核心域先行试点忽视存量数据只管新增不管存量制定存量数据治理计划期望一步到位期望MDM上线后所有问题消失持续运营逐步优化过度技术化把MDM当成纯技术平台忽视管理技术与流程、组织并重六、主数据是数据治理的“压舱石”在数据治理的众多领域中主数据管理始终处于核心地位。没有高质量的主数据再先进的数据平台、再复杂的数据模型都如同建立在沙地上的城堡。主数据管理的价值不在于技术有多先进而在于它能让企业说同一种语言客户就是客户产品就是产品没有歧义看同一幅画面客户360°视图产品全生命周期一目了然走同一条路径从源头到消费主数据流转清晰可见当主数据真正被有效管理时企业的数据治理才算真正有了“压舱石”。了解更多数据治理领域解决方案请关注gzh数据如海深难测关注后点开私信获取1.3G数据治理解决方案资料。 【数据治理实践】第 12 期：主数据管理认知——从“数据孤岛”走向“黄金记录”
专栏回顾 前十一期我们系统构建了数据治理的完整体系——从认知框架、战略蓝图、组织架构、制度体系、运营机制到数据标准、元数据、数据目录、数据血缘。这些能力共同构成了企业数据治理的“基础设施”。然而在数据治理的众多领域中有一个主题始终处于核心位置——主数据管理。如果说数据治理是“地基”那么主数据就是地基上的“承重墙”。没有高质量的主数据客户画像无法统一、供应链无法协同、财务报表无法准确。本期我们将系统阐述主数据管理的核心认知深入剖析主数据的范围、单一视图的价值、唯一来源原则帮助企业理解为什么主数据是数据治理的“第一优先级”。一、主数据数据世界的“黄金资产”1.1 什么是主数据在数据管理的众多概念中主数据Master Data常常被误解和混淆。让我们从最基础的定义开始主数据是描述企业核心业务实体的数据这些实体是企业业务运作的基础并在跨业务、跨系统、跨流程中被重复使用。核心特征业务核心描述企业最核心的业务对象跨系统共享被多个业务系统使用相对稳定变化频率低于交易数据高价值数据质量直接影响业务决策和运营效率1.2 主数据 vs. 其他数据类型数据类型定义示例特点主数据描述业务核心实体客户、产品、供应商、组织、员工、物料跨系统共享相对稳定高价值交易数据记录业务活动订单、发票、发货单、付款记录高频变化量大有时间属性参考数据定义代码和分类国家代码、行业分类、产品类别相对静态标准化的取值集合元数据描述数据的数据表结构、字段定义、数据血缘描述其他数据的结构和关系一个形象的类比主数据 剧本的“核心角色”客户、产品、供应商是数据世界的“主角”交易数据是“剧情”——主角在不同场景下的行为下单、付款、收货参考数据是“剧本设定”——角色的分类、属性定义元数据是“导演脚本”——描述如何拍摄、如何呈现1.3 主数据的核心价值价值维度说明业务收益统一业务语言所有系统使用统一的客户、产品定义消除“一个客户多个身份”的混乱提升运营效率减少数据重复录入和核对工作订单处理时间缩短30%以上支持精准决策基于统一的客户、产品视图进行分析客户360°画像精准营销降低合规风险统一的供应商、客户管理规避供应商风险、客户信用风险加速数字化转型为数据中台、数据湖提供高质量核心数据降低数据集成成本加速应用开发二、主数据的范围五大核心域根据行业实践主数据通常涵盖五大核心域我称之为“主数据五大金刚”。2.1 客户主数据定义描述与企业建立业务关系的个人或组织的信息。核心属性属性类别具体内容基础信息客户名称、客户编号、客户类型个人/企业、证件类型、证件号码联系方式电话、邮箱、地址、邮编、联系人分类信息客户行业、客户规模、客户等级、市场细分信用信息信用额度、信用等级、账期、风险等级关系信息所属集团、关联客户、客户层级管理难点同一客户在不同系统中以不同名称、不同编号存在重复识别客户信息分散在CRM、ERP、客服系统难以形成统一视图客户信息变更如企业更名需要同步到所有系统行业差异行业客户主数据特点B2B制造关注企业资质、信用额度、行业分类、采购规模零售关注个人消费者、会员等级、消费偏好、联系方式金融关注身份信息、信用记录、风险等级、资产信息2.2 产品主数据定义描述企业提供的产品或服务的信息。核心属性属性类别具体内容基础信息产品名称、产品编码、产品型号、产品描述分类信息产品线、产品大类、产品中类、产品小类规格属性规格参数、计量单位、包装规格、重量、尺寸销售属性销售价格、成本价格、毛利率、销售状态生产属性BOM结构、生产工艺、原材料清单管理难点产品编码不统一——销售用SKU、生产用物料号、财务用产品代码产品属性复杂——不同品类有不同的属性集产品生命周期管理——新品上市、老品退市需要多系统同步行业差异行业产品主数据特点制造关注BOM结构、物料清单、生产工艺、库存单位零售关注SKU、条码、规格、品牌、价格、促销属性制药关注批号、有效期、GMP合规、监管备案号2.3 供应商主数据定义描述为企业提供产品或服务的组织的信息。核心属性属性类别具体内容基础信息供应商名称、供应商编码、统一社会信用代码、法人代表资质信息资质证书、认证等级、资质有效期合作信息合作开始日期、合作品类、供货区域、付款条件绩效信息质量评分、交付及时率、价格竞争力风险信息风险等级、黑名单标识、诉讼记录管理难点供应商准入流程复杂资质文件管理繁琐供应商绩效评估需要跨系统数据整合供应商风险监控需要与外部数据源对接2.4 组织主数据定义描述企业内部组织架构的信息。核心属性属性类别具体内容组织信息组织名称、组织编码、组织类型公司/部门/事业部层级关系上级组织、下级组织、组织层级职能属性职能类型销售/生产/研发/财务、成本中心、利润中心区域信息所属区域、办公地址管理难点组织架构随业务调整频繁变化需要快速响应不同系统对组织维度的定义不一致如财务成本中心 vs. HR部门组织变更影响权限、审批流、数据归属2.5 员工主数据定义描述企业员工的信息。核心属性属性类别具体内容基础信息员工姓名、工号、身份证号、性别、出生日期岗位信息岗位名称、岗位等级、所属部门、汇报关系联系信息电话、邮箱、办公地址状态信息在职状态、入职日期、离职日期管理难点员工信息涉及个人隐私需要严格权限控制员工异动调岗、晋升需要同步到HR、OA、财务等系统与组织主数据、权限管理紧密关联2.6 五大主数据域的关系三、单一视图从“碎片”到“全景”3.1 什么是单一视图单一视图Single View是指将分散在不同系统中的同一主数据实体的信息整合在一起形成一个完整、准确、一致的视图。典型的单一视图场景客户360°视图整合CRM的客户信息、交易系统的购买记录、客服系统的服务记录、风控系统的信用信息产品360°视图整合PLM的产品设计信息、ERP的库存信息、销售系统的价格信息、售后系统的维修记录3.2 为什么需要单一视图没有单一视图的困境困境表现业务影响客户识别困难同一个客户在CRM、ERP、客服系统中以不同ID存在重复营销、信用评估失准、服务体验差产品信息不一致销售用SKU生产用物料号财务用产品代码订单错误、库存不准、对账困难供应商信息碎片化采购系统有供应商财务系统有供应商但信息不一致付款错误、供应商风险漏报组织架构混乱HR系统、OA系统、财务系统的组织架构不一致审批流错误、权限错配、报表不准3.3 单一视图的实现路径第一步实体识别识别不同系统中的同一实体。常用方法唯一标识匹配同一实体在不同系统中有相同的唯一标识如统一社会信用代码模糊匹配名称、地址等属性进行相似度匹配如“阿里巴巴” vs “阿里巴巴集团”规则匹配基于业务规则进行匹配如同一手机号对应同一客户第二步属性整合从各系统中提取属性形成整合视图属性来源属性内容可信度CRM系统客户名称、客户类型、联系方式高业务源头ERP系统信用额度、账期、交易记录高交易源头客服系统服务记录、投诉记录中使用记录风控系统风险等级、黑名单标识高风控专业第三步冲突解决当不同系统的同一属性值不一致时需要解决冲突权威来源原则指定某个系统为某个属性的权威来源如客户名称以CRM为准置信度原则根据数据来源的可信度选择如政府数据 业务系统数据 人工录入规则原则根据业务规则判断如最新时间 较早时间第四步持续同步单一视图不是“一次性构建”而是“持续同步”主数据变更时实时同步到统一视图定期检核一致性发现不一致及时告警3.4 单一视图的价值度量指标说明示例实体识别率成功识别的主数据实体占比客户实体识别率95%属性完整度核心属性的完整率客户核心属性完整率92%一致性跨系统关键属性一致的比例客户名称一致率98%重复率重复记录的比例客户重复率3%四、唯一来源原则从“多点录入”到“源头统一”4.1 什么是唯一来源原则唯一来源原则是指每个主数据实体在系统中只被创建和维护一次其他系统通过接口或服务获取该数据而非各自维护副本。核心思想“创建一次使用多次”Create Once, Use Many Times4.2 为什么需要唯一来源没有唯一来源的困境业务影响数据不一致同一客户在不同系统中信息不同无法确定哪个是准确的维护成本高客户信息变更需要在多个系统中分别修改重复录入新客户需要在多个系统中重复录入质量难控无法从源头控制数据质量4.3 唯一来源的实现架构推荐架构主数据管理平台MDM4.4 唯一来源的实施要点1. 明确权威来源为每个主数据域指定权威来源系统主数据域权威来源原因客户主数据CRM系统客户信息在CRM中创建和维护产品主数据PLM系统产品设计信息在PLM中产生供应商主数据SRM系统供应商准入在SRM中完成组织主数据HR系统组织架构由HR管理员工主数据HR系统员工信息由HR管理2. 统一编码规则主数据编码在权威来源生成确保全局唯一主数据域编码规则示例客户业务域(2位)类型(2位)流水号(8位)CUST_01_00012345产品产品线(3位)品类(3位)流水号(6位)PROD_001_001_123456供应商区域(2位)类型(2位)流水号(6位)SUPP_CN_01_1234563. 标准化创建流程主数据创建必须经过标准流程4. 变更同步机制主数据变更时自动同步到所有消费系统同步方式适用场景时效性实时API核心业务系统秒级消息队列中等时效要求秒级-分钟级批量同步非核心系统小时级-天级变更日志数据分析、审计准实时4.5 唯一来源的成熟度演进阶段特征表现阶段1分散管理各系统各自维护主数据重复录入、不一致、高维护成本阶段2集中管控建立MDM平台统一创建和分发唯一来源、一致性提升、维护成本降低阶段3智能运营主数据质量智能监控、异常预警主动发现问题、持续优化五、主数据管理的实施路径5.1 实施路线图阶段目标关键任务周期第一阶段诊断与规划明确主数据管理范围和目标1. 盘点现有主数据现状2. 识别核心问题和痛点3. 确定主数据管理范围4. 制定实施路线图1-2个月第二阶段试点建设选择1-2个主数据域先行试点1. 选择试点域如客户或产品2. 明确权威来源和编码规则3. 部署MDM平台4. 完成试点域主数据治理3-6个月第三阶段扩面推广扩展至其他主数据域1. 逐步扩展至五大核心域2. 建立主数据运营机制3. 实现与核心系统的集成6-12个月第四阶段优化运营持续优化智能化运营1. 主数据质量智能监控2. 主数据价值评估3. 持续优化流程持续迭代5.2 成功关键要素1. 高层支持主数据管理涉及跨系统、跨部门的协同必须由高层推动。建议成立主数据治理委员会由分管副总裁挂帅。2. 业务主导主数据是业务数据必须由业务部门主导定义、流程和质量标准。IT负责技术实现不能“代俎越庖”。3. 标准先行在实施MDM平台之前先明确主数据的标准——编码规则、属性定义、质量要求。标准不清平台建了也白建。4. 增量切入不要试图一次性治理所有存量主数据。建议先管住新增主数据再逐步治理存量。5. 持续运营主数据管理不是一次性项目而是持续性运营。建立主数据运营团队负责日常维护、问题处理、质量监控。5.3 常见误区与对策误区表现应对策略认为主数据管理是IT项目只有IT参与业务不买账业务部门主导主数据定义和流程贪大求全试图一次性治理所有主数据域选择核心域先行试点忽视存量数据只管新增不管存量制定存量数据治理计划期望一步到位期望MDM上线后所有问题消失持续运营逐步优化过度技术化把MDM当成纯技术平台忽视管理技术与流程、组织并重六、主数据是数据治理的“压舱石”在数据治理的众多领域中主数据管理始终处于核心地位。没有高质量的主数据再先进的数据平台、再复杂的数据模型都如同建立在沙地上的城堡。主数据管理的价值不在于技术有多先进而在于它能让企业说同一种语言客户就是客户产品就是产品没有歧义看同一幅画面客户360°视图产品全生命周期一目了然走同一条路径从源头到消费主数据流转清晰可见当主数据真正被有效管理时企业的数据治理才算真正有了“压舱石”。了解更多数据治理领域解决方案请关注gzh数据如海深难测关注后点开私信获取1.3G数据治理解决方案资料。