浅谈主数据管理应用问题治理

2019/12/30      2452 文章来源:爱学术 原作者:欧志洪 胡天牧 康永

一、主数据概念及特点

主数据是指在整个企业范围内各个系统(操作/事务型应用系统以及分析型系统)间要 共享的数据,比如,可以是与客户(customers),供应商(suppliers),帐户(accounts)及组织单位(organizational units)相关的数据。主数据通常需要在整个企业范围内保持一致性(consistent)、完整性(complete)、可控性(controlled),为了达成这一目标,就需要进行主数据管理(Master Data ManagementMDM)。主数据定义企业核心业务对象,如客户、产品、地 址等。与交易流水信息不同,主数据一旦被记录到数据库中,需要经常对其进行维护,从而 确保其时效性和准确性;主数据还包括关系数据,用以描述主数据之间的关系,如客户与产品的关系、产品与地域的关系、客户与客户的关系、产品与产品的关系等。

主数据是:

(1)描述业务核心实体的数据。

2)高价值的,企业内跨业务重复使用的数据。

3)存在于多个异构的应用系统中。

主数据不是:

1)企业内部所有的数据,比如交易数据、账单数据(不是主数据)

2)特定应用专属的数据。


二、主数据管理意义

主数据管理描述了一组规程、技术和解决方案,这些规程、技术和解决方案用于为所有利益相关方(如用户、应用程序、数据仓库、流程以及商业伙伴)创建并维护业务数据的一致性、完整性、相关性和精确性。

(1)从各种具体的应用中分离出主要信息。

(2)成为一个集中的、独立于应用的资源。

(3)主数据管理是应用流程的补充,有流程支撑,可追溯和跟踪。

(4)简化整合任务和新应用开发。

(5)确保各个交易系统和分析系统间的主要信息的一致性。

(6)用“事前处理”的方法代替“事后处理”(比如数据仓库),来解决数据质量和一致性问题。

主数据的有效管理,可以支持经营管便捷地获取多种业务角度的全面分析报告,加深数据挖掘和透视;可以加强业务管理层数据的一致性和实时性;并可以帮助业务操作人员统一沟通语言,降低沟通成本。相应地,主数据管理不善如数据基本定义缺失、编码规则不科学、缺乏有效管理机制等,则会引起数据及报表的不真实和紊乱,给数据分析及决策埋下很大隐患。比如说数据统计口径不一致,部门报表不统一,缺乏真实性和可比性;主数据数据源分布不明晰,系统之间数据交叉、引用关系紊乱,给系统集成带来了难度,而系统不能集成,缺乏同步机制,也明显降低了数据真实性和及时性;各系统中的物料编码不一致,存在一物多码、一码多物、编码重复或者不完整等混乱现象,另外编码所代表的意义不清晰、可用性缺乏等。

三、企业内部MDM应用问题

经过近几年MDM系统建设,企业内部已基本实现各类主数据的统一管理,初步建立组织架构主数据与财务核算主体、预算主体、产权主体的关联关系,涵盖物资、项目、人资组织等业务领域的组织架构主数据,建立与电子商务平台、基建信息系统、ERP、财务管控等

多系统的数据交互集成。但实际应用过程中,主数据的建立仍然缺乏统一标准,管理分散,组织实体管理及组织关系管理问题较多,无法满足企业内部管理的需要,难以为使用人员提供准确、一致的数据基础。总结MDM系统使用过程以来,主要问题如下:

1、缺乏主数据核对治理机制。MDM使用过程中,由于某些特殊原因造成数据系统间不一致,需要有对应业务人员参与校对,如供应商、客户主数据系统间银行账号信息字段不一致或错误时,则需要人为干预,但是主数据涉及多个业务线,使用部门较多,责任部门无法落实,且主数据本身也没有使用单位信息,企业相关部门很难组织起有效的方式,只能由使用部门全量数据核对,汇总统一排查,易造成数据混乱,归口不清,不仅核对难度大,而且增加人力成本。

2、流程繁琐,主数据之间相互交错,缺少快速熟悉主数据生命周期有效工具。如SAP中财务利润中心主数据,在申请过程中,首先需要对应的基础组织、产权数据作为维护前提,而通过现有的使用指南中没有支撑,使用人员很难把控利润中心主数据创建过程,很多时候只能通过摸索试探去操作,反复拨打运维电话,很难提升工作效率。

3、期初上线方案不成熟,业务场景不全面。系统建设时,由于数据复杂性及使用场景多样性导致功能考虑不够全面,后续数据重复录入时系统也没有较好的数据清洗、去重机制,造成越来越多的数据错误冗余,例如主数据名称中有空格、停用等字段信息,容易误导使用人员正确使用。

4、技术存在缺陷,缺少修复完善功能。关联业务系统数据同步不及时,数据源系统中数据状态发生变化,如删除,其他使用系统却未及时更新状态,技术上没有很好的纠错功能,导致数据不一致。

5、数据增删改控制不到位。由于数据源存在各个系统中,因此对于非源系统的数据增删改需严格控制,否则无法保证数据跨系统间不一致,也无法追溯原因。

6、主数据范围拓展流程不成熟。在MDM使用过程中,当有主数据想纳入MDM系统进行管理时,由于企业层级、技术架构复杂性,MDM归口管理部门职责不明确,需求部门无从开展新主数据建设工作。

7、系统存在残留未清理主数据。在MDM系统上线时,企业会对所有系统既有主数据制定初始化清理方案,当数据场景复杂时,会导致残留数据处理不净。


四、企业内部主数据管理应用问题思考

主数据对企业内部极为重要,是系统生产运行的基础,只有保证数据的准确性、及时性、严谨性,才能确保系统稳定运行,数据挖掘分析准确,为企业内部效益等数据分析提供有效支撑,因此MDM系统建设应该是一项持久建设工作,建立长效机制,不断优化完善系统功能。

1、建立并切实运行周密的数据管控体系

设立组织架构,明确职责,谁维护、谁管控、谁确认,建立完善的管控制度。架构组织负责主数据全生命周期管理,首先设立管理部门及控制人员权限,统一数据录入源头,建立主数据录入标准,如单位级实体组织须依据营业执照等三证或社会信用代码等证明材料,履行严格的审核程序后方可创建;其次建立主数据管控机制,对主数据申请过程中设立指标,如响应周期、关键数据准确性等,通过标准化使各涉及系统主数据在接收申请时反馈时间、关键信息等,提高跨系统问流转效率;最后提供有效方式供使用部门查询确认主数据状态,可追踪主数据操作流程,主数据状态包含过程状态、使用状态,过程状态为数据在创建、申请、变更、审批的过程,而使用状态为数据正常使用、冻结、删除等,且历史操作记录系统也应保存以便追溯,使用部门不仅能够自己查询主数据状态,而且当数据状态发生变化时, 系统会通过有效的方式进行反馈。这样,通过主数据询-申请-管控-追踪-公布-反馈闭环方式实现主数据生命周期管理。

2、不断完善技术架构,优化功能

2.1梳理分析主数据来源,统一口径,明确主数据的源头,做好各系统内主数据更新控制,杜绝随意新增、更改数据,确保数据流向一致。如供应商数据,当明确数据来源为MDM时,ERP、财务管控等系统则必须严格控制,不允许增、删、改此类数据,一切调整只能从源头发起,以确保数据的准确性与关联性。

2.2冲突处理功能。数据冲突主要用于内部组织数据的变更,是指MDM接收数据与原在库数据的KEY值相同、部分或全部字段信息不同的情况。例如数据来源系统电子商务平台提起申请修改某内部单位名称,主数据管理平台将向数据来源系统反馈消息,提示“待审核”状态并反馈在库数据信息,同时在主数据管理平台生成数据冲突申请单,申请单内容包括原在库数据和新接收数据,并将申请单流转至数据审核人员,由审核人员进行数据准确性审批,若审批通过,主数据管理平台将维护组织架构树及相关组织主数据;若审批拒绝,MDM将向申请数据修改的来源系统,反馈数据冲突处理结果信息。

2.3提高数据同步准确性、及时性。主数据使用涉及系统多,因此系统间数据同步准确性及时性尤为重要。根据数据实际情况选择数据写入和更新方式,随着主数据系统的持续使用,系统数据增加,系统间数据同步及时性须关注,及时增加服务器内存以提高数据运行、同步效率。

2.4完善纠错机制。系统拥有完善错误处理机制,分析问题原因,进行归类处理,如当主数据在系统间分发写入时,可能出现数据场景与技术架构不符或系统异常致使数据无法更新的情况,系统应当首先启动数据自动补推送功能,当问题重复出现没有解决时,系统进行直观简便异常数据结果反馈,运维人员进行原因分析,启动问题修复流程。

3、关注人员流动调整,加强培训

岗位人员的变动会给主数据管理带来一定的冲击,可能出现数据质量把控不过关、流程不清晰,工作方向茫然。因此企业内部人员调整时,需要及时关注,加强新岗位人员培训,操作指南要尤为重视,可根据岗位、业务场景等制定相应的操作手册,做到简单、易懂、清晰,为新人提供有效业务和技术支撑。