信息系统全面数据质量管理研究
信息系统全面数据质量管理研究 一、全面数据质量管理概述 数据质量是信息系统能否实现管理目标的关键因素之一，但工作实践 表明，对于大多数系统而言，保证数据质量仍然充满挑战。例如，对数据质量主 要问题的研究还没有达成一致，涉及的技术和学科较多，整合难度大，数据质量 问题的解决方法并不完整，或者过于宽泛，难以应用于实践。目前，为了解决数据质量问题，通常采用两种策略：被动数据质量改 进和主动数据质量管理。与工业生产中的质量检查和产品再加工类似，被动数据 质量改进主要关注数据本身，其目标是通过纠正数据缺陷来改进数据质量。常见 的改进方法是通过数据清理（datacleaning)(如图1所示)技术发现并纠正错误，而 不是分析并解决缺陷原因，其目标在于通过计划和实施持续提高数据质量的活动 来防止更多的数据缺陷。而主动数据质量是确定低数据质量的原因，通过在信息 系统设计和实施时进行数据质量改进的方法，也可以在提供数据的业务流程设计 和实施时进行。实际上，被动数据质量改进和主动数据质量管理都是提高数据质 量的重要措施。被动数据质量改进丨倾向更适用于很少变化的数据，例如，主数 据（masterdata)。另一方面，对于重要的、经常变化的数据而言，主动数据质量 管理更加合适。
1.1全面数据质量管理的基本观点。1988年，麻省理工学院（MIT)的 StuartMadnick教授和RichardWang教授启动了全面数据质量管理计划，旨在对数 据质量进行全方位研究。其基本观点是，将数据视为一种特殊的产品，把管理产 品质量的方法应用于数据质量管理，同时开发信息产品图、应用数据质量管理实 践。这是MIT数据质量管理计划的一项重要研究成果，它从根本上改变了“数据 是系统的附属品”的传统观念，为借用管理物理产品质量的方法来管理数据质量 提供了前提和基础。数据质量是一个多学科交叉应用领域，需要实践人员与研究 人员之间的交互与协作。为满足以上要求，多年来，MIT举办了大量的会议和专 题研讨以及社团，促进实践人员、供应商、学者之间的交流协作。关于全面数据质量管理可从以下几方面加以理解：
(1) 全面数据质量管理的关键是提高人的素质，充分调动员工积极性。
使参与信息系统建设、使用和管理的相关人员都有分工、有合作地介人到数据质 量管理的实践中来。只有每个人认识到数据质量对组织管理工作和用户使用需求 的重要意义，树立牢固的全面数据质量管理思想观念，将这一观念贯穿于数据生 命周期的全过程，用这一观念指导参与数据质量管理的每一位专业与非专业人员， 使他们认真落实各项质量管理规定，切实做好本职工作、保证工作质量，从而有 效提升数据质量或数据服务质量。
(2) 全面数据质量管理改进和提高数据质量的基本思想是，将的事后 检查和把关为主转换为以预防和改进为主。强调在信息系统管理过程中将数据质 量管理作为一项中心内容，通过多种管理手段，实施源头治理，对数据运行的全 过程进行监控，密切关注数据质量的发展和变化，适时进行调整和校正，确保整 个周期的高质量数据。与此同时，深人研究数据质量问题所遵循的客观规律，分 析其产生的机理，探索科学有效的控制方法和改进措施。主要表现在将过去组织 松散、管理不力而导致数据质量低下的情况运用系统学观点进行全面综合治理， 深刻认识数据质量问题的普遍性和特殊性，分领域、分阶段、有计划、有步骤地 深人研究提高数据质量的理论和方法。发动组织全体成员以各部门为单位学习、 运用科学管理理论方法对整个数据流程进行有效控制，建立良好的数据质量管理 体系，从源头上控制数据质量问题的产生和蔓延，增强各个环节的纠错能力，坚 决预防有误数据进人下一阶段，以确保数据的准确性、完整性、一致性和时效性。
(3)全面数据质量管理要坚持服务用户的思想。由数据质量的发展过 程可以看出，用户对数据的使用满意程度越来越成为评价数据质量高低的标准， 因此在数据的生成、加工、完善过程中要始终贯穿用户的具体需求，并将用户需 求分解到数据流程的各个阶段加以落实，制定具体制度标准，使人员、部门都能 按要求各司其职，提高服务客户的工作意识，确保数据质量能切实满足用户需求。1.2全面数据质量管理的特点。全面数据质量管理从过去的就事论事、 分散管理，转变为以系统观念为指导的全面的综合治理，它不仅仅强调各方面工 作各自的重要性，而且更加强调各方面工作共同发挥作用时的协同作用。其基本 特点就是体现在“三全”，即“全面性”、“全员性和“全过程。
(1)全面性。全面数据质量管理的全面性主要体现在两个方面：一是 管理对象的全面性，二是管理方法的全面性。
从管理对象来看，全面数据质量管理的对象是数据质量,不仅指数据 质量的基本特性，即适用性、准确性、适时性、完整性、一致性等，还包括用户 对数据的满意程度等。只有从切实需求出发，才能最终提高数据质量。除此之外， 管理对象全面性的另一个含义是，对影响数据质量因素的全面控制。影响数据质 量的因素很多，概括起来包括人员、数据设计、数据标准、检测手段和环境等方 面，只有对这些因素进行全面控制，才能提高数据质量。
从管理方法来看，尽管数理统计技术在质量管理的各个阶段都是最有 效的工具，但由于影响数据质量因素的复杂性，既有物质的因素，又有人的因素；
既有设计的因素，又有管理的因素。要搞好全面数据质量管理，就不能单靠数理 统计技术，而应该根据不同的情况、针对不同的因素，灵活运用各种现代化管理 方法和手段，将众多的影响因素系统地控制起来，实现统筹管理，全面管好。在 全面数据质量管理中，还会用到各种最优化技术、网络计划技术、预测和决策技 术,以及计算机辅助质量管理技术等。
(2) 全员性。全员性的质量管理，即全面数据质量管理，要求参加质 量管理的人员是全面的，是依靠单位全体人员参加的质量管理。数据质量的好坏， 是许多工作和统计活动环节的综合反映，因此它单位所有部门和所有人员。这就 是说,一方面，数据质量与每个人的工作有关，提高数据质量需要依靠所有人员 的共同努力；
另一方面，在这个基础上产生的数据质量管理和其他各项管理，如 科研、维护、技术保障等各方面之间，存在着有机的辩证关系，它们以质量管理 为中心环节相互联系，又相互促进。因此，实行全面数据质量管理要求各单位在集中统一领导下，把各部门的工作有机地组织起来，人人都必须为提高数据质量、 为加强质量管理尽自己的职责。只有人人关心数据质量，都对质量高度负责，信 息系统的质量管理才能搞好，数据质量才有坚定基础和可靠保证。
(3) 全过程。全过程的数据质量管理，即质量管理范围是全面的。同 生产质量一样，数据的质量也有一个逐步产生和形成的过程，它是经过各个不同 单位的数据产生、采集、录人、检测、清洗、检验、评估等全过程一步一步形成 的。所以，良好的数据质量，是设计和生产出来的，不是仅靠检验得到的。根据 这一规律，全面数据质量管理要求从数据质量形成的全过程，从数据设计、生产 到使用的各环节致力于质量的提高，做到防检结合、以防为主。质量管理向全过 程管理的发展，就有效地控制了各项数据质量影响因素，它不仅充分体现了以预 防为主的思想，保证质量标准的实现，而且着眼干工作质量的提高，争取实现新 的质量突破。根据需求，从每一个环节做起，都致力于数据质量的提高，从而形 成一种更加积极的管理。如图2所示，为全面数据质量管理的工作过程模型 DMAI(即：定义define，测量measure，分析analyze，提高improve)。
此外，全面数据质量管理还具有突出改进的动态性的特点。在传统的 质量管理中，产品生产的目标是符合质量技术要求，而现在对数据质量的要求是 能够符合信息化条件下组织的管理需求。但是，由于技术的不断进步，信息化水 平的不断提升，管理需求是不断发生变化的：通常会随着数据质量的提高而变得 更高，这就要求我们有动态的数据质量管理概念。全面数据质量管理不但要求数 据质量管理过程中有控制程序，而且要有改进程序。
二、信息系统与全面数据质量管理的关联性分析 2.1相关性分析。全面数据质量管理强调以数据质量为中心，全体员 工以及有关部门有机组织起来，将专业技术、经营管理、数理统计和思想教育工 作融合在一起，建立全过程的数据质量管理体系，使人力、物力、财力和信息资 源得到有效利用，以最经济的手段生产出让用户满意的信息数据,确保组织获得 长期的发展和优势。从信息系统的本质来看，最终也是服务于用户，因此，信息系统数据质量管理在全面数据质量管理的范畴内。下面结合全面数据质量管理的 特点，分析与信息系统的相关性。
(1)首先，全面数据质量管理要求全体人员参与，这与信息系统的开 放性紧密相关。其开放性使得与外界环境保持者密切关系，如图3所示。与外界 环境不断发生输人与输出、需求与服务关系；
而组织中任何一个环节，任何一个 人的工作质量都会不同程度地影响着数据质量，特别是信息系统数据的录人人员、 加工人员、维护人员等。由此可见，一个处于动态运行、有生命力的信息系统必 然需要全员参与。
(2) 其次，全面数据质量管理要求全过程，与信息系统的构成与应用 本质密切相关。信息系统通常由人、设备、信息、规则和目的等要素组成，具有 收集、处理、存储、传递交流功能。其构成要素需要在日常工作中相互关系、影 响。如信息数据的采集、录人需要人工直接作用，到在系统内部流动，最后提供 用户使用。这必然涉及到组织信息系统管理的全过程，而要保证全过程工作质量 的最优化，全面数据质量管理的应用是实现这一目标的有效手段。
(3) 此外，全面数据质量管理要求组织全面参与，一方面要求组织各 个管理层都有明确的数据质量管理活动内容，并且各有侧重；
另一方面是指数据 质量职能分散在组织的相关部门中，只有将分散到各部门的数据质量职能充分发 挥出来，才能达到提高数据质量的目标。而这一点有助于信息系统充分发挥其功 能，与组织各部门密切配合。从上到下,从一般部门到职能部门，实现系统的协 调发展，实现数据质量管理的预期目标。
(4) 最后，全面数据质量管理要求利用多种多样的科学管理方法，与 信息系统的发展和信息处理技术的进步是一致的。现代化的技术设备是实现信息 系统可靠、高效的物质基础，而信息系统本质上就是一种管理思想的体现，是将 管理的过程由早期的人工发展为人工和机器的结合，其先进与否与管理方法和思 想是密切相关的。同时，用户对数据质量的要求越来越高，影响数据质量的因素 也越来越复杂，只有根据不同情况，灵活运用多种管理方法，才能有效控制影响数据质量的复杂因素，解决数据质量问题。
2.2必要性分析。
(1)从信息化发展的进程来看，目前的信息系统虽然能够实现组织的 一般管理，但是距离精细管理和高效管理的目标还有一定差距，数据质量成为关 键问题。全面数据质量管理作为美国国防部采用解决其数据质量问题的方法[4]， 立足数据质量问题的源头，致力于预防质量问题的出现，对数据质量进行全过程 控制，及时反馈并解决数据质量问题，取得良好的效果。这为我们解决数据质量 问题提供了良好的借鉴。
(2) 随着数据库存量越来越庞大，简单的数据质量管理方法是远远满 足不了实际需求的，必须建立科学实用的数据质量管理体系，将数据质量管理落 实到各个日常管理环节。由此可以采用全面数据质量管理模式，充分发挥其“全 面性”特点，建立体制健全、执行规范、赏罚分明的数据质量管理体系。
(3) 对数据质量的管理归根到底关键在于对人员管理。信息系统先进 与否，设备配置如何都不是数据质量管理的决定因素，只有人员尽职尽责、按章 办事、牢记数据质量的重要性，才能保证工作效果。全面数据质量管理强调以人 为本，通过传授全体人员的数据质量管理理论，提高数据质量意识，设立专业数 据质量管理人员和业务人员共同完成对数据质量的控制。
三、总结 通过研究，笔者认为全面数据质量管理是解决组织数据质量问题的可 行方案。通过构建完整、健全、规范的数据质量管理体系，进行“主动数据质量 管理”，以避免数据质量问题的产生为最高目标而不是待问题出现再进行纠正、 弥补，大大提高管理的效率。全面数据质量管理体系的具体构建方法值得我们继面究。