data cleaning

定义：检测和修正数据集合中错误数据项以及对数据进行平滑处理等操作的数据预处理过程。

学科：计算机科学技术_数据库_数据库新技术

相关名词：文本挖掘 信息过滤 数据交换

图片来源：视觉中国

【延伸阅读】

在数据科学的发展进程中，数据清洗在数据采集与分析之间起着桥梁作用，是不可或缺的一环。没有经过清洗的数据如同带有杂质的原材料，将直接影响分析结论的准确性和可靠性。数据清洗的本质任务，是识别并修复所谓的脏数据，以提升数据的完整性、正确性和一致性。

在现实信息系统中，脏数据（如客户地址不完整、数值录入格式错误、采集设备漏读或误读信号、不同数据源中的同一对象记录不一致等）普遍存在于金融交易记录、科研观测数据、企业客户信息等各类场景中。为此，数据清洗被确认为数据挖掘流程中的关键步骤，它不仅决定分析算法的可行性，也直接关系到结论的可靠性。

数据清洗通常分为分析样本数据、定义脏数据类型、识别脏数据及处理脏数据四个阶段。处理方法因数据问题类型不同而异。

缺失值是最常见的问题之一，处理策略包括用常量、均值、最大值、估计值或模型预测值填补空缺，或者在缺失严重时直接删除该变量。在模型训练前，采用多重插补或基于推断的填补算法（如贝叶斯网络、决策树）可获得更合理的补全结果。

对于错误值和异常值，常常通过格式规范检查、实体识别与基准数据比对来发现问题。例如，识别出负值的身高或日期格式不符的记录，进而加以修正。在结构化数据中，可利用偏差分析、属性约束、聚类等方法筛查出不合逻辑或远离集中趋势的异常点。利用分箱技术进行数值平滑，也是一种有效的处理方式。

重复数据通常源自多数据源整合。其处理需要先识别出相同实体的不同表示，技术手段包括编辑距离、字段匹配、向量空间模型等相似度计算方式。去重后应对重复记录进行合并，保留最可信的版本，避免分析时因重复信息放大偏差。

一致性问题则涉及逻辑矛盾和语义冲突。例如，一个人声称是产品重度用户，却给出极低的熟悉度评分。此类问题可通过定义约束规则、交叉变量验证和参考外部数据源等方式解决。语义一致性的维护，对支持决策型分析尤为重要。

尽管当前数据清洗方法已经较为系统，但在大数据环境下仍然面临着挑战。一方面，大数据体量大、异质性强，难以全面制定有效规则；另一方面，数据更新频繁使静态规则迅速失效。此外，清洗算法的复杂性与计算资源要求也限制其在大数据场景中的应用。现阶段，研究者正探索更加智能的、误差率更低的自动化清洗算法，以适应大规模、多源、多模态数据的需求。

数据清洗不仅是技术问题，也是数据治理的重要组成部分。在数据仓库构建、机器学习建模、可视化展示等所有依赖高质量数据的环节中，清洗工作直接决定了数据价值的释放程度。随着人工智能和自动化技术的发展，未来的数据清洗将更加依赖智能识别与自学习机制，实现从“规则驱动”向“数据驱动”的转变。

责任编辑：张鹏辉