计算机研究与发展 ＩＳＳＮ １０００—１２３９１ＣＮ １１—１７７７１ＴＰ

！！竺！呈！！！！竺竺竺旦！！！！墨！！！！！！！！里璺里！二！！竺旦竺！兰！ ！！！！！！！！！！二！！！！：！竺！！

大数据的一个重要方面：数据可用性

李建中 刘显敏
（哈尔滨工业大学计算机科学与技术学院 哈尔滨 １５０００１）

（１ｉｊｚｈ＠ｈｉｔ．ｅｄｕ．ｃｎ）

Ａｎ Ｉｍｐｏｒｔａｎｔ Ａｓｐｅｃｔ ｏｆ Ｂｉｇ Ｄａｔａ：Ｄａｔａ Ｕｓａｂｉｌｉｔｙ

Ｌｉ Ｊｉａｎｚｈｏｎｇ ａｎｄ Ｌｉｕ Ｘｉａｎｍｉｎ

（Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ １ ５０００ １）

Ａｂｓｔｒａｃｔ Ｗｉｔｈ ｔｈｅ ｒａｐｉｄ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ，ｅｓｐｅｃｉａｌｌｙ ｔｈｅ ｇｒｅａｔ ｐｒｏｇｒｅｓｓｅｓ ｏｆ

Ｉｎｔｅｒｎｅｔ，ｃｙｂｅｒ ｐｈｙｓｉｃａｌ ｓｙｓｔｅｍ，Ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ，ｃｌｏｕｄ ｃｏｍｐｕｔｉｎｇ ａｎｄ ｓｏｃｉａｌ ｎｅｔｗｏｒｋ，ｂｉｇ ｄａｔａ

ｂｅｃｏｍｅｓ ｕｂｉｑｕｉｔｏｕｓ．Ｂｉｇ ｄａｔａ ｂｒｉｎｇｓ ｎｏｔ ｏｎｌｙ ｇｒｅａｔ ｂｅｎｅｆｉｔｓ ｂｕｔ ａｌｓｏ ｃｒｕｃｉａｌ ｃｈａｌｌｅｎｇｅｓ．Ｉｍｐｒｏｖｉｎｇ ｔｈｅ

ｄａｔａ ｕｓａｂｉｌｉｔｙ ｉｓ ｏｎｅ ｏｆ ｔｈｅ ｍｏｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｃｈａｌｌｅｎｇｅｓ．Ｄｉｒｔｙ ｄａｔａ ａｃｃｏｍｐａｎｉｅｓ ｔｈｅ ｔｒｅｍｅｎｄｏｕｓ

ｉｎｃｒｅａｓｅ ｏｆ ｄａｔａ ｖｏｌｕｍｅ，ｄｅｇｒａｄｅｓ ｔｈｅ ｄａｔａ ｑｕａｌｉｔｙ ａｎｄ ｄａｔａ ｕｓａｂｉｌｉｔｙ，ａｎｄ ｂｒｉｎｇｓ ｓｅｒｉｏｕｓ ｈａｒｍ ｔｏ ｔｈｅ

ｉｎｆｏｒｍａｔｉｏｎ ｓｏｃｉｅｔｉｅｓ．Ｆｏｒｔｕｎａｔｅｌｙ，ｔｈｅｒｅ ｈａｓ ｂｅｅｎ ｗｉｄｅｓｐｒｅａｄ ｃｏｎｃｅｒｎ ａｂｏｕｔ ｔｈｅ ｄａｔａ ｕｓａｂｉｌｉｔｙ ｉｎ ｂｏｔｈ

ｉｎｄｕｓｔｒｉａｌ ａｎｄ ａｃａｄｅｍｉｃ ｃｏｍｍｕｎｉｔｉｅｓ，ａｎｄ ｔｈｅ ｒｅｃｅｎｔ ｒｅｓｅａｒｃｈ ｅｆｆｏｒｔｓ ｏｎ ｄａｔａ ｕｓａｂｉｌｉｔｙ ｈａｖｅ ｙｉｅｌｄｅｄ

ｓｏｍｅ ｉｍｐｒｅｓｓｉｖｅ ｒｅｓｕｌｔｓ．Ｈｏｗｅｖｅｒ，ｔｈｅｒｅ ａｒｅ ｏｎｌｙ ｆｅｗ ｗｏｒｋｓ ｆｏｃｕｓｉｎｇ ｏｎ ｔｈｅ ｕｓａｂｉｌｉｔｙ ｏｆ ｂｉｇ ｄａｔａ．Ｉｎ

ｔｈｉｓ ｐａｐｅｒ，ｔｈｅ ｃｏｎｃｅｐｔｓ ｏｆ ｂｉｇ ｄａｔａ ｕｓａｂｉｌｉｔｙ ａｒｅ ｉｎｔｒｏｄｕｃｅｄ ｆｉｒｓｔ，ａｎｄ ｔｈｅｎ ｔｈｅ ｃｈａｌｌｅｎｇｅｓ ａｎｄ ｒｅｓｅａｒｃｈ

ｐｒｏｂｌｅｍｓ ｏｆ ｔｈｅ ｂｉｇ ｄａｔａ ｕｓａｂｉｌｉｔｙ ａｒｅ ｄｉｓｃｕｓｓｅｄ．Ｆｉｎａｌｌｙ，ｔｈｅ ｗｏｒｋｓ ｒｅｌａｔｅｄ ｔｏ ｔｈｅ ｄａｔａ ｕｓａｂｉｌｉｔｙ ａｒｅ

ｓｕｒｖｅｙｅｄ．

Ｋｅｖ ｗｏｒｄｓ ｂｉｇ ｄａｔａ；ｄａｔａ ｕｓａｂｉｌｉｔｙ；ｄａｔａ ｃｏｎｓｉｓｔｅｎｃｙ；ｄａｔａ ｃｏｍｐｌｅｔｅｎｅｓｓ；ｄａｔａ ａｃｃｕｒａｃｙ；ｄａｔａ

ｃｕｒｒｅｎｃｙ；ｅｎｔｉｔｙ ｉｄｅｎｔｉｔｙ

摘要随着信息技术的发展，特别是物理信息系统、互联网、云计算和社交网络等技术的突飞猛进，大
数据普遍存在，正在成为信息社会的重要财富，同时也带来了巨大的挑战．数据可用性问题就是大数据
的重要挑战之一．随着数据的爆炸性增长，劣质数据也随之而来，数据可用性受到严重影响，对信息社会
形成严重威胁，引起了学术界和工业界的共同关注．近年来，学术界和工业界开始研究数据可用性问题，
取得了一些的研究成果，但是针对大数据可用性问题的研究工作还很少．介绍了大数据可用性的基本概
念，讨论大数据可用性的挑战，探讨大数据可用性方面的研究问题，并综述数据可用性方面的研究成果．

关键词大数据；数据可用性；数据一致性；数据完整性；数据精确性；数据时效性；实体同一性

中图法分类号ＴＰ３１１．１３

近年来，信息技术的快速发展，特别是信息获取 业、科教文化、医疗卫生等领域都积累了ＴＢ级、ＰＢ
技术、物理信息系统、互联网、物联网、社交网络等技 级乃至ＥＢ级的大数据，这些数据已经开始造福于
术的突飞猛进，引发了数据规模的爆炸式增长，大数 人类，成为信息社会的重要财富．例如，著名的全球
据已经普遍存在，能源、制造业、交通运输业、服务 连锁超市沃尔玛每小时需要处理１００余万条的用户

收稿日期：２０１３ ０５—０６

基金项目：国家“九七三”重点基础研究发展计划基金项目（２０１２ｃＢ３１６２００）；国家自然科学基金重点项目（６１０３３０１５）

万方数据
 计算机研究与发展２０１３，５０（６）

请求，维护着一个超过２．５ ＰＢ的数据库；在高能物 息社会．在美国，由于数据错误而引发的医疗事故，

理实验中，２００８年开始投入使用的大型强子对撞机 每年导致约９８０００名患者死亡，约占全部医疗事故
每年产生超过２５ ＰＢ的数据；社交网络Ｆａｃｅｂｏｏｋ现 致死人数的５０％［４１；由于数据错误和陈旧而引起的
已存储超过５００亿张照片． 生产事故和决策失误，每年给美国工业企业造成约
大数据蕴含着巨大的价值，对社会、经济、科学 ６ １１０亿美元的损失，约占美国ＧＤＰ的６％［５１；美国
研究等各个方面都具有重要的战略意义，为人们更 零售业每年因标价数据错误而导致２５亿美元的损
深入地感知、认识和控制物理世界提供了前所未有 失¨１；在美国银行业，由于数据不一致问题而失察的
的丰富信息．例如，著名国际咨询机构Ｇａｒｔｎｅｒ在 信用卡欺诈在２００６年就造成４８亿美元的损失［７］．
２０１２年预测全球大数据相关产业的规模将达到 据有关专家推算，在数据仓库项目的开发过程中，清
２ ３２０亿美元；２０１０年时代杂志刊载的医学界年度 理不洁数据通常需要花费３０％～８０％的开发时间
十大突破中，医疗科技公司ＣａｒｄｉｏＤＸ通过对１亿 和开发预算［８３；数据可用性问题平均给每个企业增
个基因样本的分析，最终识别出能够预测冠心病的 加的成本是该企业产值的１０％～２０％［９］．此外，由
２３个主要基因；２００９年Ｇｏｏｇｌｅ的研究人员通过对 于网络的普及，很多应用可以从不同的数据源抽取
每日超过３０亿次搜索请求和网页数据的挖掘分析， 和集成信息，致使劣质信息产生和传播的风险达到
在Ｈ１Ｎ１流感爆发几周就预测出流感传播；通过对 了空前的水平．
微博等网络大数据的挖掘分析能够发现社会动态， 事实上，数据可用性问题是信息化社会中固有
预警重大和突发性事件． 的问题．它们不仅在西方发达国家存在，而是在任何
由于大数据的迅速涌现及其巨大价值，大数据 一个信息化社会都普遍存在．尽管我国尚未公布相
已经引起国内外学术界、工业界和政府部门的广泛 关统计信息，我们没有理由相信我国不存在类似的
关注．美国等世界发达国家都制定和启动了大数据 问题．例如，我们通过对某国有大型企业信息中心的
研究计划，投入大量资金支持大数据研究．我国对建 ＴＢ级数据的抽样检验，发现１０％的信息存在各种
设大数据管理基础设施的需求已经提出了指导性的 类型的错误．
方针．《国家中长期科技发展规划纲要（２００６— 综上所述，确保数据可用性是关系到大数据时
２０２０）》指出：“信息领域要重点研究开发……海量存 代的国计民生、社会和谐等方面的一项重大战略任
储和安全存储等关键技术９９．《国民经济和社会发展 务，是圆满完成大数据管理基础设施建设、有效发挥
第十二个五年规划纲要》提出：“重点研究……海量 大数据作用的重要前提．因此，深入开展数据可用性
信息处理及知识挖掘的理论与方法……”． 基础理论和关键技术的研究具有重要战略意义．本
虽然目前大数据研究已经蓬勃兴起，但是工作 文介绍大数据可用性的基本概念，讨论大数据可用
主要集中在大数据的存储、管理、挖掘分析等方面， 性的挑战和研究问题，并综述数据可用性方面的研
数据可用性问题没有得到足够重视． 究成果．

随着大数据的爆炸性增长，劣质数据也随之而
来，导致数据质量低劣，极大地降低了数据的可用 １ 大数据可用性的概念、挑战和研究问题
性．事实表明，大数据在可用性方面存在严重问题
（以下简称数据可用性问题）．国外权威机构的统计 １．１大数据可用性的基本概念
表明，美国企业信息系统中１％～３０％的数据存在 我们认为，一个正确的大数据集合至少应满足
各种错误和误差［１］，美国医疗信息系统中１３．６％～ 以下５个性质．
８１％的关键数据不完整或陈旧［２］．国际著名科技咨 １）一致性：数据集合中每个信息都不包含语
询机构Ｇａｒｔｎｅｒ的调查显示，全球财富１ ０００强企业 义错误或相互矛盾的数据．例如，数据（公司一“先
中超过２５％的企业信息系统中的数据不正确或不 导”，国码一“８６”，区号一“１０”，城市＝“上海”）含有
准确［３］．随着大数据的不断增长，数据可用性问题将 一致性错误，因为１０是北京区号而非上海区号．又
日趋严重，也必将导致源于数据的知识和决策的严 如，若银行信用卡数据库显示某持卡人在北京和新
重错误． 疆两地同时使用同一信用卡消费，则出现数据不一
数据可用性问题及其所导致的知识和决策错误 致，预示发生信用卡欺诈的可能．
已经在全球范围内造成了恶劣后果，严重困扰着信 ２）精确性：数据集合中每个数据都能准确表述

万方数据
李建中等：大数据的一个重要方面：数据可用性

现实世界中的实体．例如。某城市人口数量为４ １３０４６５， ２）完整的大数据可用性理论体系

数据库中记载为４００万，宏观来看该信息是合理的， 在数据可用性研究中，我们必须回答如下问题：
但不精确．一致的信息也可能含有误差，未必精确． 如何形式化地表示数据可用性？如何从理论上判定
在许多应用领域，信息精确性至关重要。 数据可用性？如何定量地评估数据可用性？数据错
３）完整性：数据集合中包含足够的数据来回答 误自动发现和修复的理论依据是什么？数据和数据
各种查询和支持各种计算．例如，某医疗数据库中的 质量融合管理（简称量质融合管理）的理论基础是什
数据一致且精确，但遗失某些患者的既往病史，从而 么？数据如何演化？没有一个完整的数据可用性理
存在不完整性，可能导致不正确的诊断甚至严重医 论体系，这些问题是无法回答的．因此，我们需要建
疗事故． 立统一的框架，提出完整的数据可用性理论体系，解
４）时效性：信息集合中每个信息都与时俱进， 决如下挑战性问题：建立大数据可用性的理论模型、
不陈旧过时．例如，某数据库中的用户地址在２０１０ 大数据可用性的形式化系统和推理机制、大数据可
年是正确的，但在２０１１年未必正确，即数据过时．据 用性评估理论和算法、大数据量质融合管理的理论
统计，商业和医疗信息库中平均５０％的用户信息在 和算法、大数据演化机理、大数据可用性所涉及的计
２年内可能过时，而过时信息将会导致严重后果． 算问题的复杂性理论和算法设计与分析的新方法．
５）实体同一性：同一实体在各种数据源中的描 ３）数据错误自动检测与修复的理论和技术
述统一．例如，为防止信用卡欺诈，银行需监测信用 现有的数据可用性的方法和系统缺乏坚实的理
卡的使用者和持有者是否为同一人．又如，企业的市 论基础，不能实现自动的错误检测和修复．为了实现
场、销售和服务部门可能维护各自的数据库，如果这 数据错误的自动检测和修复，我们需要在数据可用
些数据库之间没有共享统一的客户标识，企业的兼 性理论体系基础上解决如下挑战性问题：提出大数
并和重组会使兼并后的公司的客户数据库中存在大 据错误自动检测和修复问题的可计算性理论、大数
量具有差异的重复客户信息，导致实体表达混乱． 据错误自动检测和修复问题的计算复杂性理论、大
根据以上５个性质，我们可以如下定义数据可 数据错误自动检测和修复方法的可信性理论、高效
用性：一个数据集合满足上述５个性质的程度是该 实用的大数据错误自动检测与修复算法．
数据集合的可用性． ４）弱可用数据上近似计算的理论和技术
１．２大数据可用性的挑战和研究问题 当数据中的错误不能彻底修复时，这些数据称
确保数据可用性是一项十分困难的任务．考虑 为弱可用数据．直接在弱可用数据上进行满足给定
到大数据的数据量大、数据产生速度快、数据类型复 精度需求的近似计算，不失为一个有意义的选择．遗
杂、价值大密度低等４个特点，确保大数据可用性将 憾的是现有的理论与算法无法支持弱可用数据上的
变得难上加难．我们需要针对大数据的４个特点，解 近似计算．因此，我们需要解决如下挑战性问题：提
决如下大数据可用性的５个挑战性研究问题． 出弱可用大数据近似计算的可行性理论、弱可用大
１）高质量大数据获取与整合的理论和技术 数据近似计算问题的计算复杂性理论、弱可用大数
高质量数据的获取是确保信息可用性的重要前 据上近似计算结果的质量评估理论、弱可用大数据
提．海量数据的来源多种多样（如复杂物理信息系 上的近似计算方法．
统、物联网、Ｉｎｔｅｒｎｅｔ上的数据资源），数据模态千差 ５）弱可用数据上的知识发掘与演化的机理
万别（如关系数据、ＸＭＬ数据、图数据、流数据、标量 大数据的可用性问题必然导致源于数据的知识
数据、矢量数据），质量参差不齐，加工整合困难．这 的可用性问题．当数据完全可用时，从正确的大数据
些问题在当今突飞猛进的传感网、信息物理融合系 中发掘知识以及从数据演化探索知识演化机理的研
统和物联网及其产生的大数据背景下尤其严重．因 究已经很困难．当数据弱可用时，弱可用大数据上的
此，我们需要解决如下挑战性问题：在数据获取阶段 知识发掘与演化机理的研究将更加困难．我们需要
把住质量关，探索从物理信息系统等多数据源有效 解决如下挑战性问题：提出源于弱可用数据的知识可
地获取高质量大数据的理论和方法，研究高效数据 用性评估理论与方法、数据可用性与知识可用性的
过滤方法，建立多模态大数据融合计算的理论和算 相关性理论、弱可用大数据上知识发现的计算复杂
法，实现高质量数据获取和精准整合，继而发现数据 性理论和算法设计与分析新方法、源于弱可用数据
演变规律． 的知识校验与纠偏的理论和方法、源于弱可用数据

万方数据
 计算机研究与发展２０１３，５０（６）

的知识演变机理． 利用隐马尔可夫模型来判定数据源的复制关系，并
综上所述，大数据可用性在基础理论、算法和工 利用贝叶斯模型改善数据获取的过程，提高了结果
程技术各层面都提出了严峻的挑战性研究问题．目 数据的可用性．
前大数据可用性研究工作还刚刚开始，仅触及少数 文献［１２］进一步考虑更复杂的数据复制关系，
几个侧面，大量科学技术问题有待解决，向我们提出 包括部分数据复制、多个数据源同步复制、多数据源
了新的挑战，也为我们提供了新的机遇． 传递复制，给出了判定复制关系、提高集成数据可用
性的算法．
２数据可用性的研究进展 文献［１３］给出了一个判定数据复制关系的原型
演示系统．
国内外已经开展了一些数据可用性的研究工
文献Ｆ１４］对上述工作进行了系统性综述．
作，但是大数据可用性研究还刚刚起步。下面，我们 ２．１．２传感网数据的高质量获取与整合方法
分别从高质量大数据获取与整合、大数据可用性理
文献［１５—１６１针对无线传感网能量受限的特点，
论体系、数据错误自动检测与修复、弱可用数据的近
探索了在保障数据精确性的前提下以最小能量开销
似计算、弱可用数据的知识挖掘等方面，介绍国内外
获取感知数据的问题，提出了从无线传感网获取数
研究进展情况和发展趋势．
据的（ｅ，艿）一近似随机算法，确保获取数据的精度大
２．１ 高质量大数据获取与整合
于ｅ的概率小于艿．
大数据主要有３个来源：１）分布在Ｗｅｂ上的丰
文献［１７］研究了如何从传感网获取数据，使得
富数据库资源；２）物理信息系统，如智能电网、智慧
物理世界能够被准确近似，从而获取高精度数据，提
城市等；３）科学实验与观测数据（简称科学数据），如
高数据的可用性．该文献使用Ｈｅｒｍｉｔ插值及三次
高能物理实验数据、生物数据、空间观测数据等．通
样条插值技术，提出了两个面向物理过程的高精度
常，物理信息系统数据和科学数据一般都通过由传
变频数据采集算法，算法能够在保证数据可用性的
感器或观测设备构成的传感网来获取．大数据获取
前提下最小化传输到网络中的数据量，实现对物理
和整合是指从Ｗｅｂ数据源或传感网获取数据并将
世界的ｅ－近似逼近，使得获取的数据所描述的物理
其加工整合为存储在计算系统中的数据集合．高质
世界与真实物理世界的误差小于￡，其中ｅ可以是任
量大数据获取与整合是指最大化数据可用性的大数
意小的正数．
据获取与整合过程．下面我们从Ｗｅｂ数据的获取与
文献［１８］针对地理位置相近传感器节点的数据
整合、传感网数据的获取与整合两个方面，介绍高质
量数据获取与整合的研究进展． 中存在冗余的问题，提出了位置信息敏感的数据获

２．１．１ Ｗｅｂ数据的高质量获取与整合方法 取方法，利用数据源之间的地理关联特征，过滤冗余

Ｗｅｂ上存在丰富的数据源．人们经常需要从多 数据，提高获取的数据在事件监测应用中的可用性，

个Ｗｅｂ数据源获取数据，并将其整合为自己需要的 减低了误判的概率，并给出了能源有效的网内数据

数据集合，这个过程通常被称为Ｗｅｂ数据集成．在 获取算法．

Ｗｅｂ数据集成中，数据源的质量会极大地影响集成 ２．１．３小结

数据的可用性．如何判定和选择高质量数据源，使其 高质量大数据获取与整合研究工作刚刚起步，

成为数据获取的源泉，是获得高质量集成数据的关 研究结果还不多见，缺乏全面系统的研究，很多问题
键问题． 还没有解决，大量的新问题有待发现，这方面的研究
文献［１０Ｊ发现数据源之间的数据复制关系能够 任重道远．
帮助系统更好地选取高质量的数据源、改善集成数 ２．２大数据可用性理论体系
据的可用性．针对静态数据，文献［１０］提出了基于贝 本节从一致性、完整性、精确性、时效性、实体同
叶斯分析的方法，判定数据源之间的复制关系，并基 一性以及这５个可用性维度交互作用等６个方面综
于复制关系提出了高质量数据获取与整合的方法， 述大数据可用性理论体系的研究进展．
提高了获取与整合后的数据的可用性。 ２．２．１数据一致性的理论体系
文献［１１］针对动态数据，提出利用数据源中数 有关数据一致性理论体系的研究结果可以分为
据更新历史来判定数据源之间的复制关系的方法， 两类：基于语义规则的数据一致性理论体系、基于统

万方数据
李建中等：大数据的一个重要方面：数据可用性

计学的数据一致性描述方法． ｔａｂｌｅ）的不完整数据表述系统［３卜”］．条件表是传统
１）基于语义规则的数据一致性理论体系 关系表的扩展，允许属性值中出现变量和逻辑表达
在经典的关系数据系统中，函数依赖和包含依 式．变量表示缺失值．逻辑表达式表示缺失值之间的
赖可以用来描述数据的一致性，给出了一种数据一 逻辑关系．条件表既可以表示不完整数据，也支持不
致性的理论体系．但是，这种理论体系的能力极其受 完整数据上的查询处理．
限，很多数据一致性约束无法表达，很多数据一致性 为表述缺失信息，文献［３３］提出了另一种关系
错误不能被发现．针对函数依赖和包含依赖的局限 数据库的扩展模型，给出了封闭世界假设和开放世
性，文献［１９—２０］对其进行了扩展，提出条件函数依 界假设的概念，并在这两种假设下研究了如下判定
赖和条件包含依赖的语义规则，用来描述复杂数据 问题的计算复杂性：一个不完整数据库能否转换为
一致性约束，发现和修复复杂的数据一致性错误．文 满足一致性约束的完整数据库．
献［２０—２２］进一步研究了条件函数依赖的推理问题、 文献［３４］提出了“ｏｐｅｎ ｎｕｌｌ”的概念，提出了在
可满足问题、覆盖问题、检测问题、传递问题的计算 封闭式假设下数据库中缺失属性值的表示方法．
复杂度及其求解算法．文献［２０］研究了条件包含依 传统的数据完整性研究工作一般都建立在封闭
赖的推理问题和可满足问题的计算复杂度及其求解 世界假设开放世界假设的基础上．封闭世界假设表
算法．文献［２３］给出了条件函数依赖和条件包含依 示数据库包含了所有表述现实世界实体的元组，这
赖的详细综述． 些元组的某些属性值可能遗缺．开放世界假设表示
文献［２１］针对条件函数依赖无法描述“并”语义 数据库中不仅属性值可能遗失，表示现实世界实体
的问题，提出了扩展的条件函数依赖，并证明了扩展 的元组也可能完全遗缺．然而，表示现实世界的数据
的条件函数依赖的推理和可满足等问题与条件函数 库经常既不是完全封闭的，也不是完全开放的．基于
依赖的对应问题具有相同的计算复杂度． 这个考虑，文献［３５］针对元组遗失问题，提出了相对
文献Ｅ２４］在有时间戳的数据上提出了序列依赖 完整性理论来表述数据库相对于给定的主数据和查
语义规则，用来描述随时间变化数据的一致性约束， 询的完整性，研究了如下问题的计算复杂性：１）给
试图解决随时间变化数据的一致性错误的发现和修 定主数据和查询，判定一个数据库是否是完全的；
复问题． ２）给定主数据和查询，判定是否存在一个数据库相
文献［２５］针对异构数据源中由数据格式不一致 对给定的主数据和查询是完整的．文献［３６］扩展了
引发的一致性错误，利用描述属性值相似性测度扩 文献［３５］的研究结果，使之也适用于元组的属性遗
充了函数依赖，用来描述异构数据的一致性约束，发 失问题．
现和修复异构数据的一致性错误． 文献［３７—３８］将传统的完整性理论扩展到ＸＭＬ
文献［２６］研究了如何从数据中有效地发现条件 数据上，研究了如何表示不完整ＸＭＬ数据的问题．
函数依赖规则的问题，提出了一种具有剪枝能力搜 ２．２。３数据精确性的理论体系
索算法，有效地发现条件函数依赖．针对同样的问 数据精确性方面的研究工作目前还非常少见，
题，文献［２７］提出了另外４种算法，更有效地解决了 只有文献［３９］把不确定性视为精确度低的现象，提
条件函数依赖发现问题． 出了一种基于可能世界语义的数据精确性描述方
２）基于统计学的数据一致性描述方法 法，并给出了对应的精确性评估算法．
文献［２８］利用统计模型来描述数据的一致性， ２．２．４数据时效性的理论体系
并通过求解和比较模型参数的方法来发现和修复数 数据时效性和时态数据库的研究是不同的．时
据不一致性错误． 态数据库主要研究如何查询带有时间戳的信息和如
文献［２９］提出了基于统计知识的数据不一致性 何描述时间约束［４”４１Ｉ．在实际应用领域，时间戳信息
描述方法，并给出了基于超团的数据一致性提升算法． 经常未知或不完全［４ ２’４“．于是，数据时效性研究的目
２．２．２数据完整性的理论体系 的是在时间戳信息不存在或不完全的条件下，建立
传统的完整性研究可以追溯到２０世纪８０年代 数据时效的理论体系，解决数据时效性的判定问题、
开始的对数据库中“ｎｕｌｌ”语义的扩展讨论．早期研 数据时效性错误的自动发现和修复问题．
究大多关注于如何在数据库中表述缺失数据［３…． 文献［４４］提出了一个数据时效性模型，用基于
最经典的工作当属基于条件表（ｃｏｎｄｉｔｉｏｎａｌ 规则的方法描述同一实体对应的不同元组的属性值

万方数据
 计算机研究与发展２０１３，５０（６）

的时序关系，提出基于实体的最新值的查询语义，并 学习方法来研究获取实体同一性描述规则的方法．
给出了应用时序关系和拷贝关系推导实体最新信息 文献［６２３介绍了一个基于规则的系统，解决了
的推理机制．基于这个模型和时效性查询语义，文献 半结构化数据上的实体同一性的判定问题．
［４４３给出了回答用户查询的计算复杂性，并研究了 文献Ｅ６３］定义了图数据的实体同一性问题，并
在实体最新值缺失的情况下如何扩展拷贝关系以找 基于合并节点、增删边、标记节点等操作，提出了描
到实体的最新值． 述实体同一性的方法．
２．２．５数据实体同一性的理论体系 文献［６４—６７３在数据上提出了一系列新的图模
实体同一性是数据可用性方面研究最多的一个 式的定义、标准和匹配算法，新的图模式描述方法可
维度．最早的工作来自于文献［４５３．文献［４６３从统计 以用来描述图结构数据上的实体同一性．
学角度，形式化地定义了实体同一性错误检测的问 ２）基于相似性测度的实体同一性描述方法
题．文献［４７—４８３在数据库领域较早地提出了识别实 设Ｅ是实体集合，Ｅ中两个实体的相似性测度
体同一性错误的问题．文献［４９—５１］等给出了实体同 是一个函数Ｓ：Ｅ×Ｅ一［ｏ，１］．对于Ｖ ｚ，Ｙ∈Ｅ，
一性研究的综述．以下，我们依据描述实体同一性的
５（ｚ，ｙ）越大，ｚ和Ｙ就越可能是相同实体．一般来
不同方法来介绍实体同一性的研究进展． 说，相似性函数的输出值高于某个阈值时，则判定两
１）基于语义规则的实体同一性描述方法
个实体相同．
这类方法的大致思想是利用经验知识来给出解
文献［６８—６９３是较早地提出利用字符串属性值
决实体同一性问题的准则．
上定义的距离测度来描述实体同一性的工作．
文献［５２３提出了一个简单的方法，即通过比较
文献［７０ｌ利用信息检索领域中的ｔｆ．ｉｄｆ相似性
表示实体的不同关系元组的主键来确定这些元组是
度量方法扩展了基于字符串的相似性测度，提出了
否指代同一实体．当元组主键缺失时，利用函数依赖
描述实体同一性的另一种方法．
补齐元组中缺失的主键值．
为了更有效地计算实体间的相似性，文献Ｅ７１］
文献［４７—４８３提出了基于等值理论的规则来推
研究了实体间相似性判定的问题，基于如下思想：如
导元组中属性值之间的等价关系，用一组关系属性
果Ａ和Ｂ都经常与其他同一组元素一起出现，则Ａ
来描述实体同一性，通过比较多个关系元组中某些
与Ｂ的相似性较高，提出一种新的描述实体同一性
属性的值是否同时等价来判定这些元组是否指代同
的相似性测度的定义．
一实体．
文献［７２３利用聚簇的思想，提出了一种新的描
文献［５３—５４］给出了一个基于字符串转换规则
述实体同一性的方法．
的框架，利用字符串之间的转换关系描述属性值之
文献［７３］基于合并“ｒａｎｋｅｄ ｌｉｓｔ”方法，提出了
间的等价关系，进而描述实体同一性．文献［５５］研究
一种综合考虑多个属性的相似性测度的实体同一性
了如何从例子中学习字符串转换规则，从而得到描
度量方法．
述实体同一性的规则．文献［５６３在此框架下，进一步
考虑元组之间的关系，提出了一个基于逻辑编程的 文献Ｅ７４３基于机器学习方法，提出了结合多个

方法来描述实体同一性． 属性相似性测度描述实体同一性的方法．

文献［５７３提出用否定规则描述实体同一性，并 文献［７５３利用基于马尔科夫链的方法，提出描

针对否定规则对实体同一性的影响进行了研究． 述实体同一性的相似性测度．

文献［５８３提出了用聚集约束来描述实体同一性 文献［７６—７７３基于滑动窗口和“ｇｒａｍ”概念，描述

的方法． ＸＭＬ节点之间的相似性．我们可以用这样的相似性

文献［５９］首次形式化地提出了实体同一性描述 测度来描述ＸＭＬ数据上的实体同一性．
规则，系统地研究了给出的规则的推理问题，使得用 文献［７８３研究了从文本数据中抽取实体的问
来描述实体同一性的规则不再是松散的集合，而是 题，利用编辑距离来描述实体同一性．
可以相互配合相互推理，提高了此类方法描述实体 文献Ｅ７９］考虑ＲＦＩＤ数据中的实体同一性问题，
同一性的能力．文献［６０］进一步在动态语义下研究 提出了描述ＲＦＩＤ数据实体同一性的ＲＰＣＶ方法．
实体同一性规则的相互作用及推理问题． ２．２．６不同可用性维度的相互作用
文献Ｅ６１］结合期望最大化（ＥＭ）算法和无监督 目前的研究把数据的一致性、精确性、完整性、

万方数据
李建中等：大数据的一个重要方面：数据可用性

时效性、实体同一性分离，把每个特性视为一个独立 ２．３．１一致性错误的自动检测
领域，进行孤立的研究．然而，这些特性交互影响，任 基于函数依赖和条件函数依赖，文献Ｅ８２～８３］针
何可用性管理系统必须具有同时确保数据一致性、 对集中存储的关系数据库，使用ＳＱＬ语言设计了自
精确性、完整性、时效性、实体同一性的能力．我们需 动检测算法，用于查找违反条件函数约束和条件包
要提出一个统一的逻辑框架来解决这个问题．但目 含约束的元组．文献Ｅ８４］研究了在分布式环境下检
前还未有深入的研究结果，文献Ｅｓｏ］从管理学角度 测数据一致性错误的问题，目标是最小化数据通信
对各个特性出现的实例作了基本的介绍，但没有开 量．文献Ｅ８５］给出了一种增量式的分布式数据库中
展深入的研究，文献［８１］探讨了数据修复和元组匹 数据一致性错误的检测方法．
配的交互影响，基于条件函数约束和匹配约束，提出 ２．３．２实体同一性错误的自动检测
了一个同时支持数据修复和实体识别的信息清洗框 实体同一性错误是指在数据库中存在描述同一
架．在这方面有很多重要的研究问题还未被考虑，有 个现实世界实体的行个（以＞１）数据元组．于是，实体
大量的挑战性问题有待解决． 同一性错误检测的关键是识别数据库中相似实体，
２．２．７小结 简称实体识别．实体识别方面的研究工作很多，趋
数据一致性方面的研究工作主要关注集中方式 于成熟．以下，我们分４个方面介绍实体识别的研究
存储的关系数据，分布式存储的关系数据和非关系 进展．
数据的一致性理论工作还很少，适用于大数据的数 １）以最大化识别精度为目标的实体识别方法
据一致性相关技术还需要进一步探索． 最大化实体识别精度是实体识别研究的主要目
数据完整性方面的研究工作很少．针对传统的 标之一，围绕这个目标人们开展了大量研究。
完整性假设有了一些模型和相关问题的理论结果， 文献Ｅ８６］利用字符串等价关系词典的精确信
但是这些结果对于很多实际应用无意义．为此，人们 息，计算实体之间的相似性，提高了实体识别的精
开始研究具有普遍实际应用价值的完整性理论和方 度．

法，但是目前只有相对完整性方面的初步结果．我们 文献［８７３提出了描述实体之间关系的统计模
还需要建立更一般形式的完整性理论，开展更深入 型，提高了实体识别的精度，并给出了高精度的实体
的研究． 识别算法．
数据精确性方面的研究工作基本上是空白，亟 在基于统计学的实体识别方法中，参数设置错
需深人研究． 误和训练数据缺失会导致检测结果的不准确．针对
数据时效性方面的研究工作非常少，只有针对 这类问题，文献Ｅ８８］提出了一种两阶段的统计学方
特殊应用的少量研究结果，亟需深入系统地研究． 法，完成实体识别，提高了实体识别的精度．
实体同一性方面的研究工作主要针对关系数 文献［８９—９０］提出了利用机器学习方法提高实
据．关系数据上实体同一性研究已基本趋向成熟，但 体同一性检测精度的方法．
是复杂结构数据、半结构化数据、非结构化数据等非 文献Ｅ９１］提出了Ｃｏｌｌｅｃｔｉｖｅ Ｅｎｔｉｔｙ Ｍａｔｃｈｉｎｇ的

关系数据上的实体同一性方面的研究还很少见，尚 模型．该模型不仅利用元组之间的相似信息和元组
需深人研究． 同现的频度信息，还充分考虑了元组检测结果之间
总之，目前大数据的可用性方面的研究工作尚 的影响，利用检测的中间结果进行综合推理，提高了
处于起步阶段．目前的工作主要针对一致性和实体 实体识别的精度．
同一性开展了较为深入的研究，各个特性之间彼此 ２）以最大化识别效率为目标的实体识别方法
的关系还没有较为深入地探讨．非关系数据以及分 降低实体识别算法的时间复杂性是实体识别研
布式存储数据的可用性研究工作还很少． 究的另一个主要目标．虽然人们在这方面作出了巨
２．３数据错误自动检测与修复 大努力，但是现有的实体识别算法的最坏情况的时
数据错误的自动检测研究主要集中在一致性错 间复杂度皆为ｎ（押２）．
误和实体同一性错误两个方面．数据错误自动修复 为了改进实体识别的效率，文献Ｅ４８］较早地提
研究则主要集中在一致性错误、完整性错误和实体 出了数据分块处理的思想．在文献［４８］的方法中，首
同一性错误３个方面．下面，我们分５个方面来综述 先，元组被按照不同的属性值单独排序，然后，利用固
数据错误自动检测与修复的研究进展． 定长度的窗口顺序扫描每一个元组序列，并在窗口

万方数据
 计算机研究与发展２０１３，５０（６）

内部对实体进行匹配操作，最后将多个属性上的匹 的实体识别效率．
配结果合并得到最后的实体识别结果．假设窗１３大 文献Ｅ９９］针对实际应用中用户所需数据仅占全
小为Ｌ，元组数目为以，该方法能够将实体识别的代 部数据很小比例的情况，解决了在返回查询结果的
价从０（咒２）降至Ｏ（Ｌ×以），在实际应用中会大大提 同时给出实体识别结果的问题．该方法利用“边查询
高实体识别的效率．然而，在保证实体识别精度的情 边识别实体”的思想，仅在与查询结果涉及的实体相
况下，Ｌ的最坏情况是咒，因此算法的最坏时间代价 关的元组上运行识别算法，在较小地降低查询执行
仍然是０（行２）． 效率的前提下提高了实体识别方法的效率．
聚簇是实体识别的常用方法，然而聚簇算法的 文献［１００］针对实体识别结果相互影响的问题，
代价通常都比较高，并且随输入大小的增加，聚簇算 基于实体识别规则的动态语义，考虑识别规则之间
法的代价增长非常快．文献［９２］利用数据分块处理 的关系，提出了一种增量式的实体识别方法，提高了
的思想，将元组分块按照某些属性值的不同分为独 识别效率．
立的块，然后在每个块内单独运行聚簇算法，最后把 大多数应用都假设属性值是字符串，因此，提高
块上的聚簇结果合并得到实体识别的结果．文献 基于字符串的相似性匹配的效率是提高实体识别效
［９２］中的方法降低了每次调用的聚簇算法的时间代 率的重要方法．文献［１０１］较早地提出了基于字符串
价，整体上提高了基于聚簇方法的实体识别算法的 相似性的实体识别中的优化问题，并给出了初步的
效率． 优化算法．文献［１０Ｚ］对关系数据上基于字符串相似
文献［９３］针对数据规模比较大的情况，提出了 性匹配的实体识别问题作进一步的抽象，提出了“相
基于Ｈａｓｈ函数将数据分块的方法，并给出了对应 似连接”和“相似查询”操作，并将其作为数据库的一
的实体识别算法，改进了实体识别过程的效率． 个基本操作来研究．文献［１０３］提出了利用倒排索引
文献［９４］对两种实际中经常用到的数据分块方 加速相似查询的方法，并且针对索引占用空间大的问
法进行了形式化地描述并进行了分析对比．其中，一 题，给出了缩减索引空间代价的方法，提高了实体识
种是利用简单的策略（例如随即选取的Ｈａｓｈ函数） 别的效率．文献［１０４］针对相似连接问题，将字符串
将数据划分，另一种是利用某些语义信息（例如基于 的相似性计算转化为集合的相似连接问题，并提出
属性值的描述性规则）将数据划分块．在对比中，从 了集合的相似连接操作的算法，给出了基于字符串前
实体识别的时间效率角度来看，第２种方法具有明 缀、后缀的过滤方法，提高了基于相似连接的实体识
显的优势．然而，实际应用中要找到具有适合语义信 别方法的效率．文献［１０５］针对变长字符串，提出了
息的规则是非常困难的，有时甚至是不存在的． 基于变长字符串搜索的方法解决长字符的相似查询
文献［９５］提出了一种基于机器学习的数据分块 问题，提高了属性值为长字符串情况下的实体识别问
策略来改进实体识别的效率． 题．文献［１０６—１０８］研究了基于ｎ—ｇｒａｍ的近似字符
通常，实际中采用的数据分块方法并不能保证 串匹配问题，其基本思想是在字符串上建立咒一ｇｒａｍ
块间数据的独立性．在这种情况下，分块方法在提高 索引，将字符串之间的距离转化为对应咒一ｇｒａｍ交集
实体识别效率的同时，也降低了实体识别的精度．为 的数量，然后基于行一ｇｒａｍ的集合语义给出高效的相
了解决这个问题，文献［９６］基于增量计算的思想，提 似连接算法，从而改进了实体识别的效率．
出了迭代地实体识别方法．在每次迭代中，首先把上 文献［１０９］研究了高维数据上实体识别问题，利
一次迭代计算得到的每个分块的实体识别结果传输 用近似地计算高维数据相似性的思想，提出了ＬＳＳ
到其他块内，然后每个分块根据收到的更新结果增 算法，并利用ＧＰＵ的特性给出了对应的高效实现
量式地计算各自块内的实体识别结果，这样的迭代 方法．
计算一直进行直到结果不在改变或迭代次数达到给 文献［１１０一１１１］针对半结构化数据的实体识别
定阈值．该方法在保证实体识别效率的前提下改进 问题，基于同时匹配属性值和结构信息的思想，提出
了实体识别的结果精度． 了一个基于树结构匹配的高效的实体识别算法．
文献［９７］比较全面地综述了实体识别方法中的 ３）实体识别系统的实现方法
各种数据分块策略． 现有的研究工作已经提出了很多实体识别方
文献［９８］针对大数据的情况，基于数据分块计 法，差别很大，要想在一个系统里同时运用这些方法
算的思想，利用云计算的环境来加速大规模数据上 很难．文献［１１２］针对这个问题，提出了一个解决实

万方数据
李建中等：大数据的一个重要方面：数据可用性

体识别问题的通用系统框架，支持插入不同的构建 性值来修复数据不一致错误的方法．该文给出了修
来定制实体识别方法，可以灵活地实现多个实体识 复操作的代价模型，并给出了在这个模型下代价优
别方法的整合． 化的数据一致性错误修复算法．
大多数已有的实体识别研究都是针对实体识别 文献［１２４］针对由条件函数依赖所发现的数据
操作内部来进行优化，文献Ｅ１１３３对实体识别问题进 一致性错误，证明了数据一致性错误的修复问题以
行了形式化的描述，把“比较”和“合并”等操作抽象 及数据一致性错误增量式修复问题都是ＮＰ完全问
出来作为黑盒处理，给出了优化方法提高整个实体 题，并设计了启发式近似算法自动修复数据的不一
识别过程的效率． 致错误．
文献［１１４３把实体识别涉及的操作看作黑盒，把 在某些情况下，用户能够给出一些修复后数据
实体识别过程抽象为代数操作序列，解决了在操作 的正确性描述（基于用户定义的强制性约束）．如果
执行顺序上的优化问题．该工作提出了一种基于用 一个可能修复不满足这个描述，它就是不合理的．文
户示例驱动的方法，根据用户输入的实体识别过程 献［１２５］针对这个问题，定义了一个由所有合理修复
示例，自动地生成与用户示例语义一致的最优实体 构成的空间，并且给出了修复算法．
识别操作序列，提高了整个实体识别系统的效率． 文献１－１２６３针对两个元组的修复不独立的情况，
不同的实体识别方法是往往针对不同的应用， 给出了修复数据不一致错误的算法．
文献［１１５］提出通过集成多个实体识别方法来提高 ２）基于统计学的方法
实体识别精度的思想，提出了基于语义信息的多实 文献Ｅ１２７］提出了一种基于概率的数据一致性
体识别方法集成的机制，提高了整个实体识别方法 错误修复方法．该方法首先假定存在一个满足一致
的精度． 性约束的合理修复的空间，然后依据合理修复的概
４）实体识别方法的测评 率分布进行抽样，最后使用抽取出来的合理修复完
虽然实体识别的方法有很多，但很难对其进行 成数据的修复．
综合、公平的比较．原因是没有公认的评测集，没有 文献Ｅａ２ｓ一１３０］分别以ＲＦＩＤ和传感器网络为
公认的比较测度．这方面仅有一些初步的工作． 背景，针对利用统计学定义的数据一致性错误，提出
文献Ｅ１１６］对比了各种基于字符串匹配的实体 了修复数据一致性错误的方法．
识别的相似性度量． ２．３．４实体同一性错误的自动修复
文献［１１７—１１８］提出了建立实体识别评测集的 修复数据的实体同一性错误就是要把描述同一
问题，并给出了实现评测集的指导思想，但并没有给 个现实世界实体的多个元组合并为一个单独的元
出具体的实现． 组，从而为用户提供实体同一的信息．
文献［１１９—１２０Ｊ在真实数据上对比了各种实体 文献１－１３１］利用数据融合技术，解决了实体同一
识别方法的效率．文献［１２１］较少了比较１１种不同 性错误的修复问题．
实体识别方法的逻辑框架． 数据的一次性修复会引起不可逆转的错误（即
文献Ｅ１２２３在实体识别结果和正确结果都给定 失去的数据无法恢复）．文献Ｅ１３２３针对这个问题，提
的情况下，针对评价实体识别结果优劣的问题，提出 出利用一系列修复取代一次性修复的思想，给出了
了一个基于“合并”和“分裂”操作的实体识别结果评 利用参数控制的实体同一性错误修复方法，通过一
价测度，并给出了理论性分析． 系列不同参数的修复，获得不同修复结果，最后把这
２．３．３一致性错误的自动修复 些结果综合为最终的修复结果，避免了修复引起的
下面我们从两个方面综述目前已经提出的数据 错误．
一致性错误自动修复的方法． 文献［１３３－］提出了基于概率方法对查询结果中
１）基于语义规则的方法 的实体同一性错误进行修复的方法，该方法通过改
文献１－４０Ｊ针对传统的函数依赖所发现的数据不 写查询，将概率信息的计算加入到查询执行中，使得
一致错误，给出了基于删除元组的修复数据不一致 查询结果中的实体一致性错误得到修复．
错误的方法． 文献［－１３４－１介绍了一个实体同一性错误修复系统．
文献Ｅ１２３３针对传统的函数依赖和包含依赖规 文献１－１３５—１３６］提出了一种基于传统的聚簇方
所发现的数据不一致错误，提出了通过修改元组属 法的实体同一性错误修复方法，并给出了基于统计

万方数据
 计算机研究与发展２０１３，５０（６）

信息的算法优劣衡量标准．在基于聚簇方法修复实 处于萌芽阶段，仅针对一些特定的问题提出了相应
体同一性错误的过程中，簇之间的阈值设置是一个 的技术，针对大数据及更多可用性问题的深入研究
关键问题，文献Ｅ７２１考虑到不同元组应设置不同阈 还有待开展．
值，提出了一种基于变化阈值的聚簇方法来提高实 ２．５弱可用数据上的的知识挖掘
体同一性错误修复的精度． 在弱可用数据上的知识挖掘方面的工作还很少
大多数实体同一性错误修复的研究工作都假设 见．但是近年来出现了针对不确定性数据的知识挖
实体的每个属性只有一个值．文献［１３７］研究了作这 掘研究．
个假设不成立时的实体同一性错误修复问题，把实 针对聚类问题，文献Ｅ１４５１提出了把不确定数据
体同一性错误的修复问题抽象成一个Ｋ部图上的 的Ｋ—ｍｅａｎｓ和Ｋ—ｍｅｄｉａｎ计算转换为确定数据的加
聚簇问题，并提出了基于爬山和贪心的两种启发式 权计算的方法．文献Ｅ１４６］贝０提出了不确定数据上的
实体同一性错误修复方法。 聚类算法ＦＤＢＳＣＡＮ．
２．３．５实体完整性错误的自动修复 针对频繁项集挖掘问题，文献［１４７—１４８］提出了
数据完整性的修复工作比较少，只有文献［１３８１ 不确定数据频繁模式挖掘方法．
针对两种特殊类型的应用（年龄推断和感知数据的 针对图数据的不精确或者不完整，文献［１４９１给
补齐），提出了一种基于概率模型解决缺失数据值估 出了一个“劣质”图数据的模型，定义了基于期望的
计方法． 图挖掘问题，证明了该问题是ＮＰ难的，并且给出了
２．３．６小结 有效的近似算法求解该问题．文献［１５０—１５１１考虑了
在数据错误的自动检测方面，现有的工作主要 基于概率的不确定图语义，重新定义了频繁子图挖
针对一致性和实体同一性展开研究，其他可用性维 掘问题，并证明了这个问题的＃Ｐ一完全性，提出了求
度上的错误自动检测方法有待研究，缺乏针对各个 解该问题的随机算法．文献［１５２３提出劣质图数据
可用性维度的适应于大数据的实用技术，缺乏对数 上的ｔｏｐ—ｋ最大团挖掘算法．文献［１５３］研究了劣质
据库整体可用性评估度量的理论及方法；在数据错 图数据上考虑可靠的聚簇问题．文献Ｅ１５４］研究了劣
误自动修复方面，已有的工作主要是针对一致性和 质图数据上带约束条件的可达性查询问题．
实体同一性错误的修复，其他维度上面的修复技术 在知识演化问题上，文献［１５５３提出一种在数据
基本没有，并且缺乏适用于大数据的自动修复技术， 社区中建立知识演化系统的方法．文献Ｅ１５６］提出了
缺乏对修复后数据的可用性的判别理论及方法． 基于社区用户协同的知识演化方法．文献Ｅ１５７３提出
２．４弱可用数据的近似计算 了基于遗传算法的弱可用数据上的知识演化方法．
弱可用数据是指包含错误的数据．弱可用数据 文献［１５８１提出了从弱可用数据中挖掘规则的方法．
近似计算方面的研究工作在多个数据可用性维度上 文献［１５９］针对不确定的类别数据，提出了直接在弱
都有初步的探讨，但缺乏深入系统的研究．下面，我 可用数据上挖掘频繁模式的算法。
们根据可用性维度分类探讨这些工作． 小结：大数据上的知识发现和知识演化的研究
在数据不一致的情况下，文献［１３９—１４０１提出了 主要关心数据的不确定问题，很少关心可用性问题，
简单不一致数据上的查询处理方法，即利用约束条 尤其缺乏弱可用数据上的知识发现和知识演化的研
件形成的子查询，改写原始查询，使改写后的查询能 究．在以可用性为基础的知识发现和知识演化研究
够适应数据的不一致性错误，在不一致的数据上求 方面，几乎所有问题都尚待解决．
解查询结果．
在数据不完整的情况下，文献Ｄ４１—１４２］研究了 ３ 结 论
如何从不完整的数据库中找到“完整”的用户查询结
果的问题．文献［１４３］提出了在不完整数据上进行 大数据可用性的研究工作刚刚启动，处于起步
Ｓｋｙｌｉｎｅ查询的算法． 阶段．现有的研究工作主要局限在集中式存储的关系
在数据的实体同一性错误存在的情况下，文献 数据的一致性和实体同一性这两个方面，少数工作
［１４４］针对联机分析处理操作，提出了直接在劣质数 涉及到关系数据的时效性和完整性，数据的精确性
据上执行联机分析处理的方法． 还无人问津，弱可用数据上的近似计算和知识挖掘
小结：弱可用数据上的近似计算理论及技术还 还很少见，现有的数据错误检测与修复算法不适于

万方数据
李建中等：大数据的一个重要方面：数据可用性 １１５７

大数据．特别值得注意的是，针对复杂类型、半结构 ［１３］ Ｄｏｎｇ Ｘ Ｌ，Ｂｅｒｔｉ—Ｅｑｕｉｌｌｅ Ｌ，Ｈｕ Ｙｉｆａｎ，ｅｔ ａ１．Ｓｏｌｏｍｏｎ：

Ｓｅｅｋｉｎｇ ｔｈｅ ｔｒｕｔｈ ｖｉａ ｃｏｐｙｉｎｇ ｄｅｔｅｃｔｉｏｎ［Ｊ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ

化、非结构化等非关系数据的可用性研究基本为零．
ｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２０１０，３（１１２）：１６１７—１６２０
总之，我们需要针对集中式和分布式存储的关
［１４］ Ｄｏｎｇ Ｘ Ｌ，Ｎａｕｍａｎｎ Ｆ．Ｄａｔａ ｆｕｓｉｏｎ：ｒｅｓｏｌｖｉｎｇ ｄａｔａ ｃｏｎｆｌｉｃｔｓ

系大数据和非关系大数据，系统深入地开展大数据 ｆｏｒ ｉｎｔｅｇｒａｔｉｏｎ［ｊ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，

可用性研究，提出大数据可用性的完整理论体系、高 ２００９，２（２）：１６５４—１６５５

［１５３ Ｃｈｅｎｇ Ｓｉｙａｏ，Ｌｉ Ｊｉａｎｚｈｏｎｇ．Ｓａｍｐｌｉｎｇ ｂａｓｅｄ（ｅ，８）一

质量大数据获取的理论和方法、有效的大数据错误
ａｐｐｒｏｘｉｍａｔｅ ａｇｇｒｅｇａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｉｎ ｓｅｎｓｏｒ ｎｅｔｗｏｒｋｓ［ｃ］／／
自动发现和自动修复的算法、弱可用大数据的近似
Ｐｒｏｅ ｏｆ ＩＥＥＥ ＩＣＤＣＳｌ０９．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２００９：２７３—

计算理论和算法以及弱可用大数据的知识挖掘理论 ２８０

和算法． ［１６］ Ｌｉ Ｊｉａｎｚｈｏｎｇ，Ｃｈｅｎｇ Ｓｉｙａｏ．（￡，８）一ａｐｐｒｏｘｉｍａｔｅ ａｇｇｒｅｇａｔｉｏｎ

ａｌｇｏｒｉｔｈｍｓ ｉｎ ｄｙｎａｍｉｃ ｓｅｎｓｏｒ ｎｅｔｗｏｒｋｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ ｏｎ

Ｐａｒａｌｌｅｌ ａｎｄ Ｄｉｓｔｒｉｂｕｔｅｄ Ｓｙｓｔｅｍｓ。２０１２，２３（３）：３８５—３９６

参 考 文 献
［１７］ Ｃｈｅｎｇ Ｓｉｙａｏ，Ｌｉ Ｊｉａｎｚｈｏｎｇ，Ｃａｉ Ｚｈｉｐｅｎｇ．ｏ（￡）一ａｐｐｒｏｘｉｍａｔｉｏｎ

ｔｏ
ｐｈｙｓｉｃａｌ ｗｏｒｌｄ ｂｙ ｓｅｎｓｏｒ ｎｅｔｗｏｒｋｓ［ｃ］／／Ｐｒｏｃ ｏｆ ＩＥＥＥ

［１］ Ｒｅｄｍａｎ Ｔ．Ｔｈｅ ｉｍｐａｃｔ ｏｆ ｐｏｏｒ ｄａｔａ ｑｕａｌｉｔｙ ｏｎ ｔｈｅ ｔｙｐｉｃａｌ

ＩＮＦＯＣＯＭ’１３．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２０１３：３１８４－３１９２
ｅｎｔｅｒｐｒｉｓｅ［Ｊ］．Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ，１９９８，４１（２）：
［１８］ Ｃｈｅｎｇ Ｓｉｙａｏ，Ｌｉ Ｊｉａｎｚｈｏｎｇ，Ｌｉｕ Ｙｕ．Ｌｏｃａｔｉｏｎ ａｗａｒｅ ｐｅａｋ
７９－８２
ｖａｌｕｅ ｑｕｅｒｉｅｓ ｉｎ ｓｅｎｓｏｒ ｎｅｔｗｏｒｋｓ［ｃ］／／Ｐｒｏｃ ｏｆ ＩＥＥＥ

［２３ Ｍｉｌｌｅｒ Ｄ Ｗ，Ｙｅａｓｔ Ｊ Ｄ，Ｅｖａｎｓ Ｒ Ｌ．Ｍｉｓｓｉｎｇ ｐｒｅｎａｔａｌ ｒｅｃｏｒｄｓ

ＩＮＦＯＣＯＭ’１２．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２０１２：４８６－４９４
ａｔ ａ ｂｉｒｔｈ ｃｅｎｔｅｒ：Ａ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｐｒｏｂｌｅｍ ｑｕａｎｔｉｆｉｅｄ［ｃ］／／ ［１９］ Ｂｏｈａｎｎｏｎ Ｐ，Ｆａｎ Ｗｅｎｆｅｉ，Ｇｅｅｒｔｓ Ｆ，ｅｔ ａ１．Ｃｏｎｄｉｔｉｏｎａｌ
Ｐｒｏｃ ｏｆ ＡＭＩＡ Ａｎｎｕａｌ Ｓｙｍｐ Ｐｒｏｃｅｅｄｉｎｇｓ． Ｍａｒｙｌａｎｄ： ｆｕｎｃｔｉｏｎａｌ ｄｅｐｅｎｄｅｎｃｉｅｓ ｆｏｒ ｄａｔａ ｃｌｅａｎｉｎｇ Ｅｃ］／Ｐｒｏｃ ｏｆ ＩＥＥＥ

Ａｍｅｒｉｃａｎ ＭｅｄｉｃａｌＩｎｆｏｒｍａｔｉｃｓ Ａｓｓｏｃｉａｔｉｏｎ，２００５：５３５—５３９

ＩＣＤＥ’０７．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２００７：７４６－７５５
Ｉ－３］ Ｓｗａｒｔｚ Ｎ．Ｇａｒｔｎｅｒ ｗａｒｎｓ ｆｉｒｍｓ ｏｆ‘ｄｉｒｔｙ ｄａｔａ’［Ｊ］． ［２０］ Ｂｒａｖｏ Ｌ，Ｆａｎ Ｗｅｎｆｅｉ，Ｍａ Ｓｈｕａｉ．Ｅｘｔｅｎｄｉｎｇ ｄｅｐｅｎｄｅｎｃｉｅｓ

Ｉｎｆｏｒｍａｔｉｏｎ Ｍａｎａｇｅｍｅｎｔ Ｊｏｕｒｎａｌ，２００７，４１（３）：６ ｗｉｔｈ ｃｏｎｄｉｔｉｏｎｓ［ｃ］／Ｐｒｏｃ ｏｆ ｔｈｅ ３３ｒｄ Ｉｎｔ Ｃｏｎｆ ｏｎ Ｖｅｒｙ

Ｅ４３ Ｋｏｈｎ Ｌ Ｔ，Ｃｏｒｒｉｇａｎ Ｊ Ｍ，Ｄｏｎａｌｄｓｏｎ Ｍ Ｓ．Ｔｏ Ｅｒｒ ｉｓ Ｌａｒｇｅ Ｄａｔａｂａｓｅｓ．Ｓａｎ Ｆｒａｎｃｉｓｃｏ，ＣＡ：Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ，

Ｈｕｍａｎ：Ｂｕｉｌｄｉｎｇ ａ Ｓａｆｅｒ Ｈｅａｌｔｈ Ｓｙｓｔｅｍ［Ｍ］．Ｗａｓｈｉｎｇｔｏｎ： ２００７：２４３—２５４

Ｎａｔｉｏｎａｌ Ａｃａｄｅｍｉｅｓ Ｐｒｅｓｓ，２０００ ［２１］ Ｂｒａｖｏ Ｌ，Ｆａｎ Ｗｅｎｆｅｉ，Ｇｅｅｒｔｓ Ｆ，ｅｔ ａ１．Ｉｎｃｒｅａｓｉｎｇ ｔｈｅ

Ｅ５３ Ｅｃｋｅｒｓｏｎ Ｗ．Ｄａｔａ Ｗａｒｅｈｏｕｓｉｎｇ Ｓｐｅｃｉａｌ Ｒｅｐｏｒｔ：Ｄａｔａ ｑｕａｌｉｔｙ ｅｘｐｒｅｓｓｉｖｉｔｙ ｏｆ ｃｏｎｄｉｔｉｏｎａｌ ｆｕｎｃｔｉｏｎａｌ ｄｅｐｅｎｄｅｎｃｉｅｓ ｗｉｔｈｏｕｔ

ａｎｄ ｔｈｅ ｂｏｔｔｏｍ ｌｉｎｅ ＪＲ］．Ａｐｐｌｉｃａｔｉｏｎｓ Ｄｅｖｅｌｏｐｍｅｎｔ Ｔｒｅｎｄｓ，

ｅｘｔｒａ ｃｏｍｐｌｅｘｉｔｙ Ｅｃ］／Ｐｒｏｃ ｏｆ ＩＥＥＥ ＩＣＤＥ’０８．Ｐｉｓｃａｔａｗａｙ，

２００２ ＮＪ：ＩＥＥＥ，２００８：５１６－５２５

［２２］ Ｆａｎ Ｗｅｎｆｅｉ，Ｍａ Ｓｈｕａｉ，Ｈｕ Ｙａｎｌｉ，ｅｔ ａ１．Ｐｒｏｐａｇａｔｉｎｇ

Ｅ６３ Ｅｎｇｌｉｓｈ Ｌ Ｐ．Ｉｍｐｒｏｖｉｎｇ Ｄａｔａ Ｗａｒｅｈｏｕｓｅ ａｎｄ Ｂｕｓｉｎｅｓｓ

Ｉｎｆｏｒｍａｔｉｏｎ Ｑｕａｌｉｔｙ：Ｍｅｔｈｏｄｓ ｆｏｒ Ｃｏｓｔｓ ａｎｄ

ｆｕｎｃｔｉｏｎａｌ ｄｅｐｅｎｄｅｎｃｉｅｓ ｗｉｔｈ ｃｏｎｄｉｔｉｏｎｓ［Ｊ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ
Ｒｅｄｕｃｉｎｇ
ｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２００８，１（１）：３９１—４０７
Ｉｎｃｒｅａｓｉｎｇ Ｐｒｏｆｉｔｓ［Ｍ］．Ｎｅｗ Ｙｏｒｋ：Ｗｉｌｅｙ，１９９９
［２３３ Ｆａｎ Ｗｅｎｆｅｉ．Ｄｅｐｅｎｄｅｎｃｉｅｓ ｒｅｖｉｓｉｔｅｄ ｆｏｒ ｉｍｐｒｏｖｉｎｇ ｄａｔａ
Ｅ７］ Ｗｏｏｌｓｅｙ Ｂ，Ｓｃｈｕｌｚ Ｍ．Ｃｒｅｄｉｔ ｃａｒｄ ｓｔａｔｉｓｔｉｃｓ，ｉｎｄｕｓｔｒｙ ｆａｃｔｓ，
ｑｕａｌｉｔｙ［ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ ２７ｔｈ ＡＣＭ ＳＩＧＭＯＤ ＳＩＧＡＣＴ—
ｄｅｂｔ ｓｔａｔｉｓｔｉｃｓ ［ＯＬ］． ［２０１３一０４—２０］．ｈｔｔｐ：／ｗｗｗ．
ＳＩＧＡＲＴ Ｓｙｍｐ ｏｎ
Ｐｒｉｎｃｉｐｌｅｓ ｏｆ Ｄａｔａｂａｓｅ Ｓｙｓｔｅｍｓ．Ｎｅｗ
ｃｒｅｄｉｔｃａｒｄｓ． ｃｏｍ／ｃｒｅｄｉｔ—ｃａｒｄ—ｎｅｗｓ／ｃｒｅｄｉｔ—ｃａｒｄ—ｉｎｄｕｓｔｒｙ—ｆａｃｔｓ
Ｙｏｒｋ：ＡＣＭ，２００８：１５９－１７０
ｐｅｒｓｏｎａｌ—ｄｅｂｔ—ｓｔａｔｉｓｔｉｃｓ一１２７６．ｐｈｐ
［２４］ Ｇｏｌａｂ Ｌ，Ｋａｒｌｏｆｆ Ｈ，Ｋｏｒｎ Ｆ，ｅｔ ａ１．Ｓｅｑｕｅｎｔｉａｌ ｄｅｐｅｎｄｅｎｃｉｅｓ
Ｅ８］ Ｓｈｉｌａｋｅｓ Ｃ，Ｔｙｌｍａｎ Ｊ．Ｅｎｔｅｒｐｒｉｓｅ ｉｎｆｏｒｍａｔｉｏｎ ｐｏｒｔａｌｓ ＪＲ］．
ＥＪ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２００９，２（１）：
Ｎｅｗ Ｙｏｒｋ：Ｍｅｒｒｉｌｌ Ｌｙｎｃｈ，１ ９９８
５７４－５８５
［９］ Ｒａｈｍ Ｅ，Ｄｏ Ｈ Ｈ．Ｄａｔａ ｃｌｅａｎｉｎｇ：Ｐｒｏｂｌｅｍｓ ａｎｄ ｃｕｒｒｅｎｔ

［２５］ Ｋｏｕｄａｓ Ｎ，Ｓａｈａ Ａ，Ｓｒｉｖａｓｔａｖａ Ｄ，ｅｔ ａ１．Ｍｅｔｒｉｅ ｆｕｎｃｔｉｏｎａｌ

ａｐｐｒｏａｃｈｅｓ口］．ＩＥＥＥ Ｄａｔａ Ｅｎｇｉｎｅｅｒｉｎｇ Ｂｕｌｌｅｔｉｎ，２０００，２３
ｄｅｐｅｎｄｅｎｃｉｅｓ［ｃ］Ｉ／Ｐｒｏｃ ｏｆ ＩＥＥＥ ＩＣＤＥ’０９，Ｐｉｓｅａｔａｗａｙ，ＮＪ：
（４）：３－１３
ＩＥＥＥ，２００９：１２７５一１２７８

［１０］ Ｄｏｎｇ Ｘ Ｌ，Ｂｅｒｔｉ—Ｅｑｕｉｌｌｅ Ｉ。，Ｓｒｉｖａｓｔａｖａ Ｄ， Ｉｎｔｅｇｒａｔｉｎｇ

［２６］ Ｃｈｉａｎｇ Ｆ，Ｍｉｌｌｅｒ Ｒ Ｊ．Ｄｉｓｃｏｖｅｒｉｎｇ ｄａｔａ ｑｕａｌｉｔｙ ｒｕｌｅｓ［Ｊ］．
ｃｏｎｆｌｉｃｔｉｎｇ ｄａｔａ：Ｔｈｅ ｒｏｌｅ ｏｆ ｓｏｕｒｃｅ ｄｅｐｅｎｄｅｎｃｅ［Ｊ］． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２００８，１（１）：１１６６一

Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２００９，２（１）：５５０—５６１ １１７７

［ｉ１］ Ｄｕｎｇ Ｘ Ｌ，Ｂｅｒｔｉ—Ｅｑｕｉｌｌｅ Ｌ，Ｓｒｉｖａｓｔａｖａ Ｄ．Ｔｒｕｔｈ ｄｉｓｃｏｖｅｒｙ ［２７］ Ｆａｎ Ｗｅｎｆｅｉ，Ｇｅｅｒｔｓ Ｆ，Ｌｉ Ｊｉａｎｚｈｏｎｇ，ｅｔ ａ１．Ｄｉｓｃｏｖｅｒｉｎｇ

ａｎｄ ｃｏｐｙｉｎｇ ｄｅｔｅｃｔｉｏｎ ｉｎ ａ ｄｙｎａｍｉｃ ｗｏｒｌｄ［Ｊ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｃｏｎｄｉｔｉｏｎａｌ ｆｕｎｃｔｉｏｎａｌ ｄｅｐｅｎｄｅｎｃｉｅｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ ｏｎ

ｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２００９，２（１）：５６２—５７３

Ｋｎｏｗｌｅｄｇｅ ａｎｄ Ｄａｔａ Ｅｎｇｉｎｅｅｒｉｎｇ，２０１Ｉ，２３（５）：６８３—６９８

［１２］ Ｄｏｎｇ Ｘ Ｌ，Ｂｅｒｔｉ—Ｅｑｕｉｌｌｅ Ｌ，Ｈｕ Ｙｉｆａｎ，ｅｔ ａ１．Ｇｌｏｂａｌ ｄｅｔｅｃｔｉｏｎ ［２８］ Ｋｏｒｎ Ｆ，Ｍｕｔｈｕｋｒｉｓｈｎａｎ Ｓ，Ｚｈｕ Ｙ．Ｃｈｅｃｋｓ ａｎｄ ｂａｌａｎｃｅｓ：

ｏｆ ｃｏｍｐｌｅｘ ｃｏｐｙｉｎｇ ｒｅｌａｔｉｏｎｓｈｉｐｓ ｂｅｔｗｅｅｎ ｓｏｕｒｃｅｓ ＥＪ］． Ｍｏｎｉｔｏｒｉｎｇ ｄａｔａ ｑｕａｌｉｔｙ ｐｒｏｂｌｅｍｓ ｉｎ ｎｅｔｗｏｒｋ ｔｒａｆｆｉｃ ｄａｔａｂａｓｅｓ

Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２０１０，３（１１２）：１３５８一 ［ｃ］／Ｐｒｏｃ ｏｆ ｔｈｅ ２９ｔｈ Ｉｎｔ Ｃｏｎｆ ｏｎ Ｖｅｒｙ Ｌａｒｇｅ Ｄａｔａｂａｓｅｓ．

】３６９ Ｓａｎ Ｆｒａｎｃｉｓｃｏ，ＣＡ：Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ，２００３：５３６—５４７

万方数据
 １１５８ 计算机研究与发展２０１３，５０（６）

［２９３ Ｘｉｏｎｇ Ｈｕｉ，Ｐａｎｄｅｙ Ｇ，Ｓｔｅｉｎｂａｃｈ Ｍ，ｅｌ ａ１．Ｅｎｈａｎｃｉｎｇ ｄａｔａ ［４６］Ｆｅｌｌｅｇｉ Ｉ Ｐ，Ｓｕｎｔｅｒ Ａ Ｂ． Ａ ｔｈｅｏｒｙ ｆｏｒ ｒｅｃｏｒｄ ｌｉｎｋａｇｅ［Ｊ］．

ａｎａｌｙｓｉｓ ｗｉｔｈ ｎｏｉｓｅ ｒｅｍｏｖａｌ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ ｏｎ Ｋｎｏｗｌｅｄｇｅ Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｍｅｒｉｃａｎ Ｓｔａｔｉｓｔｉｃａｌ Ａｓｓｏｃｉａｔｉｏｎ，１９６９。６４

ａｎｄ Ｄａｔａ Ｅｎｇｉｎｅｅｒｉｎｇ，２００６，１８（３）：３０４—３１９ （３２８）：１１８３－１２１０

［３０３ ｖａｎ ｄｅｒ Ｍｅｙｄｅｎ Ｒ．Ｌｏｇｉｃａｌ Ａｐｐｒｏａｃｈｅｓ ｔｏ Ｉｎｃｏｍｐｌｅｔｅ ［４７］Ｈｅｒｎｄｎｄｅｚ Ｍ Ａ，Ｓｔｏｌｆｏ Ｓ Ｊ．Ｔｈｅ ｍｅｒｇｅ］ｐｕｒｇｅ ｐｒｏｂｌｅｍ ｆｏｒ

Ｉｎｆｏｒｍａｔｉｏｎ：Ａ Ｓｕｒｖｅｙ［Ｍ］．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ，１９９８：３０７— ｌａｒｇｅ ｄａｔａｂａｓｅｓ［Ｊ］．Ｐｒｏｃ ｏｆ ＡＣＭ ＳＩＧＭＯＤ Ｒｅｃｏｒｄ，１９９５，

３５６ ２４（２）：１２７—１３８

［３１］ Ｇｒａｈｎｅ Ｇ．Ｔｈｅ Ｐｒｏｂｌｅｍ ｏｆ Ｉｎｃｏｍｐｌｅｔｅ Ｉｎｆｏｒｍａｔｉｏｎ ｉｎ

［４８］Ｈｅｒｎｄｎｄｅｚ Ｍ Ａ，Ｓｔｏｌｆｏ Ｓ Ｊ．Ｒｅａｌ—ｗｏｒｌｄ ｄａｔａ ｉｓ ｄｉｒｔｙ：Ｄａｔａ
Ｒｅｌａｔｉｏｎａｌ Ｄａｔａｂａｓｅｓ［Ｍ］．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ，１９９１ ｃｌｅａｎｓｉｎｇ ａｎｄ ｔｈｅ ｍｅｒｇｅ／ｐｕｒｇｅ ｐｒｏｂｌｅｍ［Ｊ］．Ｄａｔａ Ｍｉｎｉｎｇ ａｎｄ

［３２］ Ｉｍｉｅｌｉｆｌｓｋｉ Ｔ，Ｌｉｐｓｋｉ Ｊｒ Ｗ．Ｉｎｃｏｍｐｌｅｔｅ ｉｎｆｏｒｍａｔｉｏｎ ｉｎ

Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ，１９９８，２（１）：９－３７
ｒｅｌａｔｉｏｎａｌ ｄａｔａｂａｓｅｓ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ ＡＣＭ（ＪＡＣＭ），
［４９］Ｅｌｍａｇａｒｍｉｄ Ａ Ｋ，Ｉｐｅｉｒｏｔｉｓ Ｐ Ｇ，Ｖｅｒｙｋｉｏｓ Ｖ Ｓ．Ｄｕｐｌｉｃａｔｅ
１９８４，３１（４）：７６１－７９１
ｒｅｃｏｒｄ ｄｅｔｅｃｔｉｏｎ：Ａ ｓｕｒｖｅｙ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ ｏｎ Ｋｎｏｗｌｅｄｇｅ
［３３］ Ｖａｒｄｉ Ｍ．Ｏｎ ｔｈｅ ｉｎｔｅｇｒｉｔｙ ｏｆ ｄａｔａｂａｓｅｓ ｗｉｔｈ ｉｎｃｏｍｐｌｅｔｅ
ａｎｄ Ｄａｔａ Ｅｎｇｉｎｅｅｒｉｎｇ，２００７，１９（１）：卜１６
ｉｎｆｏｒｍａｔｉｏｎ［Ｃ］／Ｐｒｏｃ ｏｆ ｔｈｅ ５ｔｈ ＡＣＭ ｓＩＧＡｃＴ—ＳＩＧＭＯＤ
［５０］Ｂｒｉｚａｎ Ｄ Ｇ，Ｔａｎｓｅｌ Ａ Ｕ．Ａ ｓｕｒｖｅｙ ｏｆ ｅｎｔｉｔｙ ｒｅｓｏｌｕｔｉｏｎ ａｎｄ
Ｓｙｍｐ ｏｎ Ｐｒｉｎｃｉｐｌｅｓ ｏｆ Ｄａｔａｂａｓｅ Ｓｙｓｔｅｍｓ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，
ｒｅｃｏｒｄ ｌｉｎｋａｇｅ ｍｅｔｈｏｄｏｌｏｇｉｅｓ［Ｊ］．Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ
１９８５：２５２－２６６
ＩＩＭＡ，２００６，６（３）：４１－５０
［３４］ Ｇｏｔｔｌｏｂ Ｇ，Ｚｉｃａｒｉ Ｒ．Ｃｌｏｓｅｄ ｗｏｒｌｄ ｄａｔａｂａｓｅｓ ｏｐｅｎｅｄ ｔｈｒｏｕｇｈ
［５１］Ｋｏｕｄａｓ Ｎ，Ｓａｒａｗａｇｉ Ｓ，Ｓｒｉｖａｓｔａｖａ Ｄ．Ｒｅｃｏｒｄ ｌｉｎｋａｇｅ：
ｎｕｌｌ ｖａｌｕｅｓ［Ｃ］／Ｐｒｏｃ ｏｆ ｔｈｅ １４ｔｈ Ｉｎｔ Ｃｏｎｆ ｏｎ Ｖｅｒｙ Ｌａｒｇｅ
Ｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅｓ ａｎｄ ａｌｇｏｒｉｔｈｍｓ［ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ ２００６
Ｄａｔａｂａｓｅｓ．Ｓａｎ Ｆｒａｎｃｉｓｃｏ，ＣＡ：Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ，１ ９８８：
ＡＣＭ ＳＩＧＭＯＤ Ｉｎｔ Ｃｏｎｆ ｏｎ
Ｍａｎａｇｅｍｅｎｔ ｏｆ Ｄａｔａ．Ｎｅｗ
５０－６１
Ｙｏｒｋ：ＡＣＭ，２００６：８０２－８０３
［３５］ Ｆａｎ Ｗｅｎｆｅｉ，Ｇｅｍｓ Ｆ．Ｒｅｌａｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ ｃｏｍｐｌｅｔｅｎｅｓｓ

ＡＣＭ ＳＩＧＭＯｎｓＩＧＡｃＴ—ＳＩＧＡＲＴ ［５２］Ｌｉｍ Ｅ Ｐ，Ｓｒｉｖａｓｔａｖａ Ｊ，Ｐｒａｂｈａｋａｒ Ｓ，ｅｔ ａ１．Ｅｎｔｉｔｙ

［Ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ ２８ｔｈ

ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｉｎ ｄａｔａｂａｓｅ ｉｎｔｅｇｒａｔｉｏｎ［Ｊ］． Ｉｎｆｏｒｍａｔｉｏｎ

Ｓｙｍｐ ｏｎ Ｐｒｉｎｃｉｐｌｅｓ ｏｆ Ｄａｔａｂａｓｅ Ｓｙｓｔｅｍｓ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，
Ｓｃｉｅｎｃｅｓ，１９９６，８９（１）：１－３８
２００９：９７－１０６

［３６３ Ｆａｎ Ｗｅｎｆｅｉ．Ｇｅｅｒｔｓ Ｆ．Ｃａｐｔｕｒｉｎｇ ｍｉｓｓｉｎｇ ｔｕｐｌｅｓ ａｎｄ ｍｉｓｓｉｎｇ ［５３］ Ａｒａｓｕ Ａ，Ｃｈａｕｄｈｕｒｉ Ｓ，Ｋａｕｓｈｉｋ Ｒ．Ｔｒａｎｓｆｏｒｍａｔｉｏｎ－ｂａｓｅｄ

ｖａｌｕｅｓ［ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ ２９ｔｈ ＡＣＭ ｓＩＧＭＯＤｓＩＧＡｃＴ— ｆｒａｍｅｗｏｒｋ ｆｏｒ ｒｅｃｏｒｄ ｍａｔｃｈｉｎｇ［ｃ］／／Ｐｒｏｃ ｏｆ ＩＥＥＥ ＩＣＤＥ’０８．

ＳＩＧＡＲＴ Ｓｙｍｐ ｏｎ Ｐｒｉｎｃｉｐｌｅｓ ｏｆ Ｄａｔａｂａｓｅ Ｓｙｓｔｅｍｓ．Ｎｅｗ Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２００８：４０－－４９

Ｙｏｒｋ：ＡＣＭ，２０１０：１６９—１７８ ［５４］Ａｒａｓｕ Ａ， Ｋａｕｓｈｉｋ Ｒ． Ａ ｇｒａｍｍａｒ－ｂａｓｅｄ ｅｎｔｉｔｙ

［３７］ Ａｂｉｔｅｂｏｕｌ Ｓ，Ｓｅｇｏｕｆｉｎ Ｌ，Ｖｉａｎｕ Ｖ．Ｒｅｐｒｅｓｅｎｔｉｎｇ ａｎｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｄａｔａ ｃｌｅａｎｉｎｇ［Ｃ］／］Ｐｒｏｃ ｏｆ ｔｈｅ

ｑｕｅｒｙｉｎｇ ＸＭＬ ｗｉｔｈ ｉｎｃｏｍｐｌｅｔｅ ｉｎｆｏｒｍａｔｉｏｎ口］．ＡｃＭ Ｔｒａｎｓ ２００９ ＡＣＭ ＳＩＧＭＯＤ Ｉｎｔ Ｃｏｎｆ ｏｎ Ｍａｎａｇｅｍｅｎｔ ｏｆ Ｄａｔａ．Ｎｅｗ

ｏｎ Ｄａｔａｂａｓｅ Ｓｙｓｔｅｍｓ（ＴＯＤＳ），２００６，３１（１）：２０８—２５４ Ｙｏｒｋ：ＡＣＭ，２００９：２３３—２４４

［３８］ Ｂａｒｃｅｌ６ Ｐ，Ｌｉｂｋｉｎ Ｌ，Ｐｏｇｇｉ Ａ，ｅｔ ａ１．ＸＭＬ ｗｉｔｈ ｉｎｃｏｍｐｌｅｔｅ ［５５］Ａｒａｓｕ Ａ，Ｃｈａｕｄｈｕｒｉ Ｓ，Ｋａｕｓｈｉｋ Ｒ．Ｌｅａｒｎｉｎｇ ｓｔｒｉｎｇ

ｉｎｆｏｒｍａｔｉｏｎ口］．Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ ＡＣＭ（ＪＡＣＭ），２０１０，５８ ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ ｆｒｏｍ ｏｆ ｔｈｅ

ｅｘａｍｐｌｅｓ口］．Ｐｒｏｃｅｅｄｉｎｇｓ
（１）：１－６２ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２００９，２（１）：５１４－５２５

［３９］ Ｃｈｅｎｇ Ｒ，Ｃｈｅｎ Ｊ，Ｘｉｅ Ｘ．Ｃｌｅａｎｉｎｇ ｕｎｃｅｒｔａｉｎ ｄａｔａ ｗｉｔｈ

［５６３ Ａｒａｓｕ Ａ，Ｒ６ Ｃ，Ｓｕｃｉｕ Ｄ．Ｌａｒｇｅ－ｓｃａｌｅ ｄｅｄｕｐｌｉｃａｔｉｏｎ ｗｉｔｈ

ｑｕａｌｉｔｙ ｇｕａｒａｎｔｅｅｓ［Ｊ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＶＬＤＢ

ｃｏｎｓｔｒａｉｎｔｓ ｕｓｉｎｇ ｏｆ ＩＥＥＥ ＩＣＤＥ’０９．
ｄｅｄｕｐａｌｏｇ［ｃ］／Ｐｒｏｃ
Ｅｎｄｏｗｍｅｎｔ，２００８，１（１）：７２２－７３５
Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２００９：９５２－９６３
［４０］ Ｃｈｏｍｉｃｋｉ Ｊ，Ｍａｒｃｉｎｋｏｗｓｋｉ Ｊ． Ｍｉｎｉｍａｌ—ｃｈａｎｇｅ ｉｎｔｅｇｒｉｔｙ
［５７３ Ｗｈａｎｇ Ｓ Ｅ，Ｂｅｎｊｅｌｌｏｕｎ Ｏ，Ｇａｒｃｉａ—Ｍｏｌｉｎａ Ｈ．Ｇｅｎｅｒｉｃ ｅｎｔｉｔｙ
ｍａｉｎｔｅｎａｎｃｅ ｕｓｉｎｇ ｔｕｐｌｅ ｄｅｌｅｔｉｏｎｓ［Ｊ］．Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ
ｒｅｓｏｌｕｔｉｏｎ ｗｉｔｈ ｎｅｇａｔｉｖｅ ｒｕｌｅｓ［Ｊ］．Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ
Ｃｏｍｐｕｔａｔｉｏｎ，２００５，１９７（１）：９０—１２１
ｏｎ Ｖｅｒｙ Ｌａｒｇｅ Ｄａｔａｂａｓｅｓ，２００９，１８（６）：１２６１—１２７７
［４１］ Ｓｃｈｗａｌｂ Ｅ，Ｖｉｌａ Ｌ．Ｔｅｍｐｏｒａｌ ｃｏｎｓｔｒａｉｎｔｓ：Ａ ｓｕｒｖｅｙ［Ｊ］．
［５８］Ｃｈａｕｄｈｕｒｉ Ｓ，Ｄａｓ Ｓａｒｍａ Ａ，Ｇａｎｔｉ Ｖ，ｅｔ ａ１．Ｌｅｖｅｒａｇｉｎｇ
Ｃｏｎｓｔｒａｉｎｔｓ，１９９８，３（２／３）：１２９－１４９
ａｇｇｒｅｇａｔｅ ｃｏｎｓｔｒａｉｎｔｓ ｆｏｒ ｄｅｄｕｐｌｉｃａｔｉｏｎ［Ｃ］］／Ｐｒｏｃ ｏｆ ｔｈｅ ２００７
［４２］ Ｚｈａｎｇ Ｈａｏｐｅｎｇ，Ｄｉａｏ Ｙａｎｌｅｉ，Ｉｍｍｅｒｍａｎ Ｎ．Ｒｅｃｏｇｎｉｚｉｎｇ
ＡＣＭ ＳＩＧＭＯＤ Ｉｎｔ Ｃｏｎｆ ｏｎ Ｍａｎａｇｅｍｅｎｔ ｏｆ Ｄａｔａ．Ｎｅｗ
ｐａｔｔｅｒｎｓ ｉｎ ｓｔｒｅａｍｓ ｗｉｔｈ ｉｍｐｒｅｃｉｓｅ ｔｉｍｅｓｔａｍｐｓ［Ｊ］．
Ｙｏｒｋ：ＡＣＭ，２００７：４３７－４４８
Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２０１０，３（１）：２４４－２５５
［５９］Ｆａｎ Ｗｅｎｆｅｉ，Ｊｉａ Ｘｉｂｅｉ，Ｌｉ Ｊｉａｎｚｈｏｎｇ，ｅｔ ａ１．Ｒｅａｓｏｎｉｎｇ ａｂｏｕｔ
［４３３ Ｃｌｉｆｆｏｒｄ Ｊ，Ｄｙｒｅｓｏｎ Ｃ，Ｉｓａｋｏｗｉｔｚ Ｔ，ｅｔ ａ１．Ｏｎ ｔｈｅ ｓｅｍａｎｔｉｃｓ
ｒｅｃｏｒｄ ｍａｔｃｈｉｎｇ ｒｕｌｅｓ［Ｊ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＶＬＤＢ
ｏｆ“ｎｏｗ”ｉｎ ｄａｔａｂａｓｅｓ［Ｊ］．ＡＣＭ Ｔｒａｎｓ ｏｎ Ｄａｔａｂａｓｅ Ｓｙｓｔｅｍｓ

Ｅｎｄｏｗｍｅｎｔ，２００９，２（１）：４０７—４１８
（ＴＯＤＳ），１９９７，２２（２）：１７１－２１４

Ｗｅｎｆｅｉ，Ｇｅｅｒｔｓ Ｆ，Ｗｉｊｓｅｎ Ｊ．Ｄｅｔｅｒｍｉｎｉｎｇ ｔｈｅ ［６０］Ｆａｎ Ｗｅｎｆｅｉ，Ｇａｏ Ｈｏｎｇ，Ｊｉａ Ｘｉｂｅｉ，ｅｔ ａ１．Ｄｙｎａｍｉｃ

［４４］ Ｆａｎ ｃｕｒｒｅｎｃｙ

ｏｆ ｄａｔａ［Ｊ］．ＡＣＭ Ｔｒａｎｓ ｏｎ Ｄａｔａｂａｓｅ Ｓｙｓｔｅｍｓ（ＴＯＤＳ），

ｃｏｎｓｔｒａｉｎｔｓ ｆｏｒ ｒｅｃｏｒｄ ｍａｔｃｈｉｎｇ口］．Ｔｈｅ ＶＬＤＢ Ｊｏｕｒｎａｌ，

２０１２，３７（４）：１—４６ ２０１１，２０（４）：４９５－５２０

［４５３ Ｎｅｗｃｏｍｂｅ Ｈ Ｂ，Ｋｅｎｎｅｄｙ Ｊ Ｍ，Ａｘｆｏｒｄ Ｓ Ｊ，ｅｔ ａ１．Ａｕｔｏｍａｔｉｃ ［６１３ Ｓｈｅｎ Ｗ，Ｌｉ Ｘｉｎ，Ｄｏａｎ Ａ．Ｃｏｎｓｔｒａｉｎｔ—ｂａｓｅｄ ｅｎｔｉｔｙ ｍａｔｃｈｉｎｇ

ｌｉｎｋａｇｅ ｏｆ ｖｉｔａｌ ｒｅｃｏｒｄｓ［Ｊ］．Ｓｃｉｅｎｃｅ，１９５９，１３０（３３８１）：９５４— ［ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ Ｎａｔｉｏｎａｌ Ｃｏｎｆ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ．

９５９ Ｍｅｎｌｏ Ｐａｒｋ，ＣＡ：ＡＡＡＩ Ｐｒｅｓｓ，２００５：８６２－８６７

万方数据
李建中等：大数据的一个重要方面：数据可用性 １１５９

［６２］ Ｗｅｉｓ Ｍ，Ｎａｕｍａｎｎ Ｆ．ＤｏｇｍａｔｉＸ ｔｒａｃｋｓ ｄｏｗｎ ｄｕｐｌｉｃａｔｅｓ ｉｎ ［７８］Ｗａｎｇ Ｗｅｉ，Ｘｉａｏ Ｃｈｕａｎ，Ｌｉｎ Ｘｕｅｍｉｎ，ｅｔ ａ１．Ｅｆｆｉｃｉｅｎｔ

ＸＭＬ［Ｃ］／Ｐｒｏｃ ｏｆ ｔｈｅ ２００５ ＡＣＭ ＳＩＧＭＯＤ Ｉｎｔ Ｃｏｎｆ ｏｎ

ａｐｐｒｏｘｉｍａｔｅ ｅｎｔｉｔｙ ｅｘｔｒａｃｔｉｏｎ ｗｉｔｈ ｅｄｉｔ ｄｉｓｔａｎｃｅ ｃｏｎｓｔｒａｉｎｔｓ

Ｍａｎａｇｅｍｅｎｔ ｏｆ Ｄａｔａ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，２００５：４３１—４４２ ［ｃ］ｆ／Ｐｒｏｃ ｏｆ ｔｈｅ ３５ｔｈ ＳＩＧＭＯＤ Ｉｎｔ Ｃｏｎｆ ｏｎ Ｍａｎａｇｅｍｅｎｔ ｏｆ

［６３］ Ｇｅｔｏｏｒ Ｌ．Ｇｒａｐｈ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ［Ｍ］．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ，２０１０ Ｄａｔａ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，２００９：７５９—７７０

［６４］ Ｆａｎ Ｗｅｎｆｅｉ，Ｌｉ Ｊｉａｎｚｈｏｎｇ，Ｍａ Ｓｈｕａｉ。ｅｔ ａ１．Ｇｒａｐｈ

［７９］Ｆｅｒｒｅｉｒａ Ｃｈａｖｅｓ Ｌ Ｗ，Ｂｕｃｈｍａｎｎ Ｅ，ＢＯｈｍ Ｋ．Ｆｉｎｄｉｎｇ

ｈｏｍｏｍｏｒｐｈｉｓｍ ｒｅｖｉｓｉｔｅｄ ｆｏｒ ｇｒａｐｈ ｍａｔｃｈｉｎｇ［Ｊ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｍｉｓｐｌａｃｅｄ ｉｔｅｍｓ ｉｎ ｒｅｔａｉｌ ｂｙ ｃｌｕｓｔｅｒｉｎｇ ＲＦＩＤ ｄａｔａ［ｃ］／／Ｐｒｏｃ
ｏｆ ｔｈｅ ｖＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２０１０，３（１／２）：１１６１一１１７２ ｏｆ ｔｈｅ １３ｔｈ Ｉｎｔ Ｃｏｎｆ ｏｎ
Ｅｘｔｅｎｄｉｎｇ Ｄａｔａｂａｓｅ Ｔｅｃｈｎｏｌｏｇｙ．
［６５］ Ｆａｎ Ｗｅｎｆｅｉ，Ｌｉ Ｊｉａｎｚｈｏｎｇ，Ｍａ Ｓｈｕａｉ，ｅｔ ａ１．Ｇｒａｐｈ ｐａｔｔｅｒｎ
Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，２０１０：５０１－５１２
ｍａｔｃｈｉｎｇ： ｆｒｏｍ ｉｎｔｒａｃｔａｂｌｅ ｔｏ
ｐｏｌｙｎｏｍｉａｌ ｔｉｍｅ［Ｊ］．
［８０］Ｂａｔｉｎｉ Ｃ，Ｓｃａｎｎａｐｉｅｃａ Ｍ．Ｄａｔａ Ｑｕａｌｉｔｙ［Ｍ］．Ｂｅｒｌｉｎ：
Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２０１０，３（１／２）：２６４—
Ｓｐｒｉｎｇｅｒ，２００６
２７５
［８１］Ｆａｎ Ｗｅｎｆｅｉ，Ｌｉ Ｊｉａｎｚｈｏｎｇ，Ｍａ Ｓｈｕａｉ，ｅｔ ａ１．Ｉｎｔｅｒａｃｔｉｏｎ
［６６］ Ｆａｎ Ｗｅｎｆｅｉ，Ｌｉ Ｊｉａｎｚｈｏｎｇ，Ｌｕｏ Ｊｉｚｈｏｕ，ｅｔ ａ１．Ｉｎｃｒｅｍｅｎｔａｌ
ｂｅｔｗｅｅｎ ｒｅｃｏｒｄ ｍａｔｃｈｉｎｇ ａｎｄ ｄａｔａ ｒｅｐａｉｒｉｎｇ［Ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ
ｇｒａｐｈ ｐａｔｔｅｒｎ ｍａｔｃｈｉｎｇ［Ｃ］／Ｐｒｏｃ ｏｆ ＡＣＭ ＳＩＧＭＯＤ．Ｎｅｗ
２０１ １ Ｉｎｔ Ｃｏｎｆ ｏｎ Ｍａｎａｇｅｍｅｎｔ ｏｆ Ｄａｔａ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，
Ｙｏｒｋ：ＡＣＭ。２０１１：９２５—９３６
２０１１：４６９—４８０
［６７］ Ｆａｎ Ｗｅｎｆｅｉ，Ｌｉ Ｊｉａｎｚｈｏｎｇ，Ｗａｎｇ Ｘｉｎ。ｅｔ ａ１．Ｑｕｅｒｙ
［８２３ Ｃｈｅｎ Ｗ，Ｆａｎ Ｗ，Ｍａ Ｓ．Ａｎａｌｙｓｅｓ ａｎｄ ｖａｌｉｄａｔｉｏｎ ｏｆ
ｐｒｅｓｅｒｖｉｎｇ ｇｒａｐｈ ｃｏｍｐｒｅｓｓｉｏｎ［ｃ］／Ｐｒｏｃ ｏｆ ｔｈｅ ２０１２ Ｉｎｔ Ｃｏｎｆ
ｃｏｎｄｉｔｉｏｎａｌ ｄｅｐｅｎｄｅｎｃｉｅｓ ｗｉｔｈ ｂｕｉｌｔ—ｉｎ ｐｒｅｄｉｃａｔｅｓ［ｃ］／／Ｐｒｏｃ
ｏｎ Ｍａｎａｇｅｍｅｎｔ ｏｆ Ｄａｔａ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，２０１２：１５７—１６８
ｏｆ ＤＥＸＡ’０９．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ，２００９：５７６—５９１
［６８］ Ｍｏｎｇｅ Ａ Ｅ，Ｅｌｋａｎ Ｃ．Ｔｈｅ ｆｉｅｌｄ ｍａｔｃｈｉｎｇ ｐｒｏｂｌｅｍ：

Ａｌｇｏｒｉｔｈｍｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ［ｃ］／Ｐｒｏｃ ｏｆ ｔｈｅ ２ｎｄ Ｉｎｔ Ｃｏｎｆ ｏｎ

［８３］Ｆａｎ Ｗｅｎｆｅｉ，Ｇｅｅｒｔｓ Ｆ，Ｊｉａ Ｘｉｂｅｉ，ｅｔ ａ１．Ｃｏｎｄｉｔｉｏｎａｌ

ｆｕｎｃｔｉｏｎａｌ ｄｅｐｅｎｄｅｎｃｉｅｓ ｆｏｒ ｃａｐｔｕｒｉｎｇ ｄａｔａ ｉｎｃｏｎｓｉｓｔｅｎｃｉｅｓ

Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ａｎｄ Ｄａｔａ Ｍｉｎｉｎｇ．Ｍｅｎｌｏ Ｐａｒｋ，ＣＡ：

ＡＡＡＩ Ｐｒｅｓｓ，１９９６：２６７－２７０ ［Ｊ］．ＡＣＭ Ｔｒａｎｓ ｏｎ Ｄａｔａｂａｓｅ Ｓｙｓｔｅｍｓ（ＴＯＤＳ），２００８，３３

［６９］ Ａ，Ｅｔｋａｎ Ｃ． Ａｎ ｅｆｆｉｃｉｅｎｔ （２）：ｌ一４８

Ｍｏｎｇｅ ｄｏｍａｉｎ—ｉｎｄｅｐｅｎｄｅｎｔ

ａｌｇｏｒｉｔｈｍ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ａｐｐｒｏｘｉｍａｔｅｌｙ ｄｕｐｌｉｃａｔｅ ｄａｔａｂａｓｅ ［８４］Ｆａｎ Ｗｅｎｆｅｉ，Ｇｅｅｒｔｓ Ｆ，Ｍａ Ｓｈｕａｉ，ｅｔ ａ１．Ｄｅｔｅｃｔｉｎｇ

ｒｅｃｏｒｄｓ［ｃ］／Ｐｒｏｃ ｏｆ Ｒｅｓｅａｒｃｈ Ｉｓｓｕｅｓ ｏｎ Ｄａｔａ Ｍｉｎｉｎｇ ａｎｄ ｉｎｃｏｎｓｉｓｔｅｎｃｉｅｓ ｉｎ ｄｉｓｔｒｉｂｕｔｅｄ ｄａｔａ［Ｃ］／［Ｐｒｏｃ ｏｆ ＩＥＥＥ

Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ，１９９７：１—７ ＩＣＤＥ’１０．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２０１０：６４—７５

［７０］ Ｃｏｈｅｎ Ｗ Ｗ．Ｄａｔａ ｉｎｔｅｇｒａｔｉｏｎ ｕｓｉｎｇ ｓｉｍｉｌａｒｉｔｙ ｊｏｉｎｓ ａｎｄ ａ

［８５］Ｆａｎ Ｗ，Ｌｉ Ｊ，Ｔａｎｇ Ｎ。ｅｔ ａ１．Ｉｎｃｒｅｍｅｎｔａｌ ｄｅｔｅｃｔｉｏｎ ｏｆ

ｗｏｒｄ—ｂａｓｅｄ ｉｎｆｏｒｍａｔｉｏｎ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｌａｎｇｕａｇｅ［Ｊ］．ＡＣＭ ｉｎｃｏｎｓｉｓｔｅｎｃｉｅｓ ｉｎ ｄｉｓｔｒｉｂｕｔｅｄ ｄａｔａ［ｃ］／［Ｐｒｏｃ ｏｆ ＩＥＥＥ

Ｔｒａｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍｓ（ＴＯＩＳ），２０００，１８（３）：２８８— ＩＣＤＥ’１０．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２０１２：３１８—３２９

３２１ ［８６］Ｃｈａｕｄｈｕｒｉ Ｓ，Ｇａｎｔｉ Ｖ，Ｘｉｎ Ｄ．Ｍｉｎｉｎｇ ｄｏｃｕｍｅｎｔ ｃｏｌｌｅｃｔｉｏｎｓ

［７１］ Ａｎａｎｔｈａｋｒｉｓｈｎａ Ｒ，Ｃｈａｕｄｈｕｒｉ Ｓ，Ｇａｎｔｉ Ｖ．Ｅｌｉｍｉｎａｔｉｎｇ ｆｕｚｚｙ ｔｏ ｆａｃｉｌｉｔａｔｅ ａｃｃｕｒａｔｅ ａｐｐｒｏｘｉｍａｔｅ ｅｎｔｉｔｙ ｍａｔｃｈｉｎｇ［Ｊ］．
ｄｕｐｌｉｃａｔｅｓ ｉｎ ｄａｔａ ｗａｒｅｈｏｕｓｅｓ［ｃ］／Ｐｒｏｃ ｏｆ ｔｈｅ ２８ｔｈ Ｉｎｔ Ｃｏｎｆ
Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２００９，２（１）：３９５—４０６

ｏｎ Ｖｅｒｙ Ｌａｒｇｅ Ｄａｔａｂａｓｅｓ．Ｓａｎ Ｆｒａｎｃｉｓｃｏ，ＣＡ：Ｍｏｒｇａｎ ［８７］Ｓｈｕ Ｌｉａｎｇｃａｉ，Ｌｏｎｇ １３０，Ｍｅｎｇ Ｗｅｉｙｉ．Ａ ｌａｔｅｎｔ ｔｏｐｉｃ ｍｏｄｅｌ
Ｋａｕｆｍａｎｎ，２００２：５８６—５９７ ｆｏｒ ｃｏｍｐｌｅｔｅ ｅｎｔｉｔｙ ｒｅｓｏｌｕｔｉｏｎ［ｃ］／Ｐｒｏｃ ｏｆ ＩＥＥＥ ＩＣＤＥ’０９．

［７２］ Ｃｈａｕｄｈｕｒｉ Ｓ，Ｇａｎｔｉ Ｖ，Ｍｏｔｗａｎｉ Ｒ．Ｒｏｂｕｓｔ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ

Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２００９：８８０—８９１
ｆｕｚｚｙ ｄｕｐｌｉｃａｔｅｓ［ｃ］／Ｐｒｏｃ ｏｆ １ＥＥＥ ＩＣＤＥ’０５．Ｐｉｓｃａｔａｗａｙ，
［８８］Ｃｈｒｉｓｔｅｎ Ｐ．Ａｕｔｏｍａｔｉｃ ｒｅｃｏｒｄ ｌｉｎｋａｇｅ ｕｓｉｎｇ ｓｅｅｄｅｄ ｎｅａｒｅｓｔ

ＮＪ：ＩＥＥＥ，２００５：８６５－８７６
ｎｅｉｇｈｂｏｒ ａｎｄ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ［ｃ］／Ｐｒｏｃ
［７３］ Ｇｕｈａ Ｓ，Ｋｏｕｄａｓ Ｎ，Ｍａｒａｔｈｅ Ａ，ａｔ ａ１．Ｍｅｒｇｉｎｇ ｔｈｅ ｒｅｓｕｌｔｓ ｏｆ
ｏｆ ｔｈｅ １４ｔｈ ＡＣＭ ＳＩＧＫＤＤ Ｉｎｔ Ｃｏｎｆ ｏｎ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ
ａｐｐｒｏｘｉｍａｔｅ ｍａｔｃｈ ｏｐｅｒａｔｉｏｎｓ［ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ ３０ｔｈ Ｉｎｔ Ｃｏｎｆ
ａｎｄ Ｄａｔａ Ｍｉｎｉｎｇ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，２００８：１５１—１５９
ｏｎ Ｖｅｒｙ Ｌａｒｇｅ Ｄａｔａｂａｓｅｓ．Ｓａｎ Ｆｒａｎｃｉｓｃｏ，ＣＡ：Ｍｏｒｇａｎ
［８９］Ｄｏｎｇ Ｘ，Ｈａｌｅｖｙ Ａ，Ｍａｄｈａｖａｎ Ｊ．Ｒｅｆｅｒｅｎｃｅ ｒｅｃｏｎｃｉｌｉａｔｉｏｎ ｉｎ
Ｋａｕｆｍａｎｎ，２００４：６３６－６４７
ｃｏｍｐｌｅｘ ｉｎｆｏｒｍａｔｉｏｎ ｓｐａｃｅｓ Ｅｃ］／Ｐｒｏｃ ｏｆ ｔｈｅ ２００５ ＡＣＭ
［７４］ Ｃｈｅｎ Ｚ，Ｋａｌａｓｈｎｉｋｏｖ Ｄ Ｖ，Ｍｅｈｒｏｔｒａ Ｓ．Ａｄａｐｔｉｖｅ ｇｒａｐｈｉｃａｌ
ＳＩＧＭＯＤ Ｉｎｔ Ｃｏｎｆ ｏｎ Ｍａｎａｇｅｍｅｎｔ ｏｆ Ｄａｔａ．Ｎｅｗ Ｙｏｒｋ：
ａｐｐｒｏａｃｈ ｔｏ ｅｎｔｉｔｙ ｒｅｓｏｌｕｔｉｏｎ［ｃ］／Ｐｒｏｃ ｏｆ ｔｈｅ ７ｔｈ ＡＣＭ／
ＡＣＭ，２００５：８５—９６
ＩＥＥＥ－ＣＳ Ｊｏｉｎｔ Ｃｏｎｆ ｏｎ Ｄｉｇｉｔａｌ Ｌｉｂｒａｒｉｅｓ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ。
［９０］Ｓｉｎｇｌａ Ｐ，Ｄｏｍｉｎｇｏｓ Ｐ．Ｃｏｌｌｅｃｔｉｖｅ ｏｂｊｅｃｔ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ［ｃ］／／
２００７：２０４—２１３
Ｐｒｏｃ ｏｆ ｔｈｅ １９ｔｈ Ｉｎｔ Ｊｏｉｎｔ Ｃｏｎｆ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ．Ｓａｎ
［７５］ Ｓｉｎｇｌａ Ｐ，Ｄｏｍｉｎｇｏｓ Ｐ．Ｅｎｔｉｔｙ ｒｅｓｏｌｕｔｉｏｎ ｗｉｔｈ ｍａｒｋｏｖ ｌｏｇｉｃ

Ｆｒａｎｃｉｓｃｏ，ＣＡ：Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ，２００５：１６３６—１６３７
［ｃ］／／Ｐｒｏｃ ｏｆ ＩＥＥＥ ＩＣＤＭ’０６．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２００６：

５７２—５８２
［９１］Ｒａｓｔｏｇｉ Ｖ，Ｄａｌｖｉ Ｎ，Ｇａｒｏｆａｌａｋｉｓ Ｍ．Ｌａｒｇｅ－ｓｃａｌｅ ｃｏｌｌｅｃｔｉｖｅ

ｅｎｔｉｔｙ ｍａｔｃｈｉｎｇ［Ｊ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，

Ｅ７６］ Ａｕｇｓｔｅｎ Ｎ，Ｂｏｈｌｅｎ Ｍ，Ｄｙｒｅｓｏｎ Ｃ，ｅｔ ａＩ．Ａｐｐｒｏｘｉｍａｔｅ ｊｏｉｎｓ

ｏｆ ＩＥＥＥ ＩＣＤＥ’０８． ２０１１，４（４）：２０８—２１８

ｆｏｒ ｄａｔａ—ｃｅｎｔｒｉｃ ＸＭＬ［Ｃ］／［Ｐｒｏｃ
Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２００８：８ｔ４—８２３ ［９２］ＭｃＣａｌｌｕｍ Ａ，Ｎｉｇａｍ Ｋ，Ｕｎｇａｒ Ｌ Ｈ．Ｅｆｆｉｃｉｅｎｔ ｃｌｕｓｔｅｒｉｎｇ ｏｆ

［７７］ Ａｕｇｓｔｅｎ Ｎ，Ｂ６ｈｌｅｎ Ｍ，Ｇａｍｐｅｒ Ｊ．Ａｐｐｒｏｘｉｍａｔｅ ｍａｔｃｈｉｎｇ ｏｆ ｈｉｇｈ—ｄｉｍｅｎｓｉｏｎａｌ ｄａｔａ ｓｅｔｓ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｒｅｆｅｒｅｎｃｅ

ｈｉｅｒａｒｃｈｉｃａｌ ｄａｔａ ｕｓｉｎｇ Ｐｑ—ｇｒａｍｓ［ｃ］／Ｐｒｏｃ ｏｆ ｔｈｅ ３１ｓｔ Ｉｎｔ ｍａｔｃｈｉｎｇ［ｃ］／Ｐｒｏｃ ｏｆ ｔｈｅ ６ｔｈ ＡＣＭ ＳＩＧＫＤＤ Ｉｎｔ Ｃｏｎｆ ｏｎ

Ｃｏｎｆ ｏｎ Ｖｅｒｙ Ｌａｒｇｅ Ｄａｔａｂａｓｅｓ．Ｓａｎ Ｆｒａｎｃｉｓｃｏ，ＣＡ：Ｍｏｒｇａｎ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ａｎｄ Ｄａｔａ Ｍｉｎｉｎｇ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，

Ｋａｕｆｍａｎｎ。２００５ １ ３０１—３１２ ２０００：１６９－１７８

万方数据
 １１６０ 计算机研究与发展２０１３，５０（６）

［９３］Ｋｉｍ Ｈ，Ｌｅｅ Ｄ．ＨＡＲＲＡ：Ｆａｓｔ ｉｔｅｒａｔｉｖｅ ｈａｓｈｅｄ ｒｅｃｏｒｄ ［１０７］ Ｌｉ Ｃｈｅｎ，Ｗａｎｇ Ｂｉｎ，Ｙａｎｇ Ｘｉａｏｃｈｕｎ．ＶＧＲＡＭ：Ｉｍｐｒｏｖｉｎｇ

ｌｉｎｋａｇｅ ｆｏｒ ｌａｒｇｅ－ｓｃａｌｅ ｄａｔａ ｃｏｌｌｅｃｔｉｏｎｓ［ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ １３ｔｈ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ａｐｐｒｏｘｉｍａｔｅ ｑｕｅｒｉｅｓ ｏｎ ｓｔｒｉｎｇ ｃｏｌｌｅｃｔｉｏｎｓ

Ｉｎｔ Ｃｏｎｆ ｏｎ Ｅｘｔｅｎｄｉｎｇ Ｄａｔａｂａｓｅ Ｔｅｃｈｎｏｌｏｇｙ．Ｎｅｗ Ｙｏｒｋ： ｕｓｉｎｇ ｖａｒｉａｂｌｅ－ｌｅｎｇｔｈ ｇｒａｍｓ［Ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ ３３ｒｄ Ｉｎｔ Ｃｏｎｆ

ＡＣＭ，２０１０：５２５－５３６ ｏｎ Ｖｅｒｙ Ｌａｒｇｅ Ｄａｔａｂａｓｅｓ．Ｓａｎ Ｆｒａｎｃｉｓｃｏ，ＣＡ：Ｍｏｒｇａｎ

［９４］Ｋｉｒｓｔｅｎ Ｔ，Ｋｏｌｂ Ｌ，Ｈａｒｔｕｎｇ Ｍ，ｅｔ ａ１．Ｄａｔａ ｐａｒｔｉｔｉｏｎｉｎｇ ｆｏｒ Ｋａｕｆｍａｎｎ，２００７：３０３～３１４

ｐａｒａｌｌｅｌ ｅｎｔｉｔｙ ｍａｔｃｈｉｎｇ［Ｊ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＶＬＤＢ ［１０８］ Ｌｉ Ｃｈｅｎ．Ｌｕ Ｊｉａｈｅｎｇ，Ｌｕ Ｙｉｍｉｎｇ．Ｅｆｆｉｃｉｅｎｔ ｍｅｒｇｉｎｇ ａｎｄ

Ｅｎｄｏｗｍｅｎｔ，２０１０，３（２）：１—８ ｆｉｌｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ａｐｐｒｏｘｉｍａｔｅ ｓｔｒｉｎｇ ｓｅａｒｃｈｅｓ ＥＣ］／／

Ｒ Ｐｒｏｃ ｏｆ ＩＥＥＥ ＩＣＤＥ’０８．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２００８：２５７—

［９５］Ｂｉｌｅｎｋｏ Ｍ，Ｋａｍａｔｈ Ｂ，Ｍｏｏｎｅｙ Ｊ．Ａｄａｐｔｉｖｅ ｂｌｏｃｋｉｎｇ：

ｏｆ ＩＥＥＥ ２６６
Ｌｅａｒｎｉｎｇ ｔｏ ｓｃａｌｅ ｕｐ ｒｅｃｏｒｄ ｌｉｎｋａｇｅ［ｃ］／／Ｐｒｏｃ
［１０９］ Ｌｉｅｂｅｒｍａｎ Ｍ Ｄ，Ｓａｎｋａｒａｎａｒａｙａｎａｎ Ｊ，Ｓａｍｅｔ Ｈ． Ａ ｆａｓｔ
ＩＣＤＭ’０６．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２００６：８７—９６

ｓｉｍｉｌａｒｉｔｙ ｊｏｉｎ ａｌｇｏｒｉｔｈｍ ｕｓｉｎｇ ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ［ｃ］

［９６］Ｗｈａｎｇ Ｓ Ｅ，Ｍｅｎｅｓｔｒｉｎａ Ｄ，Ｋｏｕｔｒｉｋａ Ｇ，ｅｔ ａ１．Ｅｎｔｉｔｙ

ｒｅｓｏｌｕｔｉｏｎ ｗｉｔｈ ｉｔｅｒａｔｉｖｅ ｂｌｏｃｋｉｎｇ［ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ ３５ｔｈ ／／Ｐｒｏｃ ｏｆ ＩＥＥＥ ＩＣＤＥ’０８．Ｐｉｓｃａｔａｗａｙ。ＮＪ：ＩＥＥＥ，２００８：

ｌｌｌｌ一１１２０
ＳＩＧＭＯＤ Ｉｎｔ Ｃｏｎｆ ｏｎ Ｍａｎａｇｅｍｅｎｔ ｏｆ Ｄａｔａ．Ｎｅｗ Ｙｏｒｋ：
［１１０］ Ｆｌｅｓｃａ Ｓ，Ｍａｎｃｏ Ｇ，Ｍａｓｃｉａｒｉ Ｅ，ｅｔ ａ１．Ｆａｓｔ ｄｅｔｅｃｔｉｏｎ ｏｆ
ＡＣＭ，２００９：２１９—２３２
ＸＭＬ ｓｔｒｕｃｔｕｒａｌ ｓｉｍｉｌａｒｉｔｙ口］．ＩＥＥＥ Ｔｒａｎｓ ｏｎ Ｋｎｏｗｌｅｄｇｅ
［９７］Ｂａｘｔｅｒ Ｒ，Ｃｈｒｉｓｔｅｎ Ｐ，Ｃｈｕｒｃｈｅｓ Ｔ．Ａ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｆａｓｔ

ａｎｄ Ｄａｔａ Ｅｎｇｉｎｅｅｒｉｎｇ，２００５，１７（２）：１６０—１７５

ｂｌｏｃｋｉｎｇ ｍｅｔｈｏｄｓ ｆｏｒ ｒｅｃｏｒｄ ｌｉｎｋａｇｅ［ｃ］／Ｐｒｏｃ ｏｆ ＡＣＭ
［１１ｉ］ Ｔａｔｉｋｏｎｄａ Ｓ，Ｐａｒｔｈａｓａｒａｔｈｙ Ｓ．Ｈａｓｈｉｎｇ ｔｒｅｅ－ｓｔｒｕｃｔｕｒｅｄ
ＳＩＧＫＤＤ Ｗｏｒｋｓｈｏｐ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，２００３：２５－２７
ｄａｔａ：Ｍｅｔｈｏｄｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ［ｃ］／Ｐｒｏｃ ｏｆ ＩＥＥＥ
［９８］Ｖｅｒｎｉｃａ Ｒ，Ｃａｒｅｙ Ｍ Ｊ，Ｌｉ Ｃ．Ｅｆｆｉｃｉｅｎｔ ｐａｒａｌｌｅｌ ｓｅｔ—ｓｉｍｉｌａｒｉｔｙ
ＩＣＤＥ’１０．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２０１０：４２９—４４０
ｊｏｉｎｓ ｕｓｉｎｇ ＭａｐＲｅｄｕｃｅ［ｃ］／Ｐｒｏｃ ｏｆ ｔｈｅ ２０１０ Ｉｎｔ Ｃｏｎｆ ｏｎ

［１１２］ Ｃｈｒｉｓｔｅｎ Ｐ．Ｄｅｖｅｌｏｐｍｅｎｔ ａｎｄ ｕｓｅｒ ｅｘｐｅｒｉｅｎｃｅｓ ｏｆ ａｎ

ｏｐｅｎ
Ｍａｎａｇｅｍｅｎｔ ｏｆ Ｄａｔａ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，２０１０：４９５—５０６
ｓｏｕｒｃｅ ｄａｔａ ｃｌｅａｎｉｎｇ，ｄｅｄｕｐｌｉｃａｔｉｏｎ ａｎｄ ｒｅｃｏｒｄ ｌｉｎｋａｇｅ
［９９］Ｓａｒａｗａｇｉ Ｓ，Ｄｅｓｈｐａｎｄｅ Ｖ Ｓ，Ｋａｓｌｉｗａｌ Ｓ．Ｅｆｆｉｃｉｅｎｔ ｔｏｐ—ｋ
ｓｙｓｔｅｍ［Ｊ］． ＡＣＭ ＳＩＧＫＤＤ Ｅｘｐｌｏｒａｔｉｏｎｓ Ｎｅｗｓｌｅｔｔｅｒ，
ｃｏｕｎｔ ｑｕｅｒｉｅｓ ｏｖｅｒ ｉｍｐｒｅｃｉｓｅ ｄｕｐｌｉｃａｔｅｓ［Ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ
２００９，¨（１）：３９－４８
１２ｔｈ Ｉｎｔ Ｃｏｎｆ ｏｎ
Ｅｘｔｅｎｄｉｎｇ Ｄａｔａｂａｓｅ Ｔｅｃｈｎｏｌｏｇｙ：
［１１３］ Ｂｅｎｊｅｌｌｏｕｎ ０，Ｇａｒｃｉａ—Ｍｏｌｉｎａ Ｈ，Ｍｅｎｅｓｔｒｉｎａ Ｄ，ｅｔ ａ１．
Ａｄｖａｎｃｅｓ ｉｎ Ｄａｔａｂａｓｅ Ｔｅｃｈｎｏｌｏｇｙ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，
Ｓｗｏｏｓｈ：ａ ｇｅｎｅｒｉｃ ａｐｐｒｏａｃｈ ｔｏ ｅｎｔｉｔｙ ｒｅｓｏｌｕｔｉｏｎ［Ｊ］．Ｔｈｅ
２００９：４５０—４６１
Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｎ Ｖｅｒｙ Ｌａｒｇｅ Ｄａｔａｂａｓｅｓ，２００９。１８
［ＩＯＯ］Ｗｈａｎｇ Ｓ Ｅ，Ｇａｒｃｉａ—Ｍｏｌｉｎａ Ｈ．Ｅｎｔｉｔｙ ｒｅｓｏｌｕｔｉｏｎ ｗｉｔｈ
（１）：２５５—２７６
ｅｖｏｌｖｉｎｇ ｒｕｌｅｓ口］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，
［１１４］ Ｃｈａｕｄｈｕｒｉ Ｓ，Ｃｈｅｎ Ｂ Ｃ，Ｇａｎｔｉ Ｖ，ｅｔ ａ１．Ｅｘａｍｐｌｅ—ｄｒｉｖｅｎ
２０１０，３（１／２）：１３２６—１３３７
ｄｅｓｉｇｎ ｏｆ ｅｆｆｉｃｉｅｎｔ ｒｅｃｏｒｄ ｍａｔｃｈｉｎｇ ｑｕｅｒｉｅｓ Ｅｃ］／Ｐｒｏｃ ｏｆ ｔｈｅ

［１０１］Ｋｏｕｄａｓ Ｎ，Ｍａｒａｔｈｅ Ａ，Ｓｒｉｖａｓｔａｖａ Ｄ．Ｆｌｅｘｉｂｌｅ ｓｔｒｉｎｇ

３３ｒｄ Ｉｎｔ Ｃｏｎｆ ｏｎ
Ｖｅｒｙ Ｌａｒｇｅ Ｄａｔａｂａｓｅｓ．Ｓａｎ Ｆｒａｎｃｉｓｃｏ，
ｍａｔｃｈｉｎｇ ａｇａｉｎｓｔ ｌａｒｇｅ ｄａｔａｂａｓｅｓ ｉｎ ｐｒａｃｔｉｃｅ［ｃ］／／Ｐｒｏｃ ｏｆ
ＣＡ：Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ，２００７：３２７—３３８
ｔｈｅ ３０ｔｈ Ｉｎｔ Ｃｏｎｆ ｏｎ Ｖｅｒｙ Ｌａｒｇｅ Ｄａｔａｂａｓｅｓ．Ｓａｎ Ｆｒａｎｃｉｓｃｏ。
［１１５］ Ｃｈｅｎ Ｚ，Ｋａｌａｓｈｎｉｋｏｖ Ｄ Ｖ，Ｍｅｈｒｏｔｒａ Ｓ．Ｅｘｐｌｏｉｔｉｎｇ ｃｏｎｔｅｘｔ

ＣＡ：Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ，２００４：１０７８—１０８６
ａｎａｌｙｓｉｓ ｆｏｒ ｃｏｍｂｉｎｉｎｇ ｍｕｌｔｉｐｌｅ ｅｎｔｉｔｙ ｒｅｓｏｌｕｔｉｏｎ ｓｙｓｔｅｍｓ

［１０２］Ｃｈａｕｄｈｕｒｉ Ｓ，Ｇａｎｔｉ Ｖ，Ｋａｕｓｈｉｋ Ｒ．Ａ ｐｒｉｍｉｔｉｖｅ ｏｐｅｒａｔｏｒ ｆｏｒ

ＳＩＧＭＯＤ Ｉｎｔ Ｃｏｎｆ
Ｅｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ ３５ｔｈ ｏｎ Ｍａｎａｇｅｍｅｎｔ ｏｆ
ｓｉｍｉｌａｒｉｔｙ ｊｏｉｎｓ ｉｎ ｄａｔａ ｃｌｅａｎｉｎｇ［ｃ］／／Ｐｒｏｃ ｏｆ ＩＥＥＥ
Ｄａｔａ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，２００９：２０７－２１８
ＩＣＤＥ’０６．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２００６：５－５
［１１６］ Ｃｏｈｅｎ Ｗ Ｗ，Ｒａｖｉｋｕｍａｒ Ｐ，Ｆｉｅｎｂｅｒｇ Ｓ Ｅ．Ａ ｃｏｍｐａｒｉｓｏｎ ｏｆ

［１０３］Ｂｅｈｍ Ａ，Ｊｉ Ｓ，Ｌｉ Ｃ，ｅｔ ａ１．Ｓｐａｃｅ—ｃｏｎｓｔｒａｉｎｅｄ ｇｒａｍ—ｂａｓｅｄ

ｓｔｒｉｎｇ ｄｉｓｔａｎｃｅ ｍｅｔｒｉｃｓ ｆｏｒ ｎａｍｅ—ｍａｔｃｈｉｎｇ ｔａｓｋｓ［Ｃ］／Ｐｒｏｃ
ｉｎｄｅｘｉｎｇ ｆｏｒ ｅｆｆｉｃｉｅｎｔ ａｐｐｒｏｘｉｍａｔｅ ｓｔｒｉｎｇ ｓｅａｒｃｈ［ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｉｎｔｅｇｒａｔｉｏｎ
ＩＪＣＡＩ一２００３ Ｗｏｒｋｓｈｏｐ ｏｎ ｏｎ

ｏｆ ＩＥＥＥ ＩＣＤＥ’０９．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２００９：６０４－６１５
ｔｈｅ Ｗｅｂ．２００３：７３－７８

［１０４３ Ｘｉａｏ Ｃｈｕａｎ，Ｗａｎｇ Ｗｅｉ。Ｌｉｎ Ｘｕｅｍｉｎ，ｅｔ ａ１．Ｅｆｆｉｃｉｅｎｔ Ｍ，Ｊｕｒｋ Ｓ，Ｌｅｎｚ Ｈ Ｊ，ｅｔ ａ１．Ｏｂｊｅｃｔ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ
［１１７］ Ｎｅｉｌｉｎｇ

ｓｉｍｉｌａｒｉｔｙ ｊｏｉｎｓ ｆｏｒ ｎｅａｒ－ｄｕｐｌｉｃａｔｅ ｄｅｔｅｃｔｉｏｎ口］．ＡＣＭ Ｔｒａｎｓ ｏｆ ｔｈｅ Ｉｎｔ Ｄａｔａ

ｑｕａｌｉｔｙ［ｃ］／Ｐｒｏｃ Ｗｏｒｋｓｈｏｐ ｏｎ
Ｑｕａｌｉｔｙ ｉｎ

ｏｎ Ｄａｔａｂａｓｅ Ｓｙｓｔｅｍｓ（ＴＯＤＳ），２０１１，３６（３）：１５ Ｉｎｆｏｒｍａｔｉｏｎ Ｂｅｒｌｉｎ：

Ｃｏｏｐｅｒａｔｉｖｅ Ｓｙｓｔｓｅｍｓ（ＤＱＣＩＳ）．

［１０５］Ｐａｐａｐｅｔｒｏｕ Ｐ，Ａｔｈｉｔｓｏｓ Ｖ，Ｋｏｌｌｉｏｓ Ｇ，ｅｔ ａ１．Ｒｅｆｅｒｅｎｃｅ— Ｓｐｒｉｎｇｅｒ，２００３：１—１０

ｂａｓｅｄ ａｌｉｇｎｍｅｎｔ ｉｎ ｌａｒｇｅ ｓｅｑｕｅｎｃｅ ｄａｔａｂａｓｅｓ［Ｊ］． ［１１８］ Ｗｅｉｓ Ｍ，Ｎａｕｍａｎｎ Ｆ，Ｂｒｏｓｙ Ｆ．Ａ ｄｕｐｌｉｃａｔｅ ｄｅｔｅｃｔｉｏｎ

Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２００９，２（ｉ）：２０５— ｂｅｎｃｈｍａｒｋ ｆｏｒ ＸＭＬ（ａｎｄ ｒｅｌａｔｉｏｎａｌ）ｄａｔａ［Ｃ］／／Ｐｒｏｃ ｏｆ

２１６ Ｉｎｆｏｒｍａｔｉｏｎ
Ｗｏｒｋｓｈｏｐ ｏｎ Ｑｕａｌｉｔｙ ｆｏｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍｓ

［１０６］Ｙａｎｇ Ｘｉａｏｃｈｕｎ，Ｗａｎｇ Ｂｉｎ，Ｌｉ Ｃｈｅｎ．Ｃｏｓｔ—ｂａｓｅｄ ｖａｒｉａｂｌｅ－ （ＩＱＩＳ）．Ｎｅｗ Ｙｏｒｋ：ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２００６：１－１９

ｌｅｎｇｔｈ—ｇｒａｍ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｓｔｒｉｎｇ ｃｏｌｌｅｃｔｉｏｎｓ ｔｏ

ｓｕｐｐｏｒｔ ［１１９］ ＫＯｐｅｋｅ Ｈ。Ｔｈｏｒ Ａ，Ｒａｈｍ Ｅ． Ｅｖａｌｕａｔｉｏｎ ｏｆ ｅｎｔｉｔｙ

ａｐｐｒｏｘｉｍａｔｅ ｑｕｅｒｉｅｓ ｅｆｆｉｃｉｅｎｔｌｙ［Ｃ］／Ｐｒｏｃ ｏｆ ｔｈｅ ２００８ ＡＣＭ ｒｅｓｏｌｕｔｉｏｎ ａｐｐｒｏａｃｈｅｓ ｏｎ ｒｅａｌ—ｗｏｒｌｄ ｍａｔｃｈ ｐｒｏｂｌｅｍｓ［Ｊ］．
ＳＩＧＭＯＤ Ｉｎｔ Ｃｏｎｆ ｏｎ Ｍａｎａｇｅｍｅｎｔ ｏｆ Ｄａｔａ．Ｎｅｗ Ｙｏｒｋ： Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２０１０，３（１／２）：４８４－

ＡＣＭ，２００８：３５３－３６４ ４９３

万方数据
李建中等：大数据的一个重要方面：数据可用性 １１６１

［１２０３ Ｋ０ｐｃｋｅ Ｈ，Ｔｈｏｒ Ａ，Ｒａｈｍ Ｅ．Ｃｏｍｐａｒａｔｉｖｅ ｅｖａｌｕａｔｉｏｎ ｏｆ ［１３４］Ｔｈｏｒ Ａ，Ｒａｈｍ Ｅ． ＭＯＭＡ—ｆｌ ｍａｐｐｉｎｇ－ｂａｓｅｄ ｏｂｊｅｃｔ

ｅｎｔｉｔｙ ｒｅｓｏｌｕｔｉｏｎ ａｐｐｒｏａｃｈｅｓ ｗｉｔｈ ＦＥＶＥＲ ＥＪ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｍａｔｃｈｉｎｇ ｓｙｓｔｅｍ［Ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ ３ｒｄ Ｂｉｅｎｎｉａｌ Ｃｏｎｆ ｏｎ

ｏｆ ｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２００９，２（２）：１５７４—１５７７ Ｉｎｎｏｖａｔｉｖｅ Ｄａｔａ Ｓｙｓｔｅｍｓ Ｒｅｓｅａｒｃｈ（ＣＩＤＲ）．Ａｓｉｌｏｍａｒ，

［１ ２ １］ＫＯｐｃｋｅ Ｈ，Ｒａｈｍ Ｅ．Ｆｒａｍｅｗｏｒｋｓ ｆｏｒ ｅｎｔｉｔｙ ｍａｔｃｈｉｎｇ：Ａ ＵＳＡ：ＣＩＤＲＤＢ．ＯＲＧ，２００７：７－１０

ｃｏｍｐａｒｉｓｏｎ ＥＪ］．Ｄａｔａ＆Ｋｎｏｗｌｅｄｇｅ Ｅｎｇｉｎｅｅｒｉｎｇ，２０１０。６９ ［１３５］Ｈａｓｓａｎｚａｄｅｈ Ｏ，Ｃｈｉａｎｇ Ｆ，Ｌｅｅ Ｈ Ｃ。ｅｔ ａ１．Ｆｒａｍｅｗｏｒｋ ｆｏｒ

（２）：１９７—２１０
ｅｖａｌｕａｔｉｎｇ ｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍｓ ｉｎ ｄｕｐｌｉｃａｔｅ ｄｅｔｅｃｔｉｏｎ［Ｊ］．
［１２２３ Ｍｅｎｅｓｔｒｉｎａ Ｄ，Ｗｈａｎｇ Ｓ Ｅ，Ｇａｒｃｉａ—Ｍｏｌｉｎａ Ｈ．Ｅｖａｌｕａｔｉｎｇ
Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２００９，２（１）：１ ２８２－

ｅｎｔｉｔｙ ｒｅｓｏｌｕｔｉｏｎ ｒｅｓｕｌｔｓ［Ｊ３．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＶＬＤＢ

１２９３

Ｅｎｄｏｗｍｅｎｔ，２０１０，３（１１２）：２０８—２１９ ［１３６］Ｈａｓｓａｎｚａｄｅｈ Ｏ，Ｍｉｌｌｅｒ Ｒ Ｊ． Ｃｒｅａｔｉｎｇ ｐｒｏｂａｂｉｌｉｓｔｉｃ

［１２３］Ｂｏｈａｎｎｏｎ Ｐ，Ｆａｎ Ｗｅｎｆｅｉ，Ｆｌａｓｔｅｒ Ｍ，ｅｔ ａ１．Ａ ｃｏｓｔ—ｂａｓｅｄ ｄａｔａｂａｓｅｓ ｆｒｏｍ ｄｕｐｌｉｃａｔｅｄ ｄａｔａ［Ｊ］．Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ
ｍｏｄｅｌ ａｎｄ ｅｆｆｅｃｔｉｖｅ ｈｅｕｒｉｓｔｉｃ ｆｏｒ ｒｅｐａｉｒｉｎｇ ｃｏｎｓｔｒａｉｎｔｓ ｂｙ
Ｊｏｕｒｎａｌ ｏｎ
Ｖｅｒｙ Ｌａｒｇｅ Ｄａｔａｂａｓｅｓ，２００９，１８（５）：１１４１－Ｉｉ６６
ｖａｌｕｅ ｍｏｄｉｆｉｃａｔｉｏｎ［ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ ２００５ ＡＣＭ ＳＩＧＭＯＤ
［１３７］Ｇｕｏ Ｓｏｎｇｔａｏ，Ｄｏｎｇ Ｘ Ｌ，Ｓｒｉｖａｓｔａｖａ Ｄ，ｅｔ ａ１．Ｒｅｃｏｒｄ
Ｉｎｔ Ｃｏｎｆ ｏｎ Ｍａｎａｇｅｍｅｎｔ ｏｆ Ｄａｔａ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，２００５：
ｌｉｎｋａｇｅ ｗｉｔｈ ｕｎｉｑｕｅｎｅｓｓ ｃｏｎｓｔｒａｉｎｔｓ ａｎｄ ｅｒｒｏｎｅｏｕｓ ｖａｌｕｅｓ
１４３－１５４
［Ｊ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２０１０，３（１／２）：
［１２４］Ｃｏｎｇ Ｇａｏ，Ｆａｎ Ｗｅｎｆｅｉ，Ｇｅｅｒｔｓ Ｆ。ｅｔ ａ１．Ｉｍｐｒｏｖｉｎｇ ｄａｔａ
４１７－４２８

ｑｕａｌｉｔｙ：Ｃｏｎｓｉｓｔｅｎｃｙ ａｎｄ ａｃｃｕｒａｃｙ［ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ ３３ｒｄ Ｉｎｔ

［１ ３８］ Ｍａｙｆｉｅｌｄ Ｃ，Ｎｅｖｉｌｌｅ Ｊ，Ｐｒａｂｈａｋａｒ Ｓ．ＥＲＡＣＥＲ：ａ ｄａｔａｂａｓｅ
Ｃｏｎｆ ｏｎ Ｖｅｒｙ Ｌａｒｇｅ Ｄａｔａｂａｓｅｓ． Ｓａｎ Ｆｒａｎｃｉｓｃｏ，ＣＡ：
ａｐｐｒｏａｃｈ ｆｏｒ ｓｔａｔｉｓｔｉｃａｌ ｉｎｆｅｒｅｎｃｅ ａｎｄ ｄａｔａ ｃｌｅａｎｉｎｇ［ｃ］／／
Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ，２００７：３１５－３２６
Ｐｒｏｃ ｏｆ ｔｈｅ ２０１０ Ｉｎｔ Ｃｏｎｆ ｏｎ Ｍａｎａｇｅｍｅｎｔ ｏｆ Ｄａｔａ．Ｎｅｗ
［１２５］Ｂｅｓｋａｌｅｓ Ｇ，ｌｌｙａｓ Ｉ Ｆ，Ｇｏｌａｂ Ｌ．Ｓａｍｐｌｉｎｇ ｔｈｅ ｒｅｐａｉｒｓ ｏｆ
Ｙｏｒｋ：ＡＣＭ，２０１０：７５—８６
ｆｕｎｃｔｉｏｎａｌ ｄｅｐｅｎｄｅｎｃｙ ｖｉｏｌａｔｉｏｎｓ ｕｎｄｅｒ ｈａｒｄ ｃｏｎｓｔｒａｉｎｔｓ［Ｊ］．
［１３９３ Ｆｕｘｍａｎ Ａ Ｄ，Ｍｉｌｌｅｒ Ｒ Ｊ．Ｆｉｒｓｔ－ｏｒｄｅｒ ｑｕｅｒｙ ｒｅｗｒｉｔｉｎｇ ｆｏｒ
Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２０１０，３（１１２）：１９７—
ｉｎｃｏｎｓｉｓｔｅｎｔ ｄａｔａｂａｓｅｓ［Ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ １０ｔｈ Ｉｎｔ Ｃｏｎｆ ｏｎ

２０７
Ｄａｔａｂａｓｅ Ｔｈｅｏｒｙ．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ，２００５：３３７－３５１
［１２６］Ｌｉａｎ Ｘｉａｎｇ，Ｃｈｅｎ Ｌｅｉ，Ｓｏｎｇ Ｓｈａｏｘｕ．Ｃｏｎｓｉｓｔｅｎｔ ｑｕｅｒｙ
［１４０］Ｆｕｘｍａｎ Ａ，Ｆｕｘｍａｎ Ｄ，Ｍｉｌｌｅｒ Ｒ Ｊ．ＣｏｎＱｕｅｒ：Ａ ｓｙｓｔｅｍ ｆｏｒ
ａｎｓｗｅｒｓ ｉｎ ｉｎｃｏｎｓｉｓｔｅｎｔ ｐｒｏｂａｂｉｌｉｓｔｉｃ ｄａｔａｂａｓｅｓ［ｃ］／／Ｐｒｏｃ ｏｆ
ｅｆｆｉｃｉｅｎｔ ｑｕｅｒｙｉｎｇ ｏｖｅｒ ｉｎｃｏｎｓｉｓｔｅｎｔ ｄａｔａｂａｓｅｓ［ｃ］／／Ｐｒｏｃ ｏｆ
ｔｈｅ ２０１０ Ｉｎｔ Ｃｏｎｆ ｏｎ Ｍａｎａｇｅｍｅｎｔ ｏｆ Ｄａｔａ．Ｎｅｗ Ｙｏｒｋ：
ｔｈｅ ３１ｓｔ Ｉｎｔ Ｃｏｎｆ ｏｎ Ｖｅｒｙ Ｌａｒｇｅ Ｄａｔａｂａｓｅｓ．Ｓａｎ Ｆｒａｎｃｉｓｃｏ，
ＡＣＭ，２０１０：３０３－３１４
ＣＡ：Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ，２００５：１３５４—１３５７
［１２７］Ｘｉｅ Ｊｕｎｙｉ，Ｙａｎｇ Ｊｕｎ，Ｃｈｅｎ Ｙｕｇｕｏ，ｅｔ ａ１．Ａ ｓａｍｐｌｉｎｇ－ｂａｓｅｄ
［１４１］Ｍｏｒｒｏ Ａ．Ｉｎｔｅｇｒｉｔｙ＝ｖａｌｉｄｉｔｙ＋ｃｏｍｐｌｅｔｅｎｅｓｓ［Ｊ］．ＡＣＭ
ａｐｐｒｏａｃｈ ｔｏ ｉｎｆｏｒｍａｔｉｏｎ ｒｅｃｏｖｅｒｙ［ｃ］／Ｐｒｏｃ ｏｆ ＩＥＥＥ
Ｔｒａｎｓ ｏｎ Ｄａｔａｂａｓｅ Ｓｙｓｔｅｍｓ（ＴＯＤＳ），１９８９，１４（４）：４８０－
ＩＣＤＥ’０８．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２００８：４７６—４８５
５０２
［１２８］Ｊｅｆｆｃｒｙ Ｓ Ｒ，Ｇａｒｏｆａｌａｋｉｓ Ｍ，Ｆｒａｎｋｌｉｎ Ｍ Ｊ．Ａｄａｐｔｉｖｅ
［１４２］Ｌｅｖｙ Ａ．Ｏｂｔａｉｎｉｎｇ ｃｏｍｐｌｅｔｅ ａｎｓｗｅｒｓ ｆｒｏｍ ｉｎｃｏｍｐｌｅｔｅ
ｃｌｅａｎｉｎｇ ｆｏｒ ＲＦＩＤ ｄａｔａ ｓｔｒｅａｍｓ［ｃ］／Ｐｒｏｃ ｏｆ ｔｈｅ ３２ｎｄ Ｉｎｔ

Ｃｏｎｆ
ｄａｔａｂａｓｅｓ［ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ ２２ｎｄ Ｉｎｔ Ｃｏｎｆ ｏｎ Ｖｅｒｙ Ｌａｒｇｅ
ｏｎ Ｖｅｒｙ Ｌａｒｇｅ Ｄａｔａｂａｓｅｓ．Ｓａｎ Ｆｒａｎｃｉｓｃｏ，ＣＡ：
Ｄａｔａｂａｓｅｓ．Ｓａｎ Ｆｒａｎｃｉｓｃｏ，ＣＡ：Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ，１９９６：
Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ，２００６：１６３—１７４
４０２－４ｉ２
［１２９］Ｃｈｅｎ Ｈａｉｑｕａｎ，Ｋｕ Ｗ Ｓ，Ｗａｎｇ Ｈａｉｘｕｎ，ｅｔ ａ１．Ｌｅｖｅｒａｇｉｎｇ

ｓｐａｔｉｏ ｔｅｍｐｏｒａｌ ｒｅｄｕｎｄａｎｃｙ ｆｏｒ ＲＦＩＤ ｄａｔａ

［１ ４３］Ｋｈａｌｅｆａ Ｍ Ｅ，Ｍｏｋｂｅｌ Ｍ Ｆ，Ｌｅｖａｎｄｏｓｋｉ Ｊ Ｊ．Ｓｋｙｌｉｎｅ ｑｕｅｒｙ
ｃｌｅａｎｓｉｎｇ［ｃ］／／
Ｐｒｏｃ ｏｆ ｔｈｅ ２０１０ ＡＣＭ ＳＩＧＭＯＤ Ｉｎｔ Ｃｏｎｆ ｐｒｏｃｅｓｓｉｎｇ ｆｏｒ ｉｎｃｏｍｐｌｅｔｅ ｄａｔａ［ｃ］／Ｐｒｏｃ ｏｆ ＩＥＥＥ ＩＣＤＥ’０８．
ｏｎ
Ｍａｎａｇｅｍｅｎｔ ｏｆ

Ｄａｔａ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，２０１０：５ｌ一６２ Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２００８：５５６—５６５

［１ ３０］Ｚｈｕａｎｇ Ｙｏｎｇｚｈｅｎ，Ｃｈｅｎ Ｌｅｉ．Ｉｎ—ｎｅｔｗｏｒｋ ｏｕｔｌｉｅｒ ｃｌｅａｎｉｎｇ ［１４４］Ｓｉｓｍａｎｉｓ Ｙ，Ｗａｎｇ Ｌ，Ｆｕｘｍａｎ Ａ，ｅｔ ａ１．Ｒｅｓｏｌｕｔｉｏｎ—ａｗａｒｅ

ｆｏｒ ｄａｔａ ｃｏｌｌｅｃｔｉｏｎ ｉｎ ｓｅｎｓｏｒ ｎｅｔｗｏｒｋｓ Ｅｃ］｜／Ｐｒｏｃ ｏｆ ＶＬＤＢ ｑｕｅｒｙ ａｎｓｗｅｒｉｎｇ ｆｏｒ ｂｕｓｉｎｅｓｓ ｉｎｔｅｌｌｉｇｅｎｃｅ［ｃ］／／Ｐｒｏｃ ｏｆ

ＩＥＥＥ ＩＣＤＥ’０９．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２００９：９７６—９８７
Ｗｏｒｋｓｈｏｐ ｏｎ ＣｌｅａｎＤＢ．Ｎｅｗ Ｙｏｒｋ：ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，

２００６：４１—４８ ［１４５］Ｃｏｒｍｏｄｅ Ｇ，ＭｃＧｒｅｇｏｒ Ａ．Ａｐｐｒｏｘｉｍａｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ

Ｍ。ｅｔ ａ１．Ｓｕｂｓｕｍｐｔｉｏｎ ａｎｄ ｕｎｃｅｒｔａｉｎ ｄａｔａ［ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ ２７ｔｈ ＡＣＭ

［１３１］Ｂｌｅｉｈｏｌｄｅｒ Ｊ，Ｓｚｏｔｔ Ｓ，Ｈｅｒｓｃｈｅｌ ｃｌｕｓｔｅｒｉｎｇ

ｄａｔａ ｆｕｓｉｏｎ ＳＩＧＭＯＤ－ＳＩＧＡＣＴ—ＳＩＧＡＲＴ Ｓｙｍｐ Ｐｒｉｎｃｉｐｌｅｓ ｏｆ

ｃｏｍｐｌｅｍｅｎｔａｔｉｏｎ ａｓ
ｏｐｅｒａｔｏｒｓ［ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ ｏｎ

１３ｔｈ Ｉｎｔ Ｃｏｎｆ Ｄａｔａｂａｓｅ Ｓｙｓｔｅｍｓ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，２００８：１９１－２００

ｏｎ
Ｅｘｔｅｎｄｉｎｇ Ｄａｔａｂａｓｅ Ｔｅｃｈｎｏｌｏｇｙ．Ｎｅｗ

Ｙｏｒｋ：ＡＣＭ，２０１０：５１３—５２４ ［１４６］Ｋｒｉｅｇｅｌ Ｈ Ｐ，Ｐｆｅｉｆｌｅ Ｍ．Ｄｅｎｓｉｔｙ－ｂａｓｅｄ ｃｌｕｓｔｅｒｉｎｇ ｏｆ

［１３２］Ｂｅｓｋａｌｅｓ Ｇ，Ｓｏｌｉｍａｎ Ｍ Ａ，Ｉｌｙａｓ Ｉ Ｆ，ｅｔ ａ１．Ｍｏｄｅｌｉｎｇ ａｎｄ ｕｎｃｅｒｔａｉｎ ｄａｔａ［Ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ ｌ ｌ ｔｈ ＡＣＭ ＳＩＧＫＤＤ Ｉｎｔ

ｑｕｅｒｙｉｎｇ ｐｏｓｓｉｂｌｅ ｒｅｐａｉｒｓ ｉｎ ｄｕｐｌｉｃａｔｅ ｄｅｔｅｃｔｉｏｎ［Ｊ］． Ｃｏｎｆ ｏｎ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ｉｎ Ｄａｔａ Ｍｉｎｉｎｇ．Ｎｅｗ Ｙｏｒｋ：

Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２００９，２（１）：５９８— ＡＣＭ，２００５：６７２－６７７

６０９ ［１４７］Ａｇｇａｒｗａｌ Ｃ Ｃ，Ｌｉ Ｙａｎ，Ｗａｎｇ Ｊｉａｎｙｏｎｇ，ｅｔ ａ１．Ｆｒｅｑｕｅｎｔ

［１３３］Ａｎｄｒｉｔｓｏｓ Ｐ，Ｆｕｘｍａｎ Ａ。Ｍｉｌｌｅｒ Ｒ Ｊ．Ｃｌｅａｎ ａｎｓｗｅｒｓ ｏｖｅｒ

ｐａｔｔｅｒｎ ｍｉｎｉｎｇ ｗｉｔｈ ｕｎｃｅｒｔａｉｎ ｄａｔａ Ｅｃ］／Ｐｒｏｅ ｏｆ ｔｈｅ １５ｔｈ

ｄｉｒｔｙ ｄａｔａｂａｓｅｓ：Ａ ｐｒｏｂａｂｉｌｉｓｔｉｅ ａｐｐｒｏａｃｈ［ｃ］／／Ｐｒｏｅ ｏｆ ＡＣＭ ＳＩＧＫＤＤ Ｉｎｔ Ｃｏｎｆ ｏｎ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ａｎｄ Ｄａｔａ

ＩＥＥＥ ＩＣＤＥ’０６．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２００６：３０—３０ Ｍｉｎｉｎｇ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，２００９：２９—３８

万方数据
 １１６２ 计算机研究与发展２０１３，５０（６）

Ｅ１４８３ Ｂｅｒｎｅｃｋｅｒ Ｔ，Ｋｒｉｅｇｅｌ Ｈ Ｐ，Ｒｅｎｚ Ｍ，ｅｔ ａ１．Ｐｒｏｂａｂｉｌｉｓｔｉｃ ［１５６］ Ｇｅｎｄａｒｍｉ Ｄ， Ａｂｂａｔｔｉｓｔａ Ｆ， Ｌａｎｕｂｉｌｅ Ｆ． Ｆｏｓｔｅｒｉｎｇ

ｆｒｅｑｕｅｎｔ ｉｔｅｍｓｅｔ ｍｉｎｉｎｇ ｉｎ ｕｎｃｅｒｔａｉｎ ｄａｔａｂａｓｅｓ［ｃ］／／Ｐｒｏｅ ｏｆ ｋｎｏｗｌｅｄｇｅ ｅｖｏｌｕｔｉｏｎ ｔｈｒｏｕｇｈ ｃｏｍｍｕｎｉｔｙ—ｂａｓｅｄ ｐａｒｔｉｃｉｐａｔｉｏｎ

ｔｈｅ １５ｔｈ ＡＣＭ ＳＩＧＫＤＤ Ｉｎｔ Ｃｏｎｆ ｏｎ

Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ Ｉｔ］／Ｐｒｏｃ ｏｆ ｔｈｅ １ ｓｔ Ｗｏｒｋｓｈｏｐ ｏｎ Ｓｏｃｉａｌ ａｎｄ Ｃｏｌｌａｂｏｒａｔｉｖｅ

ａｎｄ Ｄａｔａ Ｍｉｎｉｎｇ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，２００９：１１９－１２８ Ｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ Ｓｔｒｕｃｔｕｒｅｄ Ｋｎｏｗｌｅｄｇｅ ａｔ ＷＷＷ．Ｔｉｂｕｒｇ．

Ｅ１４９］Ｚｏｕ Ｚｈａｏｎｉａｎ，Ｌｉ Ｊｉａｎｚｈｏｎｇ，Ｇａｏ Ｈｏｎｇ，ｅｔ ａ１．Ｍｉｎｉｎｇ Ｎｅｔｈｅｒｌａｎｄｓ：ＣＥＵＲ—ＷＳ．ｏｒｇ，２００７：１－７

ｆｒｅｑｕｅｎｔ ｓｕｂｇｒａｐｈ ｐａｔｔｅｒｎｓ ｆｒｏｍ ｕｎｃｅｒｔａｉｎ ｇｒａｐｈ ｄａｔａ［Ｊ］． ［１５７］ Ｋｕｏ Ｃ Ｓ，Ｈｏｎｇ Ｔ Ｐ，Ｃｈｅｎ Ｃ Ｉ．．Ａ ｋｎｏｗｌｅｄｇｅ—ｅｖｏｌｕｔｉｏｎ

ＩＥＥＥ Ｔｒａｎｓ ｏｎ Ｋｎｏｗｌｅｄｇｅ ａｎｄ Ｄａｔａ Ｅｎｇｉｎｅｅｒｉｎｇ，２０１０，２２ ｓｔｒａｔｅｇｙ ｂａｓｅｄ ｏｎ ｇｅｎｅｔｉｃ ｐｒｏｇｒａｍｍｉｎｇ［ｃ］／Ｐｒｏｃ ｏｆ ｔｈｅ

（９）：１２０３—１２１８ ２００８ Ｉｎｔ Ｃｏｎｆ ｏｎ

Ｃｏｎｖｅｒｇｅｎｃｅ ａｎｄ Ｈｙｂｒｉｄ Ｉｎｆｏｒｍａｔｉｏｎ

Ｅ１５０３ Ｚｏｕ Ｚｈａｏｎｉａｎ，Ｇａｏ Ｈｏｎｇ，Ｌｉ Ｊｉａｎｚｈｏｎｇ．Ｄｉｓｃｏｖｅｒｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２００８：４３—４８

ｆｒｅｑｕｅｎｔ ｓｕｂｇｒａｐｈｓ ｏｖｅｒ ｕｎｃｅｒｔａｉｎ ｇｒａｐｈ ｄａｔａｂａｓｅｓ ｕｎｄｅｒ ［１５８３ Ｑｉｎ Ｂｉａｏ，Ｘｉａ Ｙｕｎｉ，Ｐｒａｂｈａｋａｒ Ｓ．Ｒｕｌｅ ｉｎｄｕｃｔｉｏｎ ｆｏｒ

ｐｒｏｂａｂｉｌｉｓｔｉｃ ｓｅｍａｎｔｉｃｓ［ｃ］／Ｐｒｏｃ ｏｆ ｔｈｅ １６ｔｈ ＡＣＭ ｕｎｃｅｒｔａｉｎ ｄａｔａ［Ｊ］．Ｋｎｏｗｌｅｄｇｅ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍｓ，

ＳＩＧＫＤＤ Ｉｎｔ Ｃｏｎｆ ｏｎ

Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ａｎｄ Ｄａｔａ ２０１１，２９（１）：１０３—１３０

Ｍｉｎｉｎｇ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，２０１０：６３３—６４２ ［１５９］ Ｇａｏ Ｃｈｕａｎｃｏｎｇ， Ｗａｎｇ Ｊｉａｎｙｏｎｇ．Ｄｉｒｅｃｔ ｍｉｎｉｎｇ ｏｆ

［１ ５ １］Ｌｉ Ｊ ｉａｎｚｈｏｎｇ，Ｚｏｕ Ｚｈａｏｎｉａｎ，Ｇａｏ Ｈｏｎｇ．Ｍｉｎｉｎｇ ｆｒｅｑｕｅｎｔ ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｐａｔｔｅｒｎｓ ｆｏｒ ｃｌａｓｓｉｆｙｉｎｇ ｕｎｃｅｒｔａｉｎ ｄａｔａ［ｃ］／／
ｓｕｂｇｒａｐｈｓ ｏｖｅｒ ｕｎｃｅｒｔａｉｎ ｇｒａｐｈ ｄａｔａｂａｓｅｓ ｕｎｄｅｒ Ｐｒｏｃ ｏｆ ｔｈｅ １６ｔｈ ＡＣＭ ＳＩＧＫＤＤ Ｉｎｔ Ｃｏｎｆ ｏｎ Ｋｎｏｗｌｅｄｇｅ

ｐｒｏｂａｂｉｌｉｓｔｉｃ ｓｅｍａｎｔｉｃｓ［Ｊ］．Ｔｈｅ ＶＬＤＢ Ｊｏｕｒｎａｌ，２０１２，２１ Ｄｉｓｃｏｖｅｒｙ ａｎｄ Ｄａｔａ Ｍｉｈｉｎｇ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，２０１０：８６１—

（６）：７５３－７７７ ８７０

［１５２］Ｚｏｕ Ｚｈａｏｎｉａｎ，Ｌｉ Ｊｉａｎｚｈｏｎｇ，Ｇａｏ Ｈｏｎｇ，ｅｔ ａ１．Ｆｉｎｄｉｎｇ ｔｏｐ－

ｋ ｍａｘｉｍａｌ ｃｌｉｑｕｅｓ ｉｎ ａｎ ｕｎｃｅｒｔａｉｎ ｇｒａｐｈ［ｃ］／Ｐｒｏｅ ｏｆ ＩＥＥＥ Ｌｉ Ｊｉａｎｚｈｏｎｇ，ｂｏｒｎ ｉｎ １９５０．Ｐｒｏｆｅｓｓｏｒ，

ＩＣＤＥ’１０．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２０１０：６４９—６５２ ＰｈＤ ｒｅｓｅａｒｃｈ ｉｎｔｅｒｅｓｔｓ

ｓｕｐｅｒｖｉｓｏｒ．Ｈｉｓ
［１５３］Ｌｉｕ Ｌｉｎ，Ｊｉｎ Ｒｕｏｍｉｎｇ，Ａｇｇｒａｗａｌ Ｃ Ｃ，ｅｔ ａ１．Ｒｅｌｉａｂｌｅ
ｉｎｃｌｕｄｅ ｍａｓｓｉｖｅ ｄａｔａ ｃｏｍｐｕｔｉｎｇ ａｎｄ
ｃｌｕｓｔｅｒｉｎｇ ｏｎ ｕｎｃｅｒｔａｉｎ ｇｒａｐｈｓ Ｅｃ］／／Ｐｒｏｃ ｏｆ ＩＥＥＥ
ｗｉｒｅｌｅｓｓ ｓｅｎｓｏｒ ｎｅｔｗｏｒｋｓ．
ＩＣＤＭ’１２．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２０１２：４５９—４６８

［１５４］Ｊｉｎ Ｒｕｏｍｉｎｇ，Ｌｉｕ Ｌｉｎ，Ｄｉｎｇ Ｂｏｌｉｎ，ｅｔ ａ１．Ｄｉｓｔａｎｃｅ—

ｃｏｎｓｔｒａｉｎｔ ｒｅａｃｈａｂｉｌｉｔｙ ｃｏｍｐｕｔａｔｉｏｎ ｉｎ ｕｎｃｅｒｔａｉｎ ｇｒａｐｈｓ［Ｊ］．

Ｌｉｕ Ｘｉａｎｍｉｎ， ｂｏｒｎ ｉｎ １ ９８４． ＰｈＤ
Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２０１１，４（９）：５５１—
ｃａｎｄｉｄａｔｅ．Ｈｉｓ ｒｅｓｅａｒｃｈ ｉｎｔｅｒｅｓｔｓ ｉｎｃｌｕｄｅ
５６２

ｍａｓｓｉｖｅ ｄａｔａ ｃｏｍｐｕｔｉｎｇ ａｎｄ ｄａｔａ ｑｕａｌｉｔｙ

［１５５］Ｂｉｅｂｅｒ Ｍ，Ｅｎｇｅｌｂａｒｔ Ｄ，Ｆｕｒｕｔａ Ｒ，ｅｔ ａ１．Ｔｏｗａｒｄ ｖｉｒｔｕａｌ

ｃｏｍｍｕｎｉｔｙ ｋｎｏｗｌｅｄｇｅ ｅｖｏｌｕｔｉｏｎ ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｍａｎａｇｅｍｅｎｔ（ｘｉａｎｍｌｉｕ＠ｇｍａｉｌ．ｃｏｒｎ）．

Ｍａｎａｇｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍｓ，２００２，１８（４）：１１—３５

万方数据