研究论文

超大文本的快速容错搜索

作者:

马里安塞利基克,

霍尔格贝斯特作者信息和声明

SAC’09：2009 ACM应用计算研讨会会议记录

页1724-1731

https://doi.org/10.1145/15229822.1229669

出版:2009年3月8日出版历史

获取访问权限

摘要

我们考虑以下拼写变体聚类问题：给定一个不同单词的列表，称为词典，计算（可能重叠）相互拼写变体的单词簇。此问题自然会在以下类型的容错全文搜索上下文中出现：对于给定的查询，不仅返回与查询词完全匹配的文档，还返回与它们的拼写变体匹配的文档。这与众所周知的“你的意思是：…？”网络搜索引擎功能相反，其中错误容限位于查询一侧，而不是文档一侧。

我们将大量关于近似字符串搜索和拼写更正技术的文献中的各种观点结合到一种新的拼写变体聚类算法中，该算法在时间和空间上都是准确且高效的。我们最大的词典包含大约1000万个单词，在一台标准PC上大约16分钟就可以用10 MB的额外空间进行处理。这比以前最好的方案在运行时间上高出两倍，在空间使用上高出十倍。我们已经将我们的算法集成到CompleteSearch引擎中，以实现容错搜索，而不会在索引大小和查询处理时间上出现明显的放大。

工具书类

[1]

H.巴斯特和I.韦伯。键入更少，查找更多：使用简洁的索引快速自动完成搜索。在2006年SIGIR, 2006.

数字图书馆

[2]

R.J.Bayardo、Y.Ma和R.Srikant。扩大所有配对的相似性搜索。在2007年WWW，第131-140页，2007年。

数字图书馆

[3]

E.Brill和R.C.Moore。一种改进的噪声信道拼写校正误差模型。在ACL'00号, 2000.

数字图书馆

[4]

S.Chaudhuri、V.Ganti和R.Kaushik。数据清理中用于相似性联接的基本运算符。在2006年ICDE，第5页，2006年。

数字图书馆

[5]

X.L.川晓，王伟，J.X.Yu。有效的相似性连接用于近重复检测。在WWW 2008, 2008.

数字图书馆

[6]

E.Cohen、M.Datar、S.Fujiwara、A.Gionis、P.Indyk、R.Motwani、J.D.Ullman和C.Yang。在不支持修剪的情况下查找有趣的关联。ICDE'00系列，第489页，2000年。

数字图书馆

[7]

D.C.Comeau和W.J.Wilbur。在没有字典的情况下进行非单词识别或拼写检查。JASIST公司, 55:169--177, 2004.

数字图书馆

[8]

H.达利安尼斯。评估搜索引擎中的拼写支持。在NLDB'02年，第183-190页，2002年。

数字图书馆

[9]

K.Figueroa、E.Chávez、G.Navarro和R.Paredes。度量空间中邻近搜索的最小代价。在WEA公司，第279--290页，2006年。

数字图书馆

[10]

K.Kukich。自动更正文本中单词的技术。ACM计算。Surv公司。, 24:377--439, 1992.

数字图书馆

[11]

S.Mihov和K.U.Schulz。在大型词典中进行快速近似搜索。计算。语言学家。，第451-477页，2004年。

数字图书馆

[12]

R.Muth和U.Manber。近似多字符串搜索。在96年CPM，第75-86页，1996年。

数字图书馆

[13]

G.Navarro和R.Baeza-yates。在度量空间中搜索。ACM计算。Surv公司。，第273--321页，2001年。

数字图书馆

[14]

J.J.Pollock和A.Zamora。科学和学术文本中的自动拼写更正。在Commun公司。ACM 27、4（4月），第358-368页，1984年。

数字图书馆

[15]

E.S.Ristad和P.N.Yianilos。学习字符串编辑距离。IEEE模式分析和机器智能汇刊, 20:522--532, 1998.

数字图书馆

[16]

E.Sutinen和J.Tarhio。用近似匹配的q样本进行过滤。在96年CPM，第50-63页，1996年。

数字图书馆

[17]

B.S.T.Bocek，E.Hunt。大型词典中的快速相似性搜索。技术报告，苏黎世大学信息学系，2007年。

[18]

K.Taghva、J.Borsack和A.Condit。用于自动校正ocr输出的专家系统。在SPIE公司，第270--278页，1994年。

[19]

K.Taghva、J.Borsack和A.Condit。将概率IR应用于OCR文本的结果。在信息检索的研究与发展，第202-211页，1994年。

数字图书馆

[20]

K.Taghva、J.Borsack和A.Condit。ocr错误对使用向量空间模型进行排名和反馈的影响。信息处理。管理。, 32:317--327, 1996.

数字图书馆

[21]

J.Zobel和P.W.Dart。在大型词典中查找近似匹配。软件-实践和经验, 25:331--345, 1995.

数字图书馆

引用人

巴斯特HCelikik M公司(2014)高效的基于索引的代码段生成ACM信息系统交易（TOIS）10.1145/259097232:2(1-24)在线发布日期：2014年4月1日
https://dl.acm.org/doi/10.1145/2590972
纳瓦罗G(2014)空间、树和颜色倒排索引综述10.1145/253593346:4(1-47)在线发布日期：2014年3月1日
https://dl.acm.org/doi/10.1145/2535933
鲁尔·R米塔尔S乔希·P(2014)基于文本和概念的近重复文档检测方法高级计算、网络和信息学-第1卷10.1007/978-3-319-07353-8_23(195-203)网上发布日期：2014年
https://doi.org/10.1007/978-3-319-07353-8_23
显示更多引用者

索引术语

超大文本的快速容错搜索
1. 以人为中心的计算
  1. 人机交互（HCI）
2. 信息系统
  1. 信息检索
  2. 信息存储系统

建议

高效的双面容错搜索
KEYS’10：第二届结构化数据关键字搜索国际研讨会会议记录

我们考虑快速双面容错搜索，该搜索对查询端的错误（类型算法，使用查找文档算法)以及在文档端（键入算法，使用查找文档算法). 我们展示了如何实现。。。
FITE-TRT翻译方法的一种新实现
ECIR’08：第30届欧洲信息检索进展会议《IR研究论文集》

跨语言信息检索需要好的方法来翻译现有词典资源中未涵盖的跨语言拼写变体。FITE-TRT是一种采用基于频率的识别。。。
自然语言中的在线近似字符串匹配

我们考虑自然语言文本中的近似模式匹配。我们使用文本中的单词作为字母表，而不是传统的字符串匹配方法中的字符。因此，我们的模式由一系列单词组成。来自。。。

评论

信息和贡献者

问询处

发布于

封面图片ACM会议

SAC'09：2009年ACM应用计算研讨会论文集

2009年3月

2347页

十亿英镑：9781605581668

内政部：10.1145/1529282

会议主席：
宋永信
美国南达科他州立大学
,
萨沙·奥斯索夫斯基
西班牙雷·胡安·卡洛斯大学

版权所有©2009 ACM。

如果复制品不是为了盈利或商业利益而制作或分发的，并且复制品的第一页载有本通知和完整引文，则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重ACM以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布、在服务器上发布或重新分发到列表，需要事先获得特定许可和/或收取费用。从请求权限[电子邮件保护]

赞助商

SIGAPP：ACM应用计算特别兴趣小组

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2009年3月8日

权限

请求对此文章的权限。

检查更新

作者标记

限定符

研究文章

会议

SAC09标准

主办单位：

SIGAPP公司

SAC09：2009年ACM应用计算研讨会

2009年3月8日至2008年3月12日

夏威夷，火奴鲁鲁

验收费率

6669份提交文件的总体接受率为1650，25%

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

10
引文总数
查看引文
334
总下载次数

下载次数（过去12个月）1
下载次数（最近6周）1

反映截至2024年9月17日的下载量

其他指标

查看作者指标

引文

引用人

巴斯特HCelikik M公司(2014)高效的基于索引的代码段生成ACM信息系统交易（TOIS）10.1145/259097232:2(1-24)在线发布日期：2014年4月1日
https://dl.acm.org/doi/10.1145/2590972
纳瓦罗G(2014)空间、树和颜色倒排索引综述10.1145/253593346:4(1-47)在线发布日期：2014年3月1日
https://dl.acm.org/doi/10.1145/2535933
鲁尔·R米塔尔S乔希·P(2014)基于文本和概念的近重复文档检测方法高级计算、网络和信息学-第1卷10.1007/978-3-319-07353-8_23(195-203)网上发布日期：2014年
https://doi.org/10.1007/978-3-319-07353-8_23
巴斯特HCelikik M公司(2013)大型文本集合中的高效模糊搜索美国计算机学会信息系统汇刊10.1145/2457465.245747031:2(1-59)在线发布日期：2013年5月17日
https://dl.acm.org/doi/10.1145/2457465.2457470
冯J王杰李G(2012)Trie-join（尝试加入）VLDB期刊-超大数据库国际期刊2007年10月7日/0778-011-0252-821:4(437-461)在线发布日期：2012年8月1日
https://dl.acm.org/doi/10.1007/s00778-011-0252-8
芬茨D兰格D莱茵兰德A诺曼FLeser U公司(2012)超大字符串集的高效相似性搜索第24届科学和统计数据库管理国际会议记录10.1007/978-3-642-31235-9_18(262-279)在线发布日期：2012年6月25日
https://dl.acm.org/doi/10.1007/978-3642-31235-9_18
巴斯特HCelikik M公司(2011)快速构建HYB指数美国计算机学会信息系统汇刊10.1145/1993036.199304029:3(1-33)在线发布日期：2011年7月22日
https://dl.acm.org/doi/10.1145/1993036.1993040
维拉雷斯J维拉雷斯M奥特罗J(2011)管理IR应用程序中拼写错误的查询信息处理与管理2016年10月10日/j.ipm.2010.08.00447:2(263-286)在线发布日期：2011年3月
https://doi.org/10.1016/j.ipm.2010.08.004
李G季S锂电池冯J(2011)高效的模糊全文类型先行搜索VLDB期刊-超大数据库国际期刊10.1007/s00778-011-0218-x20:4(617-640)在线发布日期：2011年8月1日
https://dl.acm.org/doi/10.1007/s00778-011-0218-x
巴斯特HCelikik M公司(2010)高效的双面容错搜索第二届结构化数据关键字搜索国际研讨会论文集10.1145/1868366.1868369(1-2)在线发布日期：2010年6月6日
https://dl.acm.org/doi/10.1145/1868366.1868369

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

媒体

数字

其他

桌子