截止日期后

我星期天在计算语言学与写作研讨会关于写作过程和创作辅助工具NAACL-HLT 2010.我在这里介绍截止日期后。截止日期之后是开源校对软件服务。如果你对上下文语法和拼写检查器的工作原理感到好奇，那么你应该继续阅读。以下是材料：

演示

幻灯片

纸类

更多深度

如果你想要更多的深度，我经常写关于AtD的文章。以下是一些您可能感兴趣的相关博客帖子：

• AtD源代码和引导数据–AtD的服务器端核心在GNU GPL下可用
• 测量误用单词校正器–用于复制实验的数据/代码，该实验用于测量AtD的真实错误检测能力
• 我如何尝试捕捉错误–论文掩盖了使用Trie生成建议库的过程。只是没有足够的空间来解释它。这篇博客文章详细介绍了它。

在我们开始之前：你注意到我喜欢的、对SEO友好的帖子标题了吗？语言学家将误用的单词称为真正的单词错误。当我在这篇文章中写真实的单词错误时，我实际上指的是《最后期限之后》中的误用单词检测器。

在《最后期限之后》中，我最喜欢的功能之一是真正的单词纠错器。在这篇文章中，我将讨论此功能及其工作原理。我还将对该工具与Microsoft Word 2007对于具有类似功能的Windows，他们称之为上下文拼写检查器。

混淆集

截止日期后有一个1603个单词的列表。在这个列表中，单词被分为混淆组。混淆集是指在写作过程中可能被误用的两个或多个单词。有些人让我感到惊讶，例如，我看到有人在《黑客新闻》上写肖像，而他们的意思是描绘。“肖像”和“描绘”这两个词就是一个混淆的例子。

混淆集是一种带宽和限制，但它们现在有自己的位置。在一个理想的程序中，该软件会查看您使用的任何单词，并尝试使用各种标准来确定您是否指的是其他单词。“截止日期后”并没有做到这一点，因为这意味着要存储更多关于每个单词以及如何使用的信息，而我谦逊的服务器无法处理这些信息。由于内存（和CPU限制），我根据这些固定的混淆集限制了检查的单词。

查找错误

为了检测真实的单词错误，在截止日期后扫描文档，查找可能被误用的单词列表中的任何单词。当AtD遇到其中一个单词时，它会查看该单词的混淆集，并检查是否有其他单词更适合。

这是怎么发生的？这很简单。AtD查看可能被误用的单词的左边和右边的两个单词，并尝试确定混淆集中的哪个单词最适合。这看起来像：

我承认，网站确实如此肖像可靠性。

在这里，“截止日期后”使用以下统计特征来决定您想要的单词W（肖像或描绘）：

P（W |站点，does）
P（W |可信度，结束）
P（W|做）
P（W |可信度）
P（宽）

一个单词给出前两个单词的概率是用三角图计算的。当截止日期后学习一门语言时，它会存储它找到的两个单词的每个序列，以及以混淆集开始或结束的三个单词的序列。要计算一个单词在接下来的两个单词中的概率，需要使用三角图和一点代数贝叶斯原理。我在上写了一篇帖子语言模型早期的。为了将所有这些结合在一起，在截止日期之后使用神经网络将这些统计特征组合成0.0到1.0之间的一个分数。得分最高的单词获胜。为了避免误报，将当前单词乘以10，以确保它在不明确的情况下获胜。

让我们衡量一下

好的，那么自然的问题是，这工作得怎么样？每次我在最后期限后重建时，我都会运行一系列测试来检查神经网络评分功能，并告诉我它的正确频率和错误频率。这种评估是一种很好的单元测试，但很难接近真实值单词它的世界表现。

幸运的是，詹妮弗·佩德勒博士 博士论文已经覆盖了我们。在她的论文中，她开发并评估了检测真实单词错误的技术，以帮助患有阅读障碍的作家。她的研究包括收集编写示例来自有阅读障碍的作家，并注释错误以及预期的更正。我查看了她的数据，发现835个错误中有97.8%是真字错误。非常适合评估实词错误校正器。

我们认为语法检查器领域中的许多东西实际上是真实的单词错误。错误包括错误的动词时态（例如build和build）、不定冠词（a和an）和错误的限定词（the、their等），这些都是真正的单词错误。你可能会问，真正的单词错误检测可以应用于语法检查吗？是的,其他人正在努力测试“截止日期后”作为一个完整的系统（语法检查器、误用单词检测器等）纠正这些错误的效果是有意义的。

为了测试截止日期之后，我写了一个睡眠脚本将Pedler博士的错误语料库的更正版本与有错误的原始语料库进行比较。该软件可以测量发现的错误数量和更改为某个内容的次数（召回），以及这些更改的正确频率（精度）。此测试不测量正确或错误更改的注释错误之外的元素数。

要运行它：

grep-v“\-\-\-”corrected.txt>corrected.clean.txt
java-jar sleep.jar measure.sl已更正.clean.txt

现在，我们可以使用佩德勒博士的数据将一种书写系统与另一种进行比较。我们需要做的就是将错误语料库粘贴到系统中，接受每一个建议，并对其运行度量脚本。为了生成错误文件，我编写了另一个脚本，读取Pedler博士的数据并删除注释：

java-jar sleep.jar errors.sl>errors.txt

现在我们准备好了。以下是与Windows上的Microsoft Word 2007、Mac上的Microsoft Word 2008以及MacOS X 10.6中内置的苹果语法和拼写检查器相比的数字。我包括了Microsoft Word 2008和苹果软件，因为这两个软件都没有上下文拼写检查器。他们仍然使用语法检查技术纠正了一些真实的单词错误。

如您所见，Windows上的Microsoft Word 2007在召回部门表现良好。阅读障碍语料库中的每一个错误，如果不在“截止日期后”的混淆集中，都会自动打击回忆。不过，这两种系统的精度是相似的。

你可以自己试试这个实验。这个代码和数据可用。我还创建了一页在这里，您可以粘贴到文档中，只需单击一次即可接受所有建议。

另一个评估

另一个MS Word 2007的真实错误检测评估由多伦多大学格雷姆·赫斯特于2008年出版。他发现MS Word对错误的回忆能力较低。为了评估MS Word，他在《华尔街日报》语料库中随机插入（1:200个单词）真实错误，然后测量系统性能。这将对研究界（尤其是*咳嗽*我们这些大学以外的人*咳嗽*)如果对可以重新分配的数据进行此类测试。

最后的想法

运行完这个实验后，我添加了与佩德勒博士的困惑集对AtD现有的混淆集，按下神奇的按钮来重建模型，并重新运行这些测试。我看到AtD的召回率上升到33.9%，准确率为86.6%。扩展AtD中使用的混淆集将提高AtD的实际纠错性能。

我将继续在《最后期限之后》中增加混淆集的数量。导入多个单词的整体销售面临的一个挑战是，当使用此处描述的方法进行检查时，某些单词比其他单词产生更多的误报（因此，当向误用单词检测器添加几个未评估的新词时，精确度会下降）。

如果你在Windows上使用Microsoft Word 2007，你会得到很好的帮助。尽管如此，在MSWord2007不可用的情况下，“截止日期后”在实际的错误检测部门中仍具有可比性。

如果你使用Mac，你应该截止日期后使用.

大多数自然语言处理任务的挑战之一是获取数据并将其分解为可用的模型。准备大型数据集足够硬了。一旦准备好了，就必须将其放入语言模型中。我的旧NLP实验室（由两台我花了100美元从康奈尔大学买来的计算机组成）花了18个小时建立我的语言模型。你可能有比我更好的硬件。

拯救痛苦

如果可以的话，我想帮你省去一些痛苦和麻烦。这就是我今天写博客的原因。你知道截止日期后预先构建的二元语言英语、德语、西班牙语、法语、意大利语、波兰语、印尼语、俄语、荷兰语和葡萄牙语的模型？这是10种语言！

此外，您知道After the Deadline语言模型是一个简单的序列化Java对象吗。事实上，使用它的唯一依赖项是一个Java类。现在我已经让你兴奋了，让我们问一下……你能用语言模型做什么？

语言模型API

二元语法模型具有文本集合中两个单词的每个序列的计数。根据这些信息，你可以计算出各种有趣的东西。

作为管理说明，我将使用睡眠编程语言对于这些示例。这段代码很容易移植到Java，但我在飞机上，太懒了，不想编写编译器。

让我们加载Sleep交互式解释器并加载英语模型。您可以假设所有这些命令都是从After the Deadline源代码发行版的顶级目录中执行的。

$java-Xmx1536M-jar库/sleep.jar>>欢迎使用睡眠脚本语言>相互作用>>欢迎使用交互式模式。键入代码，然后键入“.”在一行上单独执行代码。单独在一行上键入Ctrl+D或“done”以退出交互模式。导入*from:lib/spellutils.jar；$handle=openf（'models/model.bin'）；$model=readObject（$handle）；关闭（$handle）；println（“加载的$模型”）；.加载org.dashnine.preforitor.LanguageModel@5cc145f9完成

现在你有了它。一个语言模型供你使用。我将向您介绍每个API方法。

统计字数

count方法返回看到指定单词的次数。

示例：

>x[$modelcount:“hello”]153>x[$型号计数：“世界”]26355>x[$型号计数：“the”]3046771

单词概率

Pword方法返回单词的概率。Java调用它的方法是model。Pword（“单词”）。

>x[$model Pword:“the”]0.061422322118108906>x[$model Pword:“自动”]8.063923690767558E-7号>x[$model Pword:“fjsljnfnsk”]0

带上下文的单词概率

这很简单。当你可以查看上下文时，语言模型的有趣部分就出现了。想象一下这个句子：“我想成为一名演员”。通过语言模型，我们可以比较单词bee与给定上下文的单词的匹配度。上下文概率函数允许您这样做。

Pbigram1（“上一个”，“单词”）

此方法计算P（单词|前一个）或指定单词给定前一个单词的概率。这是我们的二元语法模型最直接的应用。毕竟，我们掌握了在我们训练的语料库中看到的所有“前一个单词”的数量。我们只需将其除以之前的计数即可得出答案。在这里，我们使用我们的上下文概率来研究be和bee。

>x[$model Pbigram1：“to”，“bee”]1.8397294594205855E-5型>x[$model Pbigram1:“to”，“be”]0.06296975819264979

Pbigram2（“单词”，“下一个”）

此方法计算P（单词|下一个）或指定单词给定下一个单词的概率。它是如何做到的？这是贝叶斯定理的一个简单应用。贝叶斯定理让我们在概率中翻转条件。计算如下：P（单词|下一个）=P（下一个单词）*P（单词）/P（下一步）在这里，我们使用它来进一步研究be与bee的概率：

>x[$model Pbigram2：“蜜蜂”，“安”]0>x[$model Pbigram2:“be”，“an”]0.014840446919206074

如果你是一台电脑，你会认为作者的意思是什么？

一个小技巧

这些方法还将在计算概率的参数中接受两个单词的序列。我用这个技巧将拼写错误的单词分段，每对字母之间用空格隔开，并将结果与其他拼写建议进行比较。

>x[$model Pword:“纽约”]3.3241509434266565E-4号>x[$model Pword:“很多”]2.198830392380437E-4号>x[$model Pbigram1:“它”，“很多”]8.972553689218159E-5号>x[$model Pbigram2:“很多”，'0END.0']6.511467636360339E-7号

你会注意到的0结束。0这是一个特殊的单词。它代表一个句子的结尾。0开始。0表示句子的开头。这些模型跟踪的唯一标点符号是','。您可以直接参考。

收集字典

我对语言模型的一个用途是转储拼写检查字典。我通过收集所有出现两次或两次以上的单词来做到这一点。当我添加足够的数据时，我将提高此数字以获得高质量词典。要获取词典：

>x[$模型收获：1000000][a，of，to，and，the，0END.0，0BEGIN.0]

此命令收集出现一百万次或更多次的所有单词。正如你所见，没有太多。我现在的语言模型是从7500万个单词的文本中派生出来的。

下一步

简而言之，这就是最后期限后的语言模型。还有一种方法可以根据单词前面的两个单词来计算单词的概率。这是使用三角图来完成的。我没有在这里写这篇文章，因为AtD只存储被误用单词检测器跟踪的单词的三角图。

也就是说，使用这种数据可以获得很多乐趣。

下载截止日期后的开源发布。您可以在models/model.bin中找到英语模型。您也可以从lib目录中获取spellutils.jar。

如果您想尝试其他语言中的双字组截止日期后语言包拥有其他九种语言的训练有素的语言模型。

英语语言模型的培训来源包括古登堡计划和维基百科其他语言模型是从各自的维基百科转储中训练出来的。

祝你好运，玩得开心。

截止日期后是一个开源语法、样式和拼写检查器。与其他工具不同，它使用上下文为错误提供明智的建议。插件可用于Firefox、WordPress等。

拼写检查员的口碑不好，因为他们给出的建议很差，没有捕捉到真正的单词错误，并且通常有过期的字典。在最后期限之后，我在这三个问题上取得了进展。通过像AtD的上下文拼写检查器那样查看上下文，可以解决建议不足的问题。AtD再次使用上下文帮助检测真实单词错误。它不是完美无缺的，但也不坏。AtD还通过查询多个数据源（如维基百科）来查找缺失的单词，在词典方面取得了进展。

问题陈述

尽管如此，上下文拼写检查并不常见。我相信这是因为上下文拼写检查需要一个语言模型。语言模型跟踪大型文本中两个单词的每个序列。拼写检查器可以根据这些数据计算P（currentWord | previousWord）和P（currentWord | nextWord）。对于客户端应用程序，此信息相当于大量内存或磁盘空间。

是否可以在较小的软件包中提供上下文拼写检查器的优点？

为什么有人要这样做？如果能做到这一点，那么就有可能将小型上下文拼写检查器嵌入到Firefox、OpenOffice等程序中。键入时进行拼写检查很容易，而且响应迅速，因为客户端可以下载库并执行客户端的所有操作。

建议的解决方案

我相信可以降低语言模型的准确性，而不会大大影响其优点。上下文在拼写检查时起着重要作用（因为它是额外的信息），但我认为“这个单词在这个上下文中出现的次数比另一个多很多”这一想法就足以帮助拼写检查。通常拼写检查器会在3-6个单词之间做出选择。

存储低保真度语言模型信息的一种方法是将每个单词与一些bloom过滤器相关联。每个bloom过滤器将代表一个概率带。例如，一个单词可以有三个与之关联的bloom过滤器，以跟踪前25%、中50%和后25%中出现的单词。这意味着拼写检查器的数据大小为N*|字典|但这比语言模型趋向于|词典|^2.

A类布卢姆过滤器是用于跟踪某个对象是否属于某个集合的数据结构。它们很小，取舍是它们可能会给出假阳性，但不会给出假阴性。它也很容易计算假阳性率在给定预期集合项目数、bloom过滤器大小和使用的哈希函数数的bloom过滤器中。为了优化空间，可以根据语言模型确定每个波段和单词的bloom过滤器的大小。

如果这项技术适用于拼写，它是否也适用于误用单词检测？想象一下，使用bloom过滤器跟踪每个潜在误用单词的三角图（三个单词的序列）。

在进一步研究之后，看起来其他人已经解决了使用bloom过滤器来表示语言模型这使得这种方法现在更加有趣。

我经常被问到，AtD使用得越多，它是否变得越聪明。答案是还没有。为了激发想象力，并对即将发生的事情给出一个想法，这篇文章提出了一些关于AtD如何在你使用它的时候学习更多的想法。

我可以立即获得两个来源：你发送的文本和你忽略的短语。

从提交的文本中学习

您发送的文本是AtD从正在检查的确切写作类型中学习的机会。该过程将包括保存通过某些正确性过滤器的部分提交文档，并检索这些文档以供以后在AtD语言模型中使用。

提交的文档可以直接添加到AtD训练语料库中，这将对几乎所有功能产生积极影响。AtD使用来自训练数据的统计信息来查找最佳拼写建议，检测误用的单词，并查找风格和语法规则的例外。

更多的数据可以让我创建一个拼写检查字典，减少拼写错误或无关的单词。一个更大的训练语料库意味着更多的单词可以用来派生拼写检查器词典。AtD的拼写检查要求一个单词在被包括在拼写检查字典中之前被看到一定次数。有了足够的自动获取的数据，AtD可以找到最高阈值，从而生成约12万个单词的字典。

从被忽视的短语中学习

单击“始终忽略”时，此首选项将保存到数据库中。我可以为WordPress.com用户和经历了一次看看我能学到什么。

此信息可用于查找要添加到AtD中的新单词。任何被多人忽略的单词都可能是AtD字典中缺少的正确拼写。我可以设置一个阈值，即一个单词在添加到AtD单词列表之前必须忽略多少次。这是一个很难解决的问题，因为我不希望经常被忽视的错误，比如“很多”会进入到AtD字典中，所以有必要对此进行一些保护。

标记为忽略的误用单词表示有机会将数据收集工作重点放在该单词上。这很难，但我可以查询类似以下的服务沃德尼克以获得该单词的更多上下文，并将额外的上下文添加到AtD语料库中。如果一个单词超过了被很多人忽略的门槛，那么考虑自动将其从误用单词列表中删除可能也是一个好主意。统计检测方法对某些单词不起作用。

瞄准更高

这些想法代表了让AtD在您使用服务时学习的一些低效成果。让我们想象一下，我可以让AtD跟踪任何行为及其周围的上下文。当你接受建议时，有很好的学习机会，如果上下文与你接受或忽略建议有关，那么被误用的单词功能有更多的改进机会。

这些是我的想法，你的是什么？