文档的bag-of-repeats表示

文档的n-gram表示可以通过放松单词的独立性假设和引入上下文来改进简单的bagof-word表示。然而，这需要增加非描述性的特征，并以指数方式增加向量空间模型的维数。

我们提出了避免这两个陷阱的新表示。它们基于字符串学的合理理论概念，可以使用后缀族中的数据结构算法在最佳渐近时间内进行计算。虽然最大重复在过去被用于类似的任务，但我们展示了另一类等价的重复——最大最大重复——是如何获得类似或更好的结果的，只具有一小部分特征。此类充当所有重复子字符串的最小生成基础。我们还报告了它们在主题建模中的使用，显示了更容易解释的模型。