单词入侵测试
摘要_种子数据是用数据训练的主题模型示例摘要使用播种的lda包裹。目前，此包支持来自stm公司，来自的扭曲LDA模型文本2vec，LDA/CTM模型来自主题模型，Biterm主题模型来自BTM公司，来自的关键字辅助主题模型密钥ATM和种子LDA模型种子dlda。虽然不是严格意义上的主题模型，但Naive Bayes模型来自quanteda.text模型也支持。请参阅上的部分朴素的贝叶斯了解更多信息。
图书馆（乌龙）
图书馆（种子dlda）
#>正在加载所需的包：proxyC
#>
#>正在附加包：“proxyC”
#>以下对象已从“package:stats”中屏蔽：
#>
#>距离
#>
#>正在附加包：“seeddlda”
#>以下对象已从“package:stats”中屏蔽：
#>
#>条款
图书馆（定量分析）
图书馆（dplyr）
#>
#>正在附加包：“dplyr”
#>以下对象从“package:stats”中屏蔽：
#>
#>过滤器，滞后
#>以下对象从“package:base”中屏蔽：
#>
#>相交，setdiff，setequal，并集
摘要_种子数据
#>
#>致电：
#>lda（x=x，k=k，label=label，max_iter=max_iter，alpha=alpha，
#>beta=beta，seeds=seeds，words=NULL，verbose=verbose）
#>
#>10个主题；2500份文件；3908个功能。
要使用单词入侵测试创建oolong测试，请使用函数wi公司。建议提供将要进行测试的编码器的用户id。
oolong_测试<- wi公司（摘要_种子数据，用户ID= “哈德利”)
oolong_测试
#>
#>——乌龙（主题模型）────────────────────────────────────────────────────────
#> ✔ 威斯康星州✖ 技术信息✖ WSI公司
#> ☺ 哈德利
#> ℹ WI:k=10，编码为0。
#>
#>——方法——
#>
#>•<$do_word_intrussion_test（）>：进行单词入侵测试
#>•<$lock（）>：完成并查看结果
按照说明，使用该方法$do_word_instruction_test（）开始编码。
oolong_测试$do_word_intrusion测试()
您可以通过单击“退出”按钮暂停测试。您的进度将记录在对象中。如果你想保存进度，只需保存对象（例如saveRDS（oolong_test，“oolong_test.RDS”）). 要恢复测试，请再次启动测试。
编码完成后（所有项目都已编码），您需要按“退出”按钮退出编码界面，然后锁定测试。然后，您可以通过打印乌龙测试来查看模型精度。
oolong_测试$锁()
乌龙（_T）
#>
#>——乌龙（主题模型）────────────────────────────────────────────────────────
#> ✔ 威斯康星州✖ 技术信息✖ WSI公司
#> ☺ 哈德利
#> ℹ WI:k=10，编码10。
#>
#>——结果：——
#>
#> ℹ 90%精度
字集入侵测试
词集入侵测试是词入侵测试的一种变体（Ying等人，2021），其中一个主题的顶级术语生成的多个词集与另一个主题类似生成的一个入侵词集并列。在Ying等人中，这个测试被称为“R4WSI”，因为显示了4个单词集。默认情况下，oolong也会生成R4WSI。然而，也可以通过设置参数来生成R（N）WSIn_correct_ws（_n）至N-1。
乌龙（_T）<- 无线传感器网络（摘要_种子数据，用户ID= “加勒特”)
oolong_测试
#>
#>——乌龙（主题模型）────────────────────────────────────────────────────────
#> ✖ 无线✖ 技术信息✔ WSI公司
#> ☺ 加勒特
#> ℹ WSI:n=10，编码为0。
#>
#>——方法——
#>
#>•<$do_word_set_intrusion_test（）>：进行字集入侵测试
#>•<$lock（）>：完成并查看结果
使用该方法$do_word_set_instruction_test（）开始编码。
oolong_测试$do_word_set入侵测试()
oolong_测试$锁()
oolong_测试
#>
#>——乌龙（主题模型）────────────────────────────────────────────────────────
#> ✖ 威斯康星州✖ 技术信息✔ WSI公司
#> ☺ 加勒特
#> ℹ WSI:n=10，编码10。
#>
#>——结果：——
#>
#> ℹ 90%精度（WSI）
主题入侵测试
例如，摘要_种子数据是用语料库生成的摘要$text
图书馆（颤抖）
摘要
#>#A桥：2500×1
#>文本
#><氯>
#>1本研究探讨了医疗旅游度假的益处和风险…
#>2本文提出了随着股票交易的转移…
#>3本研究的目的是评估视觉逼真度对…
#>4在众多与大学生相关的健康问题中，过度消费是导致大学生健康问题的主要原因…
#>5在ICA 50周年纪念大会上发表的这篇演讲呼吁…
#>6互联网经常被用来联系男男性接触者（MSM）…
#>7本文认为，描述互联网革命的文献是…
#>8本研究以巴德·古道尔（Bud Goodall）的在线健康叙事为例…
#>9信息技术和新媒体允许收集和共享人员…
#>10通过对1762名12-17岁青少年的全国电话调查…
#> # ℹ 还有2490行
使用用于训练主题模型的语料库创建oolong测试对象将生成主题入侵测试用例。
oolong_测试<- 钛（摘要_种子数据集，摘要$文本，用户ID= “朱莉娅”)
oolong_测试
#>
#>——乌龙（主题模型）────────────────────────────────────────────────────────
#> ✖ 威斯康星州✔ 技术信息✖ WSI公司
#> ☺ 朱莉娅
#> ℹ TI:n=25，编码为0。
#>
#>——方法——
#>
#>•<$do_topic_intrusion_test（）>：进行主题入侵测试
#>•<$lock（）>：完成并查看结果
类似地，使用$do_topic_intrusion测试要对测试用例进行编码，请使用$锁定（）然后可以通过打印oolong测试来查看TLO（主题日志赔率）值。
oolong_测试$do_topic_inrusion测试()
oolong_测试$锁()
oolong_测试
#>
#>——乌龙（主题模型）────────────────────────────────────────────────────────
#> ✖ 威斯康星州✔ 技术信息✖ WSI公司
#> ☺ 朱莉娅
#> ℹ TI：n=25，25编码。
#>
#>——结果：——
#>
#> ℹ TLO:-0.187
建议的工作流
如果涉及多个编码器，则测试更有意义。建议的工作流是创建测试，然后克隆oolong对象。请多名编码人员进行测试，然后总结结果。
预处理并创建文档特征矩阵
代币（摘要$文本，删除_取消= 真的,删除符号= 真的,删除_编号= 真的,删除url= 真的,spilit_hyphens（连字符）= 真的)%>% 标记词干%>% 标记_删除(权宜之计(“en”（英语）))%>% 数据流管理(托洛尔= 真的)%>% dfm微调(最小docfreq= 三,最大docfreq= 500)%>% dfm选择(最小字符= 三,图案= “^[a-zA-Z]+$”,值类型= “正则表达式”) -> 摘要_dfm
训练主题模型。
要求（种子dlda）
摘要_种子数据<- 文本模型种子lda(x个=摘要_dfm，字典= 词典（摘要_字典），种子= 46709394,冗长的= 真的)
创建新的乌龙对象。
乌龙_测试_水1<- 维蒂（摘要_种子数据集，摘要$文本，用户ID= “一辉”)
克隆其他评分员使用的oolong对象。
乌龙茶2<- 克隆（_O）（oolong_test_rater1，用户ID= “珍妮”)
请不同的编码人员对每个对象进行编码，然后锁定该对象。
##让一辉做测试。
乌龙_测试_水1$do_word_intrusion测试()
乌龙_测试_水1$do_topic_inrusion测试()
乌龙_测试_水1$锁()
##让珍妮做测试。
乌龙_测试_水2$do_word_intrusion_test（堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆堆）()
乌龙_测试_水2$do_topic_inrusion测试()
乌龙_测试_水2$锁()
获取两个对象的摘要。
summarize_olong（oolong_test_rater1，oolong_test_rater 2）
#>
#>——总结（主题模型）：──────────────────────────────────────────────────────
#>
#>——文字入侵测试——
#>
#> ℹ 平均模型精度：0.25
#> ℹ 模型精度分位数：0.2、0.225、0.25、0.275、0.3
#> ℹ 模型精度的P值
#>（H0：模型精度不优于随机猜测）:0.3656
#> ℹ 克里芬多夫阿尔法：0.747
#> ℹ K精度：
#> 0, 0.5, 1, 0, 0, 0, 0, 0, 0, 1
#>
#>——主题入侵测试——
#>
#> ℹ 平均TLO:-1.5
#> ℹ TLO中位数：-1.12
#> ℹ TLO分位数：-4.71、-2.83、-1.12、0、0
#> ℹ 中值TLO的P值
#>（H0：TLO中值不比随机猜测好）:0.114
关于p值
模型精度（MP）测试是基于每个评分者的单尾单样本二项式测试。在多比率情况下，使用费希尔方法（也称为费希尔综合测试）组合所有评分员的p值。
H0:MP不优于1/（n_top_terms+1）
H1:MP优于1/（n_top_terms+1）
TLO中值的测试基于排列测试。
H0：平均TLO并不比随机猜测好。
H1：中值TLO优于随机猜测。
必须注意的是，这两个统计测试正在测试熊的最小值。一项重要的测试表明，主题模型可以使评分者比随机猜测表现更好。这并不是一个良好的主题可解释性的迹象。此外，应使用非常保守的显著水平，例如\（α<0.001）.
