威廉·D·希夫林。 关于集成、I-优化和主动学习。 （英语） Zbl 07422473号 J.统计理论实践。 15，第3号，第66号论文，28页（2021年）. 摘要：我们考虑一个监督学习模型的主动学习问题：即在给定数据集上训练一个黑箱模型后，我们确定要标记哪些（大量）未标记的候选对象，以便进一步改进模型。我们将重点放在大批量情况下，因为这与大多数机器学习应用程序最为一致，并且因为它在理论上更丰富。我们的方法融合了三种思想：（1）我们使用类似于刀刃的50%子样本（“半样本”）量化模型不确定性。（2） 为了选择要标记的\（C\）候选者中的\（n\），我们考虑相关的\（C\乘以C\）预测协方差矩阵的（秩-（（M-1）\）估计，该矩阵具有良好的性质。（3） 我们的算法只使用线性in-\（C\）对象间接地处理这个协方差矩阵。我们通过将深度神经网络拟合到CIFAR-10图像数据集的约20%来进行说明。我们获得的统计效率是随机选择的3倍。 MSC公司： 68泰克 人工智能 62公里xx 统计实验设计 62Jxx型 线性推断、回归 关键词：主动学习；I-最优；手提刀；深度神经网络；正交阵列；预测不确定性 软件：凯拉斯；github PDF格式BibTeX公司 XML格式引用 \textit{W.D.Heavlin}，J.Stat.理论与实践。15，第3号，第66号论文，28页（2021；Zbl 07422473） 全文： 内政部 参考文献： [1] Allen，DM，变量选择和数据增强之间的关系以及预测方法，技术计量学，16，25-127（1974）·Zbl 0286.62044号 ·doi:10.1080/00401706.1974.10489157 [2] GEP盒子；Hunter，JS，（2^{k-p}）分数阶乘设计，第一部分，技术计量学，3，3，311-351（1961）·Zbl 0100.14406号 [3] GEP盒子；Hunter，JS，（2^{k-p}）分数阶乘设计，第二部分。，技术计量学，3，4，449-458（1961）·Zbl 0100.14406号 [4] GEP盒子；亨特，JS；Hunter，WG，《实验者统计：设计、发现和创新》（2005），纽约：威利出版社，纽约·Zbl 1082.62063号 [5] Brinker K（2003）将多样性纳入支持向量机的主动学习。摘自：《机器学习国际会议论文集》，第59-66页。AAAI出版社 [6] 布朗，G。；怀亚特，JL；Tin̆o，P.，《管理回归集合中的多样性》，J Mach Learn Res，61621-1650（2005）·Zbl 1222.68154号 [7] Cherkauer KJ（1996）使用组合人工神经网络的系统在科学图像分析任务中的人类专家级表现。In:Chan P（ed）AAAI综合多种学习模型研讨会工作笔记，第15-21页 [8] 胆汁，F。；Allaire，JJ，《与R深度学习》（2018），《避难岛：曼宁，避难岛》 [9] Chollet F、Allaire JJ等（2017）《与Keras的关系》。https://github.com/rstudio/keras [10] 科恩，DA；加赫拉马尼，Z。；Jordan，MI，统计模型的主动学习，人工智能研究杂志，4129-145（1996）·兹比尔0900.68366 ·电话：10.1613/jair.295 [11] Daniel，C.，《在解释析因二级实验中使用半正态图》，技术计量学，1,4311-341（1959）·doi:10.1080/00401706.1959.10489866 [12] Dietterich TG（2000）多分类器系统，MCS。计算机科学讲义，第1857卷。施普林格、柏林、海德堡 [13] 饮食疗法，TG；Bakiri，G.，《通过纠错输出代码解决多类学习问题》，J Artif Intell Res，2263-286（1995）·Zbl 0900.68358号 ·doi:10.1613/jair.105 [14] Donoho，D.，《数据科学50年》，J Comput Graph Stat，26，745-766（2017）·doi:10.1080/10618600.2017.1384734 [15] 费多罗夫，VV，《最佳实验理论》（1972），纽约：学术出版社，纽约 [16] 贡戈拉，AE；徐，B。；佩里，W。；奥科伊，C。；莱利，P。；雷耶斯，KG；摩根，EF；Brown，KA，机械设计贝叶斯实验自主研究员，Sci Adv，6，15，eaaz1708（2020）·doi:10.1126/sciadv.aaz1708 [17] Gregoire，JM；博伊德，DA；格瓦拉，D。；JA哈伯；Jones，R。；Kan，K。；Marcin，M。；纽豪斯，PF；Shinde，A。；Soedarmadji，E。；苏拉姆，SK；周，L.，发现水分裂材料的高通量实验，305-340（2018），伦敦：集成太阳能燃料发电机。伦敦皇家化学学会 [18] 郭毅。；Schuurmans，D.，判别批处理模式主动学习，Adv Neural Inf Process Syst，20593-600（2008） [19] Hartford J、Leyton-Brown K、Raviv H、Padnos D、Shahar L、Lenz B（2020），榜样引导的主动学习。收录：Larochelle H、Ranzato M、Hadsell R、Balcan MF、Lin H（eds）《神经信息处理系统进展》，第33卷 [20] Hoi SCH，Jin R，Lyu MR（2006）基于批量模式主动学习的大尺度文本分类。收录于：《万维网国际会议记录》。ACM出版社，纽约，第633-642页 [21] Hu S，Xiong Z，Qu M，Yuan X，CôtéM-A，Liu Z，Tang J（2020）用于图上可转移主动学习的图策略网络，In：Larochelle H，Ranzato M，Hadsell R，Balcan MF，Lin H（编辑）《神经信息处理系统进展》，第33卷 [22] 基弗，JC；Wolfowitz，J.，《两个极值问题的等价性》，加拿大数学杂志，12，363-366（1960）·Zbl 0093.15602号 ·doi:10.4153/CJM-1960-030-4 [23] JF科伦；波拉克，JB，《反向传播对初始条件敏感》，《神经信息处理系统进展》，860-867（1991），旧金山：加利福尼亚州摩根考夫曼，旧金山 [24] Krizhevsky A、Nair V、Hinton G（2012年）。基于深度卷积神经网络的Imagenet分类。摘自：《数字信息处理进展》，第25卷。 [25] Lakshminarayana B、Pritzel A和Blundell C（2017年）。使用深度集成进行简单且可扩展的预测不确定性估计。神经信息处理系统进展，第30卷，第6402-6413页 [26] Lewis D，Gale W（1994）用于训练文本分类器的序列算法。在：ACM SIGIR会议记录，信息检索研究和开发会议。ACM/Springer，纽约，第3-12页 [27] 刘毅（1998）负相关学习与进化神经网络集成。澳大利亚堪培拉澳大利亚国防军学院新南威尔士大学学院博士论文 [28] 曼诺西。；Leimbacher，M。；Wichert，M。；谢尔曼，J。；Neri，D.，《DNA编码库20年》，Chem Commun，47、48、12747-12753（2011）·doi:10.1039/c1cc15634a [29] Mariet Z、Jerfel G、Wang Z、Angermüller C、Belanger D、Vora S、Bileschi M、Colwell L、Sculley D、Tran D、Snoek J（2020）《深度不确定性与蛋白质搜索》，研讨会：分子的机器学习，2020年，预印本。 [30] 蒙哥马利，DC，实验设计与分析（2019），新泽西州：新泽西州威利 [31] Neal R（1993）使用马尔可夫链蒙特卡罗方法进行概率推断。技术报告CRG-TR-93-1，加拿大多伦多大学计算机科学系 [32] 普拉科特，RL；伯曼，JP，《最佳多因素实验的设计》，《生物统计学》，33，305-25（1946）·Zbl 0063.06274号 ·doi:10.1093/biomet/33.4.305 [33] MH Quenouille，《估算偏差注释》，Biometrika，43，3-4，353-360（1956）·Zbl 0074.14003号 ·doi:10.1093/biomet/43.3-4.353 [34] 肖恩，G。；Cohn，D.，《少即是多：使用支持向量机的主动学习》，《Int-Conf Mach Learn》，2000年第2期，第4期 [35] 解决B（2009）主动学习文献调查。威斯康星大学麦迪逊分校计算机科学技术报告1648 [36] Seung HS，Opper M，Sompolinsky H（1992）委员会的质询。ACM计算学习理论研讨会论文集，第287-294页 [37] 谢尔曼，J。；Morrison，WJ，与原始矩阵的给定列或给定行的元素变化相对应的逆矩阵的调整（摘要），Ann Math Stat，20621（1949） [38] Singh SP、Jaggi M模型通过最优传输进行融合。收录：Larochelle H、Ranzato M、Hadsell R、Balcan MF、Lin H（eds）《神经信息处理系统进展》，第33卷 [39] Stone，M.，统计预测的交叉验证选择和评估，J R Stat Soc Ser B，36，111-147（1974）·Zbl 0308.62063号 [40] 威斯康星州斯图登；古普塔，不锈钢；Moore，DS，多项式回归中积分方差的最优设计，统计决策理论和相关主题II（1977），纽约：学术出版社，纽约·Zbl 0422.62071号 [41] Tong S，Chang E（2001）支持向量机主动学习的图像检索。第九届国际多媒体会议论文集 [42] 唐，S。；Koller，D.，支持向量机主动学习及其在文本分类中的应用，J Mach Learn Res，245-66（2001）·Zbl 1009.68131号 [43] Tukey，JW，不太大样本中的偏差和置信度（摘要），《数学统计年鉴》，29，2，614（1958）·doi:10.1214/aoms/1177706647 [44] 维斯瓦纳坦，K。；Sachdeva，S。；A.汤姆金斯。；Ravi，S.，《改进的多图半监督学习》，Proc Mach Learn Res，89，3032-3041（2019） [45] Wald，A.，《关于统计调查的有效设计》，《数学统计年鉴》，第14、2、134-140页（1943年）·Zbl 0060.30109号 ·doi:10.1214/aoms/1177731454 [46] Wenzel F、Snoek J、Tran D、Jennatton R（2020）鲁棒性和不确定性量化的超参数集合。收录：Larochelle H、Ranzato M、Hadsell R、Balcan MF、Lin H（eds）《神经信息处理系统进展》，第33卷 [47] 马萨诸塞州伍德伯里，《反演修正矩阵》，备忘录报告42，4（1950），统计研究小组：新泽西州普林斯顿市普林斯顿大学，统计研究组 [48] Xu Z，Akella R，Zhang Y（2007）将多样性和密度纳入主动学习，以获得相关反馈。摘自：《欧洲红外研究会议记录》。纽约州施普林格，第246-257页 [49] Zhou J，Sun S（2014）《主动学习的改进边际抽样》。In：Li S，Liu C，Wang Y（编辑）模式识别，CCPR 2014 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。