李、柯;吴刚 大规模人脸验证的随机近似类特定核谱回归分析。 （英语） Zbl 07570152号 马赫。学习。 111，第6期，2037-2091（2022）. 摘要：众所周知，内核方法通过将复杂对象隐式嵌入到某些特征空间中，可以有效地分析复杂对象。近似类特定核谱回归（ACS-KSR）方法是人脸验证的强大工具。该方法由两个步骤组成：特征分析步骤和核回归步骤，但在实际应用中，尤其是对于大样本数据集，它可能会面临巨大的计算开销。本文提出了两种基于ACS-KSR方法的随机算法。我们工作的主要贡献是四方面的。首先，我们指出ACS-KSR方法特征分析步骤中使用的公式是数学上不完整此外，我们考虑了如何有效地解决该方法中涉及的比率跟踪问题和跟踪比率问题。其次，众所周知，核矩阵是近似低秩的，然而，就我们所知，很少有理论结果能够提供简单可行的策略来确定核矩阵的数值秩，而不必显式地构造它。为了填补这一空白，我们将重点放在常用的高斯核上，并提供了一种确定核矩阵数值秩的实用策略，并在近似值上建立概率误差界。第四，虽然所提出的Nyström方法可以降低原方法的计算成本，但需要显式地形成和存储简化的核矩阵。这对超大样本数据集是不利的。为了解决这一问题，我们提出了一种随机分块Kaczmarz方法，用于求解具有多个右手边的核回归问题，该方法不需要显式计算和存储约化的核矩阵。证明了该方法的收敛性。对真实数据集进行了全面的数值实验，以证明我们的理论结果的有效性和所提方法的效率。 引用于1文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 关键词：面部验证;近似类特定核谱回归（ACS-KSR）;核矩阵;Nyström方法;块卡兹马茨法 软件：CMU项目;到岸价格 PDF格式BibTeX公司 XML格式引用 \textit{K.Li}和\textit{G.Wu}，马赫。学习。111，编号62037-2091（2022；Zbl 07570152） 全文： DOI程序 参考文献： [1] 阿纳拉基，F。；Becker，S.，通过QR分解改进的固定秩Nyström近似：实用和理论方面，神经计算，363，261-272（2019）·doi:10.1016/j.neucom.2019.06.070 [2] Arashloo，S。；Kittler，J.，《使用多尺度二值化统计图像特征进行人脸验证的多描述符的类特定核融合》，IEEE信息取证与安全事务，92100-2109（2014）·doi:10.10109/TIFS.2014.2359587 [3] 巴赫·F（2013）。低阶核矩阵近似的尖锐分析，JMLR:研讨会和会议记录，30:1-25。 [4] 巴尔，P。；Noble，J。；Biddle，R.，《电子游戏价值观：人机交互和游戏》，《与计算机交互》，第19期，第180-195页（2007年）·doi:10.1016/j.intcom.2006.08.008 [5] Baudat，G。；Anouar，F.，使用核方法的广义判别分析，神经计算，12385-2404（2000）·doi:10.1162/089976600300014980 [6] 巴卡，S。；金·R。；Jain，A.，《视觉对象识别的多核学习：综述》，IEEE模式分析和机器智能汇刊，361354-1369（2014）·doi:10.1109/TPAMI.2013.212 [7] 坎比尔，L。；Darve，E.，使用骨架插值的快速低阶核矩阵分解，SIAM科学计算杂志，41，A1652-A1680（2019）·Zbl 07099308号 ·doi:10.1137/17M1133749 [8] 曹，G。；碘缺乏症，A。；Gabbouj，M.，用于面部验证的神经类特定回归，IET生物统计学，763-70（2018）·doi:10.1049/iet-bmt.2017.0081 [9] Cortes，C.、Mohri，M.和Talwalkar，A.（2010年）。关于核近似对学习准确性的影响，《机器学习研究杂志》，113-120。 [10] 德里尼亚斯，P。；Mahoney，M.，《关于用NyströM方法逼近改进的基于核的学习的克矩阵》，《机器学习研究杂志》，62153-2175（2005）·Zbl 1222.68186号 [11] Duda，R.、Hart，P.和Stork，D.（2000年）。模式分类，第二版，威利·Zbl 0968.68140号 [12] Fawcett，T.，ROC分析简介，模式识别快报，27861-874（2006）·doi:10.1016/j.patrec.2005.10.010 [13] Friedman，L.，Stern，H.，Prokopenko，V.，&Komogortsev，O.。受试者数量与生物特征认证相等错误率之间的关系，arXiv:1906.06272v1。 [14] Gittens，A.（2011年）。朴素Nyström扩展的谱范数误差，arXiv:1110.5305。 [15] 戈卢布，GH；Van Loan，CF，《矩阵计算》（2014），巴尔的摩：约翰霍普金斯大学出版社，巴尔的摩尔·Zbl 0865.65009号 [16] Gönen，M。；Alpayin，E.，多核学习算法，机器学习研究杂志，1222211-2268（2011）·Zbl 1280.68167号 [17] Goudelis，G。；Zafeiriou，S。；特法斯，A。；Pitas，I.，用于人脸验证的特定类别核鉴别分析，IEEE信息取证与安全事务，2570-587（2007）·doi:10.1109/TIFS.2007.902915 [18] Grimmett，G.和Stirzaker，D.（2001年）。概率与随机过程，第3版，牛津大学出版社·Zbl 1015.60002号 [19] Grother，P.，NIST特殊数据库19手写形式和字符数据库（1995年），国家标准与技术研究所：技术代表，国家标准和技术研究所 [20] Halko，N。；Martinsson，P。；Troop，J.，《寻找随机性结构：构建近似矩阵分解的概率算法》，SIAM Review，53，217-288（2011）·Zbl 1269.65043号 ·数字对象标识代码：10.1137/090771806 [21] 新泽西州海姆；Mary，T.，一种利用低秩近似来分解误差的新预处理器，SIAM科学计算杂志，41，A59-A82（2019）·Zbl 1408.65013号 ·doi:10.1137/18M1182802 [22] 霍夫曼，T。；Schölkopf，B。；Smola，A.，机器学习中的核心方法，《统计年鉴》，361171-1220（2008）·Zbl 1151.30007号 [23] Iosifidis，A.和Gabbouj，M.（2016）。用于人脸验证的分层类特定核鉴别分析，视觉通信和图像处理（VCIP），第1-4页。 [24] 碘缺乏症，A。；Gabbouj，M.，针对大规模人脸验证的扩展类特定核判别分析，IEEE信息取证与安全事务，112453-2465（2016）·doi:10.1109/TIFS.2016.2582562 [25] 碘缺乏症，A。；Gabbouj，M.，《重新审视特定类别核判别分析：进一步分析和扩展》，IEEE控制论汇刊，47，4485-4496（2017）·doi:10.1109/TCYB.2016.2612479 [26] 碘缺乏症，A。；特法斯，A。；Pitas，I.，《特定类别参考鉴别分析及其在人类行为分析中的应用》，IEEE人机系统汇刊，45，315-326（2015）·doi:10.1109/THMS.2014.2379274 [27] Iske，A。；博恩，S。；Wende，M.，基于核的分散数据插值的层次矩阵近似，SIAM科学计算杂志，39，A2287-A2316（2017）·Zbl 1375.65012号 ·doi:10.1137/16M1101167 [28] 贾毅。；聂，F。；Zhang，C.，《跟踪比问题再探讨》，IEEE神经网络汇刊，20729-735（2009）·doi:10.1109/TNN.2009.2015760 [29] Kittler，Y.、Li，J.和Matas，J.（2000年）。使用特定于客户的Fisher脸进行面部验证，《方向统计》，63-66。 [30] Krizhevsky，A.（2009）。从微小图像中学习多层特征。 [31] 兰·L。；张凯。；Ge，H.，Low-rank分解满足内核学习：广义Nyström方法，人工智能，250，1-15（2017）·Zbl 1419.68077号 ·doi:10.1016/j.artint.2017.05.001 [32] 雷，Z。；廖，S。；阿拉斯加州贾恩；Li，SZ，异质人脸识别的耦合判别分析，IEEE Transactions on Information Forensic and Security，71707-1716（2012）·doi:10.1109/TIFS.2012.2210041 [33] Ling，C.、Huang，J.和Zhang，H.（2003）。AUC：比较学习算法的一个比准确性更好的衡量标准，《人工智能进展》，第329-341页。 [34] Li，Z。；美国帕克。；Jain，AK，年龄不变人脸识别的判别模型，IEEE信息取证与安全汇刊，61028-1037（2011）·doi:10.1109/TIFS.2011.2156787 [35] 卢，J。；Plataniotis，K。；Venetsanopoulos，A.，使用核直接判别分析算法的人脸识别，IEEE神经网络汇刊，14，117-126（2003）·doi:10.1109/TNN.2002.806629 [36] 米勒，K。；米卡，S。；Rätsch，G。；Tsuda，K。；Schölkopf，B.，基于内核的学习算法简介，IEEE神经网络汇刊，12181-201（2001）·数字对象标识代码：10.1109/72.914517 [37] Necoara，I.，《更快的随机块Kaczmarz算法》，SIAM矩阵分析与应用杂志，401425-1452（2019）·Zbl 1453.65074号 ·doi:10.1137/19M1251643 [38] Needell，D。；特罗普，JA，Paved with good intention:Analysis of a randomize block Kaczmarz method，Linear Algebra and its Applications，441199-221（2014）·Zbl 1282.65042号 ·doi:10.1016/j.laa.2012.12.022 [39] Needell，D。；赵，R。；Zouzias，A.，求解最小二乘的带投影的随机块Kaczmarz方法，线性代数及其应用，484，322-343（2015）·Zbl 1330.65056号 ·doi:10.1016/j.laa.2015.06.027 [40] Ng，H.和Winkler，S.（2014）。清理大面数据集的数据驱动方法，IEEE国际图像处理会议（ICIP），第343-347页。 [41] Ngo，T。；贝拉利吉，M。；Saad，Y.，The trace-ratio optimization problem，SIAM Review，54，545-569（2012）·Zbl 1251.65090号 ·doi:10.1137/120864799 [42] 潘，B。；赖，J。；Yuen，P.，学习具有快速衰减谱的低阶Mercer核，神经计算，743028-3035（2011）·doi:10.1016/j.neucom.2011.04.021 [43] 帕克，C。；Park，H.，广义线性判别分析算法的比较，模式识别，411083-1097（2008）·Zbl 1132.68656号 ·doi:10.1016/j.patcog.2007.07.022 [44] 施，W。；Wu，G.，应用于高维和大样本数据降维的跟踪比率问题的新算法，机器学习，机器学习特征工程专题，文章，4，1-28（2021） [45] 西姆·T。；贝克，S。；Bsat，M.，CMU姿势、照明和表情数据库，IEEE模式分析和机器智能汇刊，251615-1618（2003）·doi:10.1109/TPAMI.2003.1251154 [46] 斯特罗默，T。；Vershynin，R.，《指数收敛的随机Kaczmarz算法》，《傅里叶分析与应用杂志》，第15期，第262-278页（2009年）·Zbl 1169.68052号 ·doi:10.1007/s00041-008-9030-4 [47] 孙，S。；赵，J。；Zhu，J.，《Nyström大规模机器学习方法综述》，信息融合，26，36-48（2015）·doi:10.1016/j.inffus.2015.03.001 [48] 塔弗尼尔，J。；Simm，J。；Meerbergen，K。；JK韦格纳；Ceulemans，H。；Moreau，Y.，大数据集二进制分类的快速半监督判别分析，模式识别，91，86-99（2019）·doi:10.1016/j.patcog.2019.02.015 [49] 特法斯，A。；Pitas，I.，以人为中心的辅助生活界面，人机交互，2，3-10（2011）·doi:10.1007/978-3-642-23169-81 [50] Tran，T。；Douzal-Chuakria，A。；Yazdi，S.，通过预成像估计进行可解释时间序列核分析，人工智能，286（2020）·Zbl 1493.68319号 ·doi:10.1016/j.artint.2020.103342 [51] Tropp，J.（2012）。随机矩阵的用户友好工具：简介。 [52] Wang，H.、Yan，S.、Xu，D.和Huang，X.（2007）。用于降维的跟踪-比率与比率跟踪，IEEE计算视觉和模式识别会议，第1-8页。 [53] 王，R。；李，Y。；Darve，E.，关于高维径向基函数核的数值秩，SIAM矩阵分析与应用杂志，39，1810-1835（2018）·Zbl 1455.65068号 ·doi:10.1137/17M1135803 [54] 王，S。；Zhang，Z.，通过自适应采样改进CUR矩阵分解和Nyström近似，机器学习研究杂志，14，2729-2769（2013）·Zbl 1318.65023号 [55] Wang，T。；张，L。；胡伟，《架起深度和多核学习的桥梁：综述》，《信息融合》，67，3-13（2021）·doi:10.1016/j.inffus.2020.10.002 [56] Wathen，A。；Zhu，S.，关于与径向基函数相关的核矩阵的谱分布，数值算法，70，709-726（2015）·Zbl 1356.45001号 ·doi:10.1007/s11075-015-9970-0 [57] 威廉姆斯，C。；Seeger，M.，《使用NyströM方法加速内核机器》，《神经信息处理系统的进展》，13，682-688（2001） [58] Wolf，L.、Hassner，T.和Maoz，I.（2011年）。具有匹配背景相似性的无约束视频中的人脸识别，IEEE计算机视觉和模式识别会议，第529-534页。 [59] 吴，X。；库马尔，V。；Quinlan，J.，数据挖掘中的十大算法，知识和信息系统，14，1-37（2008）·doi:10.1007/s10115-007-0114-2 [60] 吴，X。；徐，J。；Wang，J。；李，Y。；李伟（Li，W.）。；Guo，Y.，使用面部验证和ID图像识别在移动设备上进行身份验证，Procedia Computer Science，162932-939（2019）·doi:10.1016/j.procs.2019.12.070 [61] Xing，X。；Chow，E.，通过核矩阵的代理点进行插值分解，SIAM矩阵分析与应用杂志，41221-243（2020）·Zbl 1432.65052号 ·doi:10.1137/19M1258700 [62] Zafeiriou，S。；齐米罗普洛斯，G。；彼得鲁，M。；Stathaki，T.，《使用稳健内核进行人脸识别和验证的正则化核判别分析》，IEEE神经网络和学习系统汇刊，23，526-534（2012）·doi:10.1109/TNNLS.2011.2182058 [63] 张，X。；李，X。；Feng，Y。；Liu，Z.，《ROC和AUC在客观图像融合评估指标验证中的应用》，《信号处理》，115，38-48（2015）·doi:10.1016/j.sigpro.2015.03.007 [64] 赵，M。；Chan，R。；唐·P。；Chow，T。；Wong，S.，《医疗诊断的追踪-比率线性判别分析：痴呆症的案例研究》，IEEE Singal Processing Letters，20431-434（2013）·doi:10.1109/LSP.2013.2250281 [65] 郑伟。；林，Z。；Wang，H.，基于贝叶斯误差界优化的L1-形式核判别分析，用于稳健特征提取，IEEE神经网络和学习系统汇刊，25793-805（2013）·doi:10.1109/TNNLS.2013.2281428 [66] 周，C。；Wang，L。；张，Q。；Wei，X.，基于PCA图像重建和LDA的人脸识别，Optik，124，5599-5603（2013）·doi:10.1016/j.ijleo.2013.04.108 [67] Zoric，V.，《数学分析I》（2008），柏林：施普林格出版社，柏林·Zbl 1149.26001号 [68] Zouzias，A。；Freris，NM，解最小二乘的随机扩展Kaczmarz，SIAM矩阵分析与应用杂志，34，773-793（2013）·兹比尔1273.65053 ·数字对象标识代码：10.1137/120889897 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。