×
A.N.戈尔班。;A.戈卢布科夫。;B.格雷丘克。;E·M·米尔克斯。;I.Y.丘金。

用线性判别法校正人工智能系统：概率基础。 （英语） Zbl 1441.68201号

信息科学。 466, 303-322 (2018).
概要：人工智能（AI）系统有时会出错，将来也会不时出错。这些错误通常是意料之外的，并可能导致严重后果。人工智能及其实际应用的深入发展使错误问题变得更加重要。系统的全面重新设计可能会产生新的错误，但由于所涉及的资源，这并不总是可能的。重要的挑战是开发快速的方法来纠正错误，而不损害现有的技能。我们制定了“理想”校正器的技术要求。这种校正器包括二进制分类器，它将错误风险高的情况与人工智能系统正常工作的情况分开。令人惊讶的是，对于本质上高维的数据，这种方法是可能的：简单的线性Fisher判别法可以将有错误的情况与正确解决的任务分开，即使是指数大的样本。本文提出了人工智能系统快速无损校正的概率基础。证明了一系列新的随机分离定理。这些定理为传统人工智能系统错误的快速非迭代纠正提供了新工具。新方法在高维领域变得高效，可以在高维世界中校正高维系统（即通过大型系统处理本质上的高维数据）。我们证明了这种可分性对于一类广泛的分布是成立的，包括对数压缩分布和通过体积集和消失体积集的概率之间的关系定义的具有特殊“SMeared Absolute Continuity”（SmAC）性质的分布。这些类别比高斯分布宽得多。数据的独立性和相同分布的要求大大放宽。实证数据集的计算分析支持了上述结果。

引用于三文件

MSC公司：

68T01型 人工智能的一般主题
60D05型 几何概率与随机几何
60E05型 概率分布：一般理论
60埃15 不平等；随机排序
62小时05 多元概率分布的表征与结构理论；连接线
68T05型 人工智能中的学习和自适应系统
68T09号 数据分析和大数据的计算方面

关键词：

大数据;非迭代学习;误差修正;测量浓度;维度祝福;线性鉴别

软件：

FaceNet公司;LFW公司
PDF格式BibTeX公司 XML格式引用
\textit{A.N.Gorban}等人，《信息科学》。466303--322（2018年；Zbl 1441.68201）
全文： 内政部 arXiv公司

参考文献：

[1] 安德森，J。；贝尔金，M。；戈亚尔，北。；拉德马赫，L。；Voss，J.，《越多越好：维数对学习大型高斯混合的好处》，J.Mach。学习。Res.，35，1-30（2014年）
[2] 巴拉尼，我。；Füredi，Z.，关于随机点凸壳的形状，Probab。理论关联。菲尔德，77，2，231-240（1988）·Zbl 0639.60015号
[3] 巴拉尼，我。；Füredi，Z。，用顶点较少的多边形逼近球体，Proc。美国数学。Soc.，102，3651-659（1988）·Zbl 0669.52003年
[4] Barron，A.R.，σ函数叠加的通用近似界，IEEE Trans。Inf.理论，39，3，930-945（1993）·Zbl 0818.68126号
[5] Bellman，R.E.，《动态规划》（1957），普林斯顿大学出版社·Zbl 0077.13605号
[6] Bobkov，S。；Ledoux，M.，《从brunn-Minkowski到Brascamp-Lieb和对数Sobolev不等式》，Geom。功能。分析。，10, 5, 1028-1052 (2000) ·Zbl 0969.26019号
[7] Bobkov，S.，对数压缩概率测度的等周和解析不等式，Ann.Probab。，27, 4, 1903-1921 (1999) ·Zbl 0964.60013号
[8] Bordes，A。；埃尔特金，S。；韦斯顿，J。；Bottou，L.，《具有在线和主动学习的快速核分类器》，J.Mach。学习。第6号决议，1579-1619（2005）·Zbl 1222.68152号
[9] 巴西，S。；Giannopoulos，A。；瓦莱塔斯，P。；Vritsiou，B.，《各向同性凸体的几何学》，《数学测量和专著》，196（2014），美国数学学会·Zbl 1304.52001号
[10] Cangelosi，R。；Goriely，A.，主成分分析中的成分保留及其在cDNA微阵列数据中的应用，Biol。直接，2（2007年）
[11] Chapelle，O.，在原始神经计算中训练支持向量机。，19, 11551178 (2007) ·Zbl 1123.68101号
[12] 陈，D。；曹，X。；文，F。；Sun，J.，《维数的祝福：用于人脸验证的高维特征及其有效压缩》，IEEE计算机视觉和模式识别会议论文集，3025-3032（2013），IEEE
[13] Cucker，F。；斯梅尔，S.，关于学习的数学基础，布尔。阿默尔。数学。Soc.，39，1-49（2002年）·Zbl 0983.68162号
[14] Donoho，D.L.，《高维数据分析：维度的诅咒和祝福》，AMS数学。查尔。莱克托。，1，32（2000年）
[15] 多诺霍，D。；Tanner，J.，《观察到高维几何中相变的普遍性，对现代数据分析和信号处理的影响》，Phil.Trans。R.Soc.A，367，4273-4293（2009）·Zbl 1185.94029号
[16] 多尔曼，C.F。；Elith，J。；巴赫，S。；布赫曼，C。；卡尔·G。；Carré，G。；Marquéz，J.R。；Gruber，B。；拉福卡德，B。；莱特昂，P.J。；Münkemüller，T.，《共线性：处理方法综述和评估其性能的模拟研究》，《生态地理学》，36，1，27-46（2013）
[17] Draelos，T.J。；Miner，N.E。；兰姆，C.C。；C.M.葡萄园。；卡尔森，K.D。；C.D.詹姆斯。；Aimone，J.B.，《神经发生深度学习：扩展深度网络以适应新课程》，2017年国际神经网络联合会议（IJCNN 2017），526-533（2017），IEEE出版社
[18] 人脸识别系统和错误率-这是一个问题吗？生物识别研究所，2018年5月24日星期四，https://www.biometricsinstitute.org/blogs/face-recognition-systems-and-error-rates-is-this-a-concern网站-; 人脸识别系统和错误率-这是一个问题吗？生物识别研究所，2018年5月24日星期四，https://www.biometricsinstitute.org/blogs/face-recognition-systems-and-error-rates-is-this-a-concern网站-
[19] Lebiere，C。；Fahlman，S.E.，《级联相关学习体系结构》，（Lippmann，R.P.；Moody，J.E.；Touretzky，D.S.，《神经信息处理系统进展论文集3》（NIPS 1990）（1990），IEEE出版社），524-532
[20] C.Foxx，面部识别警察工具“极其不准确”，BBC新闻，科技，2018年。https://www.bbc.co.uk/news/technology-44089161; C.Foxx，面部识别警察工具“极其不准确”，BBC新闻，科技，2018年。https://www.bbc.co.uk/news/technology-44089161
[21] 詹诺普洛斯，A.A。；Milman，V.D.，概率空间上的集中性质，高级数学。，156, 77-106 (2000) ·Zbl 1068.28002号
[22] 古德费罗，I。；Y.本吉奥。；Courville，A.，深度学习（自适应计算和机器学习系列）（2016），麻省理工学院出版社·Zbl 1373.68009号
[23] A.N.Gorban，I.Romanenko，R.Burton，I.Y.Tyukin，遗留人工智能系统的一次修正和随机分离定理，arXiv预印本1610.00494; A.N.Gorban，I.Romanenko，R.Burton，I.Y.Tyukin，遗留人工智能系统的一次修正和随机分离定理，arXiv预印本1610.00494
[24] Gorban，A.N。；Tyukin，I.Y.，随机分离定理，神经网络。，94, 255-259 (2017) ·Zbl 1429.68217号
[25] A.N.Gorban，B.Grechuk，I.Y.Tyukin，《增强人工智能：概念框架》，arXiv预印本1802.02172; A.N.Gorban，B.Grechuk，I.Y.Tyukin，《增强人工智能：概念框架》，arXiv预印本1802.02172
[26] A.N.Gorban，E.M.Mirkes，I.Y.Tukin，卷积神经网络的深度应该有多深：一个后院狗的案例研究，arXiv预印本1805.01516; A.N.Gorban，E.M.Mirkes，I.Y.Tukin，卷积神经网络的深度应该有多深：一个后院狗的案例研究，arXiv预印本1805.01516
[27] Gorban，A.N。；Tyukin，I.Y.，《维度的祝福：数据统计物理的数学基础》，Phil.Trans。R.Soc.A，37620170237（2018）·Zbl 1470.82004年
[28] Gorban，A.N。；纽约州丘金。；Romanenko，I.，《维数的祝福：热力学极限中的分离定理》，IFAC-PapersOnLine，49-24064-069（2016）
[29] Gorban，A.N。；纽约州丘金。；Prokhorov，D.V。；Sofeikov，K.I.，随机基近似：pro-et contra，Inf.Sci。，364, 129-145 (2016) ·Zbl 1427.68361号
[30] Gorban，A.N。；Zinovyev，A.Y.，《主要图和流形》（Olivas，E.S.等，《机器学习应用和趋势研究手册：算法、方法和技术》（2009），IGI Global），28-59
[31] 盖登，O。；Milman，E.，《各向异性对数曲线测度的薄壳插值和尖锐大偏差估计》，Geom。功能。分析。，2143-1068年5月21日（2011年）·兹比尔1242.60012
[32] F.N.Iandola、S.Han、M.W.Moskewicz、K.Ashraf、W.J.Dally、K.Keutzer、Squeezenet：Alexnet级精度，参数少50倍，模型大小小于0.5 MB，arXiv预印本arxiv:1602.07360；F.N.Iandola，S.Han，M.W.Moskewicz，K.Ashraf，W.J.Dally，K.Keutzer，Squeezenet:Alexnet级精度，参数减少50倍，模型大小<0.5 MB，arXiv预印本arxiv:1602.07360
[33] H.Jiang，B.Kim，M.Gupta，信任或不信任分类器，arXiv预印本1805.11783; H.Jiang，B.Kim，M.Gupta，信任或不信任分类器，arXiv预印本1805.11783
[34] Kainen，P.C.，《利用高维几何异常：当复杂性使计算更容易时，控制和信号处理中的计算机智能方法：维数的诅咒》，283-294（1997），Springer·Zbl 0906.68126号
[35] Kainen，P。；Kůrková，V.，欧氏空间的拟正交维数，应用。数学。莱特。，6, 7-10 (1993) ·Zbl 0783.05030号
[36] Kůrková，V。；Sanguineti，M.，浅层感知器网络近似的概率下限，神经网络。，91, 34-41 (2017) ·Zbl 1437.68063号
[37] Learnd-Miller，E。；黄，G.B。；罗伊·乔杜里，A。；李，H。；Hua，G.，《野外被标记的脸：一项调查》。面部检测和面部图像分析进展，189-248（2016），Springer
[38] Ledoux，M.，《测量现象的集中》，《数学调查与专著》第89期（2005年），AMS
[39] L.D.总管，http://vis-www.cs.umass.edu/lfw/; L.D.总管，http://vis-www.cs.umass.edu/lfw/
[40] Lovász，L。；Vempala，S.S.，对数凹函数的几何和采样算法，随机结构。算法，30，3，307-358（2007）·Zbl 1122.65012号
[41] Paouris，G.，对数压缩测度的小球概率估计，Trans。美国数学。Soc.，364，1，287-308（2012）·Zbl 1248.60027号
[42] Pestov，V.，高维k-NN分类器是否受到维数诅咒的影响？，计算。数学。申请。，65, 1427-1437 (2013) ·Zbl 1362.68248号
[43] Quiroga，R.Q.，《概念细胞：陈述性记忆功能的构建块》，国家神经科学出版社。，2012年8月13日，第587-597页
[44] 里贝罗，M.T。；辛格，S。；Guestrin，C.，我为什么要信任你解释任何分类器的预测，《第二十届ACM SIGKDD知识发现和数据挖掘国际会议论文集》，1135-1144（2016），ACM，NY:ACM，美国加利福尼亚州旧金山市
[45] I.Romanenko，A.Gorban，I.Tyukin，图像处理，美国专利应用程序。15/716, 220, 2018, https://patents.google.com/patent/US20180089497A1/en; I.Romanenko、A.Gorban、I.Tyukin，图像处理，美国专利应用程序。15/716, 220, 2018, https://patents.google.com/patent/US20180089497A1/en
[46] 斯卡达潘，S。；Wang，D.，《神经网络中的随机性：概述》，Wiley Interdiscip。最小知识版本数据。迪斯科。，7, 2 (2017)
[47] 施罗夫，F。；Kalenichenko，D。；Philbin，J.，Facenet:人脸识别和聚类的统一嵌入，IEEE计算机视觉和模式识别会议论文集CVPR2015，815-823（2015），IEEE
[48] Simon，B.，《凸性，分析观点》，《剑桥数学丛书》第187卷（2011年），剑桥大学出版社·Zbl 1229.26003号
[49] 斯塔夫拉卡基斯，P。；Valettas，P.，《关于对数-波波列夫常数有界的对数压缩概率测度的几何》，（Ludwig，M.；Milman，V.；Pestov，V.，Tomczak-Jaegermann，N.，《渐近几何分析》，菲尔德研究所通信（2013），斯普林格出版社），359-380·Zbl 1277.60043号
[50] Talagrand，M.，乘积空间中的测度集中和等周不等式，Publ。数学。《德伊希斯》，81，73-205（1995）·Zbl 0864.60013号
[51] Trunk，G.V.，维度问题：一个简单的例子，IEEE Trans。模式分析。机器。智力。PAMI-1、3、306-307（1979）
[52] 纽约州丘金。；Gorban，A.N。；Sofeikov，K。；Romanenko，I.，《人工智能系统之间的知识转移》，《神经机器人领域的前沿》（2018年）
[53] 纽约州丘金。；Gorban，A.N。；卡尔沃，C。；Makarova，J。；Makarov，V.A.，《高维大脑》。单个神经元对记忆进行编码和快速学习的工具，Bull。数学。生物（2018）
[54] Vapnik，V.，《统计学习理论的本质》（2000），施普林格出版社：纽约施普林格·Zbl 0934.62009号
[55] 王，D。；Li，M.，《随机配置网络：基础和算法》，IEEE Trans。赛博。，47, 10, 3466-3479 (2017)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。