穆罕默德·阿洛马里;李方军;大卫·C·霍格。;安东尼·科恩（Anthony G.Cohn）。 自主机器人的在线感知学习和自然语言获取。 （英语） Zbl 07482896号 Artif公司。智力。 303，文章ID 103637，32 p.（2022）. 小结：在这项工作中，通过语法归纳和基于感知世界的单词基础的新技术，解决了自主机器人语言和视觉中的自举知识问题。特别是，我们演示了一个名为OLAV的系统，它首次能够（1）从感官数据中学习形成离散概念；（2） 这些概念的基础语言（（n）-grams）；（3） 归纳用于描述感知世界的语言的语法；此外，还要以增量方式完成所有这些操作，而不存储所有以前的数据。学习是通过对原始语言和视觉数据的松散监督来实现的。此外，学习到的模型是透明的，而不是黑盒模型，因此对人类开放检查。视觉数据是使用部署在真实世界和模拟环境中的三个不同机器人平台收集的，并配备了不同的传感模式，而语言数据是使用在线众包工具和志愿者收集的。对这些机器人进行的分析证明了该框架在学习这三种在线环境中的视觉概念、语言基础和语法结构方面的有效性。 MSC公司： 68次发射 人工智能 关键词：语言和视觉;语言习得;语言基础;语法归纳法 软件：QSR库;阿尔弗雷德 PDF格式BibTeX公司 XML格式引用 \textit{M.Alomari}等人，Artif。因特尔。303，文章ID 103637，32 p.（2022；Zbl 07482896） 全文： 内政部 OA许可证 参考文献： [1] 哈桑，M。；沃伯顿，M。；阿格博，W.C。；多加，M.R。；Leonetti，M。；Wang，H。；穆斯塔克，F。；蒙·威廉姆斯，M。；Cohn，A.G.，《在杂乱环境中实现人性化规划》，（2020年IEEE机器人与自动化国际会议（ICRA）（2020年），IEEE），7784-7790 [2] Alomari，M。；Chinellato，E。；Gatsoulis，Y。；霍格特区。；Cohn，A.G.，视频中对象特征和动作的文本描述的无监督基础，（第15届知识表示和推理原则国际会议（2016）），505-508 [3] Alomari，M。；Duckworth，P。；霍格特区。；Cohn，A.G.，《从语言和视觉中学习物体属性、空间关系和体现主体的动作》（《体现主体的交互式多感官物体感知会议录》（2017年），AAAI春季研讨会） [4] Alomari，M。；Duckworth，P。；霍格特区。；Cohn，A.G.，《嵌入式机器人系统的自然语言获取和基础》，（美国人工智能协会（AAAI）会议记录（2017），AAAI出版社），4349-4356 [5] Alomari，M。；Duckworth，P。；Gatsoulis，Y。；霍格特区。；Cohn，A.G.，《机器人系统的无监督自然语言习得和视觉表征基础》（认知知识获取和应用研讨会（认知2016）。认知知识获取与应用研讨会（Cognitum 2016），IJCAI 2016（2016）） [6] Al-omari，M.，《自主机器人的联合感知学习和自然语言习得》（2017），利兹大学计算学院：英国利兹大学计算机学院，博士论文 [7] 温诺格拉德，T.，理解自然语言，认知。心理医生。，3, 1, 1-191 (1972) [8] Bisk，Y。；Holtzman，A。；托马森，J。；安德烈亚斯，J。；Y.本吉奥。；Chai，J。；拉帕塔，M。；拉扎里杜，A。；May，J。；尼斯涅维奇，A。；平托，N。；Turian，J.，《经验基础语言》，（自然语言处理经验方法（EMNLP）（2020）） [9] Spranger，M。；Beuls，K.，高维连续意义空间中的指称不确定性和单词学习，（2016年IEEE发展、学习和表观遗传机器人联合国际会议。2016年IEEE-发展、学习与表观遗传Robotics联合国际会议，ICDL-EpiRob 2016，法国Cergy-Pototise，2016年9月19-22日（2016年），IEEE），95-100 [10] 奎因，M.，《单词和物体》（1960），麻省理工学院出版社·Zbl 0093.00915号 [11] Siskind，J.M.，《学习单词到意思映射的跨情境技术的计算研究》，《认知》，61，1，39-91（1996） [12] Yu，H。；张，H。；Xu，W.，《2D世界中的交互式扎根语言习得和泛化》（学习表征国际会议（2018）） [13] 李约瑟，C.J。；桑托斯，体育。；Magee，D.R。；德文，V。；霍格特区。；Cohn，A.G.，《来自感知观察的协议》，Artif。整数。，167, 1, 103-136 (2005) [14] Pezzelle，S。；索罗多克，I.-T。；Bernardi，R.，《比较、量词、比例：从视觉中学习数量的多任务模型》，（计算语言学协会北美分会2018年会议记录：人类语言技术，第1卷（长篇论文）（2018），计算语言学协会：路易斯安那州新奥尔良计算语言学协会，419-430 [15] Rahgooy，T。；Manzoor，美国。；Kordjamshidi，P.，从文本中提取视觉引导的空间关系，（计算语言学协会北美分会2018年会议记录：人类语言技术，第2卷（短文），计算语言学协会。计算语言学协会北美分会2018年会议记录：人类语言技术，第2卷（短文），计算语言学协会，路易斯安那州新奥尔良（2018），788-794 [16] Yu，H。；北卡罗来纳州悉达斯。；A.巴布。；Siskind，J.M.，《为视频中的语言推理、生成和获取奠定基础的合成框架》，J.Artif。智力。研究，52，601-713（2015）·Zbl 1328.68179号 [17] 黄，E.H。；Socher，R。；曼宁，C.D。；Ng，A.Y.，《通过全球语境和多词原型改进单词表征》（ACL，ACL（2012）），873-882 [18] 罗伊·D·。；Schiele，B。；Pentland，A.，《利用相互信息学习视听关联》，（语音和图像理解集成论文集（1999），IEEE），147-163 [19] 西纳波夫，J。；申克，C。；Stoytchev，A.，使用行为探索和多模态感知学习关系对象类别，（2014 IEEE国际机器人与自动化会议（ICRA）（2014）），5691-5698 [20] 托马森，J。；辛纳波夫，J。；斯维特利克，M。；斯通，P。；Mooney，R.J.，通过玩“I spy”学习基于多模态的语言语义，（国际人工智能联合会议（IJCAI）（2016）），3477-3483 [21] 托马森，J。；辛纳波夫，J。；Mooney，R.，《指导基于多模式的语言学习的交互行为》，（机器人语言基础第一次研讨会论文集（2017年），计算语言学协会：加拿大温哥华计算语言学协会），20-24 [22] 阿肯·卡尼，俄亥俄州。；Zuidberg Dos Martires，P。；Persson，A。；Gaal，J。；Loutfi，A。；De Raedt，L。；Yuret，D。；Saffiotti，A.，从机器人操作的自然语言指令中的隐含信息学习（2019年） [23] 贝茨，M。；Klank，美国。；克雷塞，I。；A.马尔多纳多。；Mosenlechner，L。；Pangercic，D。；鲁尔·T·。；Tenorth，M.，《机器人室友做煎饼》（2011年第11届IEEE-RAS类人机器人国际会议（2011年），IEEE），529-536 [24] Tellex，S.公司。；北卡罗来纳州戈帕兰。；Kress-Gazit，H。；Matuszek，C.，使用语言的机器人，Annu。反向控制，机器人。自动。系统。，3, 1, 25-55 (2020) [25] Shridhar，M。；托马森，J。；戈登，D。；Bisk，Y。；Han，W。；莫塔吉，R。；Zettlemoyer，L。；Fox，D.，ALFRED：解释日常任务的基本指令的基准，（计算机视觉和模式识别（CVPR）（2020）），10740-10749 [26] Dukes，K.，Semeval-2014任务6：机器人空间命令的监督语义解析，Seme瓦尔，2014，45（2014） [27] Wang，S.I。；梁，P。；曼宁，C.D.，《通过互动学习语言游戏》，（计算语言学协会第54届年会会议记录（第1卷：长篇论文）（2016）），2368-2378 [28] 罗斯，C。；A.巴布。；Y.Berzak。；Myanganbayar，B。；Katz，B.，《通过使用字幕视频训练语义解析器来为语言习得奠定基础》（Proc.Conference on Experimental Methods on Natural language Processing.Proc.Confectional Methods on Natural language Processing，EMNLP（2018）），2647-2656 [29] Matuszek，C。；菲茨杰拉德，N。；Zettlemoyer，L。；Bo，L。；Fox，D.，扎根属性学习的语言和感知联合模型，（第29届机器学习国际会议论文集（ICML 2012）（2012）），1435-1442 [30] Kerry，C.，Esta es una naranja atractiva:《英语基础系统适应非英语数据的冒险》（2019年），马里兰大学：马里兰大学巴尔的摩县分校，硕士论文 [31] Chen，D.L。；Mooney，R.J.，《从观察中学习解释自然语言导航指令》，人工智能发展协会（AAAI）会议记录，第2卷，1-2（2011），AAAI出版社 [32] Nevens，J。；Van Eecke，P。；Beuls，K.，《从连续观察到符号概念：基于辨别的扎根概念学习策略》，Front。机器人。AI，7，84（2020） [33] 劳里亚，S。；巴格曼，G。；Kyriacou，T。；Klein，E.，使用自然语言的移动机器人编程，robot。自动。系统。，38, 3, 171-181 (2002) [34] 黄，A.S。；Tellex，S.公司。；巴赫拉赫，A。；科勒，T。；罗伊·D·。；Roy，N.，《自主微型飞行器的自然语言指令》，（2010年IEEE/RSJ智能机器人和系统国际会议（IROS）（2010），IEEE），2663-2669 [35] Tellex，S.公司。；科勒，T。；Dickerson，S。；Walter，M.R。；班纳吉，A.G。；Teller，S。；Roy，N.，用概率图形模型处理符号接地问题，AI Mag.，32，4，64-76（2011） [36] Matuszek，C。；赫伯斯特，E。；泽特莫耶。；Fox，D.，《学习解析机器人控制系统的自然语言命令》（实验机器人学（2013），施普林格出版社），403-415 [37] 巴雷特，D.P。；Bronikowski，S.A。；Yu，H。；Siskind，J.M.，《（语言）影响下的驾驶》，IEEE Trans。神经网络。学习。系统。，29, 7, 2668-2683 (2018) [38] Patki，S。；Fahnestock，E。；霍华德·T·M。；Walter，M.R.，《部分可观察环境中的语言引导语义映射和移动操作》，（机器人学习会议论文集（CoRL）。机器人学习会议记录（CoRL），日本大阪（2019年），1201-1210 [39] O.Roesler。；Nowé，A.，《模拟人机交互中的动作学习和基础》，Knowl。工程版本，34，e13（2019） [40] 托马森，J。；Padmakumar，A。；辛纳波夫，J。；Hart，J。；斯通，P。；Mooney，R.J.，《基于自然语言描述的机会主义主动学习》（Levine，S.；Vanhoucke，V.；Goldberg，K.，《第一届机器人学习年会论文集》，《机器学习研究论文集》（Proceedings of the First Annual Conference on Robot learning），PMLR，vol.78（2017）），第67-76页 [41] 钢材，L。；卡普兰，F.，艾博的第一句话：语言和意义的社会学习，进化。社区。，4, 1, 3-32 (2000) [42] 瓜达拉马，S。；里亚诺，L。；戈兰，D。；去，D。；贾毅。；克莱因，D。；Abbeel，P。；Darrell，T.，《人机交互的基础空间关系》，（2013年IEEE/RSJ智能机器人和系统国际会议（2013），IEEE），1640-1647 [43] 她，L。；Yang，S。；Cheng，Y。；贾毅。；Chai，J.Y。；Xi，N.，《回到积木世界：通过情境人机对话学习新动作》，（第15届话语与对话特别兴趣小组年会，第89卷（2014年）），第89-97页 [44] 她，L。；Chai，J.，面向人机通信的扎根动词语义的交互式学习，（计算语言学协会第55届年会论文集（第1卷：长篇论文），计算语言学协会。计算语言学协会第55届年会论文集（第1卷：长篇论文），计算语言学协会，加拿大温哥华（2017），1634-1644 [45] Spranger，M。；Steels，L.，《句法和语义的协同习得——空间语言研究》，（Yang，Q.；Wooldridge，M.，《国际人工智能联合会议论文集》（2015），美国人工智能出版社：美国帕洛阿尔托出版社），1909-1915年 [46] 托马森，J。；Padmakumar，A。；辛纳波夫，J。；Walker，N。；姜瑜。；Yedidsion，H。；Hart，J。；斯通，P。；Mooney，R.，通过人机对话联合改进自然语言命令的解析和感知，J.Artif。智力。决议，67，327-374（2020年） [47] Roy，D.，为场景描述任务学习基于视觉的单词和语法，计算。语言，16，3，353-385（2002） [48] 辛纳波夫，J。；坎特，P。；斯维特利克，M。；Stone，P.，《学习使用触觉和本体感知探索行为对物体进行排序》，（第25届国际人工智能联合会议（IJCAI）会议记录（2016）），3462-3468 [49] Muja，M。；Ciocarie，M.，Tabletop_objects（2013年） [50] Klank，美国。；Pangercic，D。；Rusu，R.B。；Beetz，M.，用于移动操作和抓取的实时CAD模型匹配，（第九届IEEE-RAS类人机器人国际会议，第九届EEE-RAS类人机器人世界会议，法国巴黎（2009）），290-296 [51] Rusu，R.B.，《人类生活环境中日常操作的语义3D对象地图》（2009），慕尼黑理工大学计算机科学系：德国慕尼黑科技大学计算机科学部，博士论文 [52] Alomari，M。；Duckworth，P。；孔径，N。；Hawasly，M。；霍格特区。；Cohn，A.G.，《人类环境和自主机器人活动的基础》，（国际人工智能联合会议（IJCAI）（2017）），1395-1402 [53] 马哈拉诺比斯，P.C.，《统计学中的广义距离》，Proc。国家。科学研究所。（加尔各答），249-55（1936）·Zbl 0015.03302号 [54] Christofides，N.，《图论与算法方法》（1975），学术出版社：纽约学术出版社·Zbl 0321.94011号 [55] 斯里达尔，M。；科恩，A.G。；Hogg，D.C.，《使用定性时空图从视频中发现事件分类法》，ECAI 2010-19届欧洲人工智能会议，会议记录，第215卷，1103-1104（2010），IOS出版社 [56] 斯里达尔，M。；科恩，A.G。；Hogg，D.C.，《视频事件类的无监督学习》，（美国人工智能促进协会（AAAI）会议记录（2010），AAAI出版社），1631-1638 [57] Gatsoulis，Y。；阿洛马里，M。；伯布里奇，C。；唐德鲁，C。；Duckworth，P。；Lightbody，P。；汉海德，M。；霍斯，N。；Cohn，A.G.，QSRlib:一个用于从视频中在线获取定性空间关系的软件库（IJCAI定性推理研讨会（2016）） [58] Duckworth，P。；Gatsoulis，Y。；Jovan，F。；霍格特区。；Cohn，A.G.，移动机器人对定性运动行为的无监督学习，（第15届自治代理和多代理系统国际会议论文集，第15届自主代理和多智能体系统国际会议文献集，AAMAS，2016（2016）），1043-1051 [59] Allen，J.F.，《保持时间间隔知识》，Commun。ACM，26，11，832-843（1983）·兹比尔0519.68079 [60] 科恩，A.G。；Gotts，N.M.，《不确定边界区域的“蛋黄”表示法》（Burrough，P.；Frank，A.M.，GISDATA具有不确定边界的地理对象专家会议论文集（1996），Francis Taylor），171-187 [61] Dubba，K.S.R。；科恩，A.G。；霍格特区。；巴特，M。；Dylla，F.，《从视频中学习关系事件模型》，J.Artif。智力。研究（2015）·Zbl 1328.68161号 [62] 宋，M。；Wang，H.，在线数据流聚类高斯混合模型的高效增量估计，（国防与安全，国际光学与光子学学会（2005）），174-183 [63] Everitt，B.S。；Skrondal，A.，《剑桥统计词典》（2002），剑桥大学出版社：剑桥大学出版社·Zbl 1270.62001 [64] 霍沃卡，E.，《距离生成图的特征》，Q.J.数学。，28, 4, 417-420 (1977) ·Zbl 0376.05040号 [65] Jones，K.Sparck，《术语特异性的统计解释及其在检索中的应用》，J.Doc。，28, 1, 11-21 (1972) [66] Dukes，K.，《训练机器人：通过口头命令进行自然语言人机空间交互的数据集》（国际社会机器人会议（ICSR））。具体目标和意图沟通研讨会（2013年） [67] Ponvert，E。；鲍德里奇，J。；Erk，K.，用级联有限状态模型从原始文本进行简单的无监督语法归纳，（计算语言学协会第49届年会论文集：人类语言技术，计算语言学协会。计算语言学协会第49届年会论文集：人类语言技术，计算语言学协会，美国俄勒冈州波特兰(2011)), 1077-1086 [68] 多明尼，P.F。；Boucher，J.D.，《基于感知的机器人感知和语言习得的发展阶段》，认知。系统。第6、3、243-259号决议（2005年） [69] Lari，K。；Young，S.J.，《使用内外算法估计随机上下文无关文法》，计算。演讲语言，4，1，35-56（1990） [70] 盖，T.M。；Thomas，J.A.，《信息理论的要素》（1991），John Wiley&Sons·Zbl 0762.94001号 [71] 罗森博格，A。；Hirschberg，J.，V-measure:一种基于条件熵的外部聚类评估方法，（EMNLP-CoNLL，vol.7（2007）），410-420 [72] Van Rijsbergen，C.，信息检索（1979），巴特沃斯：巴特沃斯伦敦·Zbl 0227.68052号 [73] Rabiner，L.R.，语音识别中隐藏马尔可夫模型和选定应用教程，Proc。IEEE，77，2，257-286（1989） [74] Abney，S.，《通过有限状态级联的部分解析》，《Nat.Lang.Eng.》，2，04，337-344（1996） [75] Younger，D.H.，《无语境语言的时间识别与解析》（n^3），Inf.Control，10，2，189-208（1967）·Zbl 0149.24803号 [76] Karp，R.M.，《组合问题中的可约化性》（Miller，R.E.；Thatcher，J.W.；Bohlinger，J.D.，《计算机计算的复杂性》，《计算机的复杂性》（Computer Computers），IBM研究座谈会系列（1972），斯普林格出版社），75-103·Zbl 1467.68065号 [77] Danna，E。；Rothberg，E。；Le Pape，C.，探索放松诱导的社区以改进MIP解决方案，数学。程序。，102, 1, 71-90 (2005) ·Zbl 1131.90036号 [78] Glover，F.，Tabu search-part ii，ORSA J.Compute。，2, 1, 4-32 (1990) ·Zbl 0771.90084号 [79] Alayrac，J.-B。；Bojanowski，P。；阿格拉瓦尔，N。；Sivic，J。；拉普特夫，I。；Lacoste-Julien，S.，《非监督式教学视频学习》，（IEEE计算机视觉和模式识别会议论文集（2016年），4575-4583 [80] Burchfiel，B。；Konidaris，G.，《使用贝叶斯特征对象的广义3D对象表示法》（Proc.RSS（2017）） [81] 贝内特，B。；杜，H。；Gomez Alvarez，L。；Cohn，A.G.，《定义关系：时空案例研究的一般增量方法》，《人工智能与应用前沿》，第263卷，第23-36页（2016年），IOS出版社 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。