跳到主要内容
10.1145/3581783.3612115acm会议文章/章节视图摘要出版物页面毫米会议记录会议集合
研究论文

草图输入法编辑器:系统输入识别的综合数据集和方法

出版:2023年10月27日出版历史

摘要

随着最近触摸屏设备的使用激增,自由手绘已经成为人机交互的一种很有前景的方式。虽然之前的研究侧重于识别、检索和生成熟悉的日常对象等任务,但本研究旨在创建一个专门为专业指挥、控制、通信、计算机和智能(C4I)系统设计的草图输入法编辑器(SketchIME)。在该系统中,草图被用作低分辨率原型,用于在创建综合态势图时推荐标准化符号。本文还提出了一个包含374种专业草图类型的系统数据集,并提出了一种在识别和分割之间具有多级监督的同时识别和分割体系结构,以提高性能和可解释性。通过结合少镜头域自适应和类增量学习,网络适应新用户和扩展到新的任务特定类的能力显著增强。在所提出的数据集和SPG数据集上进行的实验结果表明,所提出的体系结构具有优越的性能。我们的数据集和代码可在以下网址公开获取:https://github.com/GuangmingZhu/SketchIME。

工具书类

  1. Andreas Bulling、Raimund Dachselt、Andrew Duchowski、Robert Jacob、Sophie Stellmach和Veronica Sundstedt。2012年,关注WIMP后世界的互动。以CHI表示。1221--1224.谷歌学者谷歌学者
  2. Choi Jungwoo、Cho Heeryon、Song Jinjoo和Sang Min Yoon。2019a年。Sketchhelper:用于徒手草图检索的实时笔划指导。IEEE TMM,第21卷,第8卷(2019年),2083-2092。谷歌学者谷歌学者
  3. Choi Jungwoo、Cho Heeryon、Song Jinjoo和Sang Min Yoon。2019b年。SketchHelper:手绘草图检索的实时笔划指导。IEEE TMM,第21卷,第8卷(2019年),2083-2092。谷歌学者谷歌学者
  4. 钟俊英(Junyoung Chung)、卡格拉·古尔切里(Caglar Gulcehre)、赵京贤(KyungHyun Cho)和约书亚·本吉奥(Yoshua Bengio)。2014.门控递归神经网络对序列建模的实证评估。arXiv预印本arXiv:1412.3555(2014)。谷歌学者谷歌学者数字图书馆数字图书馆
  5. 阿扬·达斯、杨永新、蒂莫西·霍斯佩德斯、陶香和宋一泽。2021.Cloud2curve:参数草图的生成和矢量化。在CVPR中。7088--7097.谷歌学者谷歌学者
  6. Alexey Dosovitskiy、Lucas Beyer、Alexander Kolesnikov、Dirk Weissenborn、Xiaohua Zhai、Thomas Unterthiner、Mostafa Deghani、Matthias Minderer、Georg Heigold、Sylvain Gelly、Jakob Uszkoreit和Neil Houlsby。2021.图像值16x16个单词:用于大规模图像识别的变形金刚。arXiv预印本arXiv:2010.11929(2021)。谷歌学者谷歌学者
  7. 马蒂亚斯·埃茨(Mathias Eitz)、詹姆斯·海斯(James Hays)和马克·阿莱克萨(Marc Alexa)。2012.人类是如何绘制物体的?ACM TOG,第31卷,第4卷(2012年),1-10。谷歌学者谷歌学者数字图书馆数字图书馆
  8. Danilo Gasques、Janet G Johnson、Tommy Sharkey和Nadir Weibel。2019.你画的就是你得到的:用pintar快速、简单地制作增强现实原型。以CHI表示。1--6.谷歌学者谷歌学者
  9. 大卫·哈和道格拉斯·埃克。2018年,草图的神经表达。在ICLR中。谷歌学者谷歌学者
  10. 何俊彦(Jun-Yan He)、小吴(Xiao Wu)、姜瑜刚(Yu-Gang Jiang)、赵波(Bo Zhao)和彭强(Qiang Peng)。2017.采用深度视觉序列融合模型进行草图识别。在ACM MM.448-456。谷歌学者谷歌学者
  11. 何开明、张湘玉、任少清、孙建军。2016.图像识别的深度残差学习。在CVPR中。770--778.谷歌学者谷歌学者
  12. Michael Hersche、Geethan Karunaatne、Giovanni Cherubini、Luca Benini、Abu Sebastian和Abbas Rahimi。2022.有限的课堂增量学习。在CVPR中。9057--9067.谷歌学者谷歌学者
  13. Rui Hu和John Collomosse。2013.基于草图的图像检索的梯度场猪描述符性能评估。CVIU,第117卷,第7卷(2013年),第790--806页。谷歌学者谷歌学者数字图书馆数字图书馆
  14. Forrest Huang、John F Canny和Jeffrey Nichols。2019.太古:基于草图的用户界面检索。以CHI表示。1--10.谷歌学者谷歌学者数字图书馆数字图书馆
  15. 齐佳,余美玉,樊欣,李浩杰,2017。基于形状和纹理特征的连续双深度学习用于草图识别。arXiv预印arXiv:1708.02716(2017)。谷歌学者谷歌学者
  16. 李国浩、马蒂亚斯·穆勒、阿里·萨贝特和伯纳德·加尼姆。2019.深渊:深渊能像深渊一样深渊吗?。在CVPR中。9267--9276.谷歌学者谷歌学者
  17. 李珂、彭凯悦、宋继飞、宋一泽、陶香、蒂莫西·霍斯佩德斯和张洪刚。2018年b月。通用草图感知分组。在ECCV中。582--597.谷歌学者谷歌学者
  18. 李磊、傅洪波和太清兰。2018年a。通过深度学习快速草图分割和标记。IEEE CG&A,第39卷,第2卷(2018年),38-51。谷歌学者谷歌学者
  19. 龙明生、曹章杰、王建民和迈克尔·乔丹。2018.有条件对抗域适配。在NeurIPS中。1647--1657.谷歌学者谷歌学者
  20. 梅迪·米尔扎(Mehdi Mirza)和西蒙·奥斯宾多(Simon Osindero)。2014.有条件生成对抗网。arXiv预印本arXiv:1411.1784(2014)。谷歌学者谷歌学者
  21. 潘新诺和杨强。2009年,关于迁移学习的调查。IEEE TKDE,第22卷,第10卷(2009年),1345--1359。谷歌学者谷歌学者
  22. Ameya Prabhu、Vishal Batchu、Sri Aurobindo Munagala、Rohit Gajawada和Anoop Namboodiri,2018年。草图识别中神经网络的分布感知二值化。在WACV中。830--838.谷歌学者谷歌学者
  23. Alan Preciado-Grijalva和Venkata Santosh Sai Ramiredy Muthiredy。2021.用于图像识别的深度神经网络域自适应技术评估。arXiv预印arXiv:2109.13420(2021)。谷歌学者谷歌学者
  24. 齐永刚和谭正华。2019.SketchSegNet:RNN的端到端学习,用于多类草图语义分割。IEEE接入,第7卷(2019年),102717--102726。谷歌学者谷歌学者交叉引用交叉引用
  25. Patsorn Sangkloy、Nathan Burnell、Cusuh Ham和James Hays。2016年,粗略数据库:学习检索画得不好的兔子。ACM TOG,第35卷,第4卷(2016年),1-12。谷歌学者谷歌学者数字图书馆数字图书馆
  26. Ravi Kiran Sarvadevabhatla、Isht Dwivedi、Abhijat Biswas、Sahil Manocha和Venkatesh Babu R.2017a。SketchParse:使用多任务层次深层网络对绘制不好的草图进行丰富的描述。在ACMMM中。10--18.谷歌学者谷歌学者
  27. 拉维·基兰·萨瓦德瓦巴特拉和约根德拉·昆杜。2016.让我的机器人能够玩图画:用于草图识别的递归神经网络。在ACM MM.247--251中。谷歌学者谷歌学者
  28. Ravi Kiran Sarvadevabhatla、Sudharshan Suresh和R.Venkatesh Babu。2017年b月。通过手绘草图上的眼睛注视来理解对象类别。IEEE TIP,第26卷,第5卷(2017年),2508-2518。谷歌学者谷歌学者
  29. Sarah Suleri、Vinoth Pandian Sermuga Pandian、Svetlana Shishkovets和Matthias Jarke。2019。Eve:基于草图的软件原型工作台。以CHI表示。1--6.谷歌学者谷歌学者
  30. 孙宝晨、冯佳诗和凯特·桑科。2017.无监督领域适应的相关校准。在计算机视觉应用中的领域适应,Gabriela Csurka(Ed.)。斯普林格,153-171。谷歌学者谷歌学者
  31. 孙宝晨和凯特·桑科。2016年。深珊瑚:深域适应的相关比对。在ECCV中。施普林格,443-450。谷歌学者谷歌学者
  32. 陶晓宇、洪晓鹏、张新元、董松林、邢伟、龚一红。2020年,小班增量学习。在CVPR中。12183--12192.谷歌学者谷歌学者
  33. Caglar Tirkaz、Berrin Yanikoglu和T.Metin Sezgin。2012.带自动补全功能的略图符号识别。公共关系,第45卷,第11卷(2012年),第3926-3937页。谷歌学者谷歌学者
  34. Eric Tzeng、Judy Hoffman、Ning Zhang、Kate Saenko和Trevor Darrell。2014.深层域混淆:最大化域不变性。arXiv预印本arXiv:1412.3474(2014)。谷歌学者谷歌学者
  35. 王芳,乐康,李毅,2015。基于草图的卷积神经网络三维形状检索。在CVPR中。1875--1883.谷歌学者谷歌学者
  36. 王飞、林树金、吴鹤峰、李汉辉、王若梅、罗晓楠和何向建。2019a年。Spfusionnet:使用多模态数据融合进行草图分割。在ICME中。1654--1659.谷歌学者谷歌学者
  37. 王悦、孙永斌、刘子伟、桑杰·E·萨尔马、迈克尔·M·布朗斯坦和贾斯汀·M·所罗门。2019b年。用于学习点云的动态图形cnn。ACM TOG,第38卷,第5卷(2019年),1-12。谷歌学者谷歌学者数字图书馆数字图书馆
  38. 吴兴元、齐永刚、刘军和杨杰。2018.Sketchsegnet:标记草图笔划的rnn模型。在MLSP中。1至6。谷歌学者谷歌学者
  39. 徐鹏(Peng Xu)、霍斯佩德斯(Timothy M Hospedales)、尹启月(Qiyue Yin)、宋一泽(Yi-Zhe Song)、陶香(Tao Xiang)和王亮(Liang Wang)。2023.自由写生深度学习:一项调查。IEEE TPAMI,第45卷,第1卷(2023年),第285--312页。谷歌学者谷歌学者交叉引用交叉引用
  40. 徐鹏、黄永业、袁桐桐、庞凯岳、宋一泽、陶香、马占玉、郭军。2018.Sketchmate:深度散列,用于百万级人类素描检索。在CVPR中。8090--8098.谷歌学者谷歌学者
  41. 徐鹏(Peng Xu)、乔西(Chaitanya K Joshi)和布列松(Xavier Bresson)。2022.用于徒手草图识别的多图转换器。IEEE TNNLS,第33卷,第10卷(2022年),5150-5161。谷歌学者谷歌学者
  42. 杨鲁敏、庄家杰、傅洪波、魏祥志、周坤和郑友宜。2021.草图:使用图形神经网络进行语义草图分割。ACM TOG,第40卷,第3卷(2021年),1-13。谷歌学者谷歌学者数字图书馆数字图书馆
  43. 钱瑜、杨永新、刘峰、宋一泽、陶香和蒂莫西·霍斯佩德斯。2017.草图网络:一个击败人类的深层神经网络。IJCV,第122卷,第3卷(2017年),第411--425页。谷歌学者谷歌学者数字图书馆数字图书馆
  44. 钱瑜、杨永新、宋一泽、陶香和蒂莫西·霍斯佩德斯。2015.击败人类的草图网络。在BMVC中。1--12.谷歌学者谷歌学者
  45. 张驰、宋楠、林国胜、郑云、潘攀和徐英辉。2021.使用不断进化的分类器进行少量增量学习。在CVPR中。12455--12464.谷歌学者谷歌学者
  46. 赵安、丁明宇、卢志武、陶香、牛玉磊、关洁超、文继荣。2021.领域自适应少快照学习。在WACV中。1390--1399.谷歌学者谷歌学者
  47. 周大伟(Da-Wei Zhou)、王福云(Fu-Yun Wang)、韩嘉业(Han-Jia Ye)、梁马(Liang Ma)、蒲时良(Shiliang Pu)和詹德川(De-Chuan Zhan)。2022a年。向前兼容的少快照类增量学习。在CVPR中。9046--9056.谷歌学者谷歌学者
  48. 周大伟(Da-Wei Zhou)、韩家烨(Han-Jia Ye)、梁马(Liang Ma)、解迪(Di Xie)、蒲时良(Shiliang Pu)和詹德川(De-Chuan Zhan)。2022b年。通过对多阶段任务进行抽样,减少课堂增量学习。IEEE TPAMI(2022)。https://doi.org/10.1109/TPAMI.2022.3200865谷歌学者谷歌学者数字图书馆数字图书馆
  49. 朱凯、杨曹、翟伟、程洁、翟正军。2021.针对少镜头课堂增量学习的自我促进原型改进。在CVPR中。6801--6810.谷歌学者谷歌学者

索引术语

  1. 草图输入法编辑器:系统输入识别的综合数据集和方法

    建议

    评论

    登录选项

    检查您是否可以通过登录凭据或您的机构访问本文。

    登录

    完全访问权限

    • 发布于

      封面图片ACM会议
      23岁MM:第31届ACM国际多媒体会议记录
      2023年10月
      9913页
      国际标准图书编号:9798400701085
      内政部:10.1145/3581783

      版权所有©2023 ACM

      如果复制品不是为了盈利或商业利益而制作或分发的,并且复制品的第一页载有本通知和完整引文,则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重作者以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布,在服务器上发布或重新发布到列表,需要事先获得特定许可和/或付费。向请求权限[电子邮件保护].

      出版商

      计算机协会

      美国纽约州纽约市

      出版历史

      • 出版:2023年10月27日

      权限

      请求有关此文章的权限。

      请求权限

      检查更新

      限定符

      • 研究论文

      接受率

      总体验收率995属于4,171提交文件,24%

      即将召开的会议

      24年月日
      24岁MM:第32届ACM国际多媒体会议
      2024年10月28日至11月1日
      墨尔本,维多利亚州,澳大利亚
    • 文章指标

      • 下载次数(过去12个月)94
      • 下载次数(最近6周)8

      其他指标

    PDF格式

    以PDF文件查看或下载。

    PDF格式

    电子阅读器

    使用eReader在线查看。

    电子阅读器