研究论文

CSA-CNN：一种用于眼睛注视跟踪中瞳孔分割的对比性自我注意神经网络

作者:

索米尔丘格,

摩西艾森曼作者信息和声明

ETRA’24：2024年眼动追踪研究与应用研讨会论文集

条款编号：6，页数1-7

https://doi.org/10.1145/3649902.3653351

出版:2024年6月4日出版历史

获取访问权限

摘要

本文提出了一种新的对比性自我注意卷积神经网络（CSA-CNN）模型，该模型具有增强的困难感知（DA）损失函数，以改进眼睛图像中瞳孔的分割。在UNET风格的架构中，将变压器式的自我关注和困难感知损失结合在一起，可以实现稳健的特征表示，并促进形状对齐。新模型在两个公共数据库（LPW和RIT-Eyes）上进行训练，并在其他两个公共数据集（ExCuSe和ElSe）上进行评估。与七种最先进的瞳孔中心检测方法相比，与其他七种方法中表现最好的方法相比，CSA-CNN在瞳孔中心的检测准确度（在标记中心的5个像素内检测）和在交集与并集（IOU）准确度上分别提高了6%和9%以上。此外，当CSA-CNN模型集成到基于闪烁的眼睛跟踪系统中时，该系统使用基于学习的方法检测瞳孔中心，我们看到凝视准确度提高了25%。

工具书类

[1]

迈克尔·阿布拉什。2021.创造未来：增强现实，下一个人机界面。2021年IEEE国际电子器件会议（IEDM）。IEEE，1–2。

[2]

库尼特·阿金拉尔（Cuneyt Akinlar）、哈蒂斯·库布拉·库库卡塔尔（Hatice Kubra Kucukkartal）和奇罕·托帕尔（Cihan Topal）。2022.使用椭圆拟合误差正则化项进行基于cnn的精确瞳孔分割。应用专家系统188（2022），116004。

[3]

布雷登·布鲁索、乔纳森·罗斯和莫西·艾森曼。2020年。智能手机上的混合眼球追踪功能，带有CNN特征提取和红外3D模型。传感器20、2（2020）、543。

[4]

苏希尔·钱德拉（Sushil Chandra）、格里什玛·夏尔马（Greeshma Sharma）、萨洛尼·马霍特拉（Saloni Malhotra）、德文德拉·贾（Devendra Jha）和阿洛克·普拉卡什·米塔尔（Alok Prakash Mittal。2015.基于眼睛跟踪的人机交互：应用及其用途。2015年国际人机接口会议（MAMI）。IEEE，1-5。

[5]

Aayush K。乔杜里、拉克希特·科塔里、马诺·阿查里亚、舒西尔·丹吉、尼丁拉杰·奈尔、雷诺德·贝利、克里斯托弗·卡南、加布里埃尔·迪亚兹和杰夫·B。佩尔兹。2019.RITnet：眼睛实时语义分割用于视线跟踪。2019年IEEE/CVF国际计算机视觉研讨会（ICCVW）。电气与电子工程师协会。https://doi.org/10.109/iccvw.2019.00568

[6]

程一华，王浩飞，鲍一伟，冯璐。2021。基于外表的深度学习凝视评估：回顾与基准。arXiv预印本arXiv:2104.12668（2021）。

[7]

索米尔·丘格。2020年。虚拟现实耳机的眼睛跟踪系统。多伦多大学（加拿大）。

[8]

索米尔·丘格（Soumil Chugh）、布雷登·布鲁索（Braiden Brousseau）、乔纳森·罗斯（Jonathan Rose）和莫西·艾森曼（Moshe Eizenman）。2021.使用深度学习进行眼动追踪的角膜反射检测和对应匹配。2020年第25届模式识别国际会议（ICPR）（2021），2210–2217。

[9]

Kai Dierkes、Moritz Kassner和Andreas Bulling。2018年。一种新的单相机无闪烁3D眼睛模型拟合方法，包括角膜屈光。2018年ACM眼动跟踪研究与应用研讨会论文集。1–9.

数字图书馆

[10]

沃尔夫冈·福尔（Wolfgang Fuhl）、洪高（Hong Gao）和恩克莱达·卡塞基（Enkelejda Kasneci）。2020.用于鲁棒和实时瞳孔轮廓估计的微小卷积、决策树和二元神经元网络。在ACM眼动跟踪研究和应用研讨会上。1–5.

数字图书馆

[11]

沃尔夫冈·福尔（Wolfgang Fuhl）、大卫·盖斯勒（David Geisler）、蒂亚戈·桑蒂尼（Thiago Santini）、托比亚斯·阿佩尔（Tobias Appel）、沃尔夫冈·罗森斯蒂尔（Wolfang Rosenstiel）和恩科莱达·卡塞基。2018.CBF：用于鲁棒实时瞳孔中心检测的圆形二进制特征。2018年ACM眼动跟踪研究与应用研讨会论文集。1–6.

数字图书馆

[12]

托马斯·沃尔夫冈·福尔。库布勒、凯特琳·西佩尔、沃尔夫冈·罗森斯蒂尔和恩科莱达·卡塞基。2015年a。ExCuSe：现实世界场景中的鲁棒瞳孔检测。在图像和模式的计算机分析国际会议上。

[13]

沃尔夫冈·福尔（Wolfgang Fuhl），蒂亚戈·C。桑蒂尼（Santini）、托马斯·库布勒（Thomas Kuebler）和恩克莱达·卡塞基（Enkelejda Kasneci）。2015年b。ElSe：现实世界环境中用于鲁棒瞳孔检测的椭圆选择。arxiv:1511.06575[cs.CV]

[14]

沃尔夫冈·福尔（Wolfgang Fuhl）、约翰内斯·施奈德（Johannes Schneider）和恩克雷达·卡塞基（Enkelejda Kasneci）。2021.使用类haar特征和统计学习，每秒进行1000次瞳孔分割。IEEE/CVF计算机视觉国际会议论文集。3466–3476.

[15]

Swathi Gowroju，Sandeep Kumar，2020年。稳健的深度学习技术：用于学生分割的U-Net体系结构。2020年，IEEE第11届信息技术、电子和移动通信年会（IEMCON）。IEEE，0609–0613。

[16]

Elias Daniel Guestrin和Moshe Eizenman。2006.使用瞳孔中心和角膜反射进行远程凝视估计的一般理论。IEEE生物医药工程交易53，6（2006年6月），1124-1133。https://doi.org/10.109/tbme.2005.863952

[17]

Sang Yoon Han、Hyuk Jin Kwon、Yoonsik Kim和Nam Ik Cho。2020年。通过基于CNN的分割和形状-前视损失检测噪声背景下的瞳孔中心。IEEE接入8（2020），64739–64749。

[18]

Benedikt Hosp、Shahram Eivazi、Maximilian Maurer、Wolfgang Fuhl、David Geisler和Enkelejda Kasneci。2020年。RemoteEye：一种开源的高速远程眼球跟踪器：用于高速远程眼球跟踪的瞳孔和闪烁检测算法的实现见解。行为研究方法52（2020），1387-1401。

[19]

Rakshit S Kothari、Aayush K Chaudhary、Reynold J Bailey、Jeff B Pelz和Gabriel J Diaz。2021.Ellseg：一种用于鲁棒凝视跟踪的椭圆分割框架。IEEE可视化和计算机图形汇刊27，5（2021），2757–2767。

[20]

刘玉成、Daniel Stanley Tan、Jyh Cheng Chen、Cheng Wen Huang和Kai Lung Hua。2019.使用具有自适应加权骰子损失的剩余注意力U-Net分割肝脏病变。2019年IEEE国际图像处理会议（ICIP）。IEEE，3322–3326。

[21]

Nitinraj Nair、Rakshit Kothari、Aayush K Chaudhary、Zhijuo Yang、Gabriel J Diaz、Jeff B Pelz和Reynold J Bailey。2020年。Rit-eyes：为追踪眼球的应用程序渲染近眼图像。在ACM 2020年应用感知研讨会上。1–9.

数字图书馆

[22]

奥拉夫·伦尼伯格（Olaf Ronneberger）、菲利普·菲舍尔（Philipp Fischer）和托马斯·布洛克斯（Thomas Brox）。2015.U-net：生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预——2015年MICCAI：第18届国际会议，德国慕尼黑，2015年10月5日至9日，会议记录，第三部分18。施普林格，234-241。

[23]

Mark Sandler、Andrew Howard、Menglong Zhu、Andrey Zhmoginov和Liang-Chieh Chen。2018年，Mobilenetv2：反转残差和线性瓶颈。在IEEE计算机视觉和模式识别会议记录中。4510–4520.

[24]

蒂亚戈·桑蒂尼（Thiago Santini）、沃尔夫冈·福尔（Wolfgang Fuhl）和恩科莱达·卡塞基（Enkelejda Kasneci）。2018年。PuRe：用于实时普及眼球跟踪的鲁棒瞳孔检测。计算机视觉和图像理解170（2018），40-50。https://doi.org/10.1016/j.cviu.2018.02.002

数字图书馆

[25]

蒂亚戈·桑蒂尼（Thiago Santini）、迪德里克·尼奥尔斯特（Diederick C Niehorster）和恩克莱达·卡塞基（Enkelejda Kasneci）。2019年：抓紧时间：用于实时普及的头戴式眼睛跟踪的稳健且无闪烁的凝视估计。第11届ACM眼动跟踪研究与应用研讨会论文集。1–10.

数字图书馆

[26]

萨瑟斯。2019.打字眼：一种人机界面技术。《电子与信息学报》1，2（2019），80–88。

[27]

A Swathi，Sandeep Kumar，2021年。基于CNN感兴趣区域的瞳孔分割综述。在智能通信和自动化系统中。CRC出版社，157-168。

[28]

马克·托森（Marc Tonsen）、张旭聪（Xucong Zhang）、素加诺（Yusuke Sugano）和布林（Andreas Bulling）。2016.野外标记小学生：用于研究无约束环境下小学生检测的数据集。第九届ACM眼睛跟踪研究与应用研讨会论文集。139–142.

数字图书馆

[29]

阿什什·瓦斯瓦尼（Ashish Vaswani）、诺姆·沙泽尔（Noam Shazeer）、尼基·帕尔玛（Niki Parmar）、雅各布·乌斯科雷特（Jakob Uszkoreit）、利昂·琼斯（Llion Jones）、艾丹·戈麦斯（Aidan N Gomez）、尤卡斯·凯泽（ukasz Kaiser。2017年。你所需要的就是关注。神经信息处理系统进展30（2017）。

[30]

王文冠、周天飞、于斐雪、戴继峰、恩德·科努科格鲁和吕克·凡·古尔。2021.探索用于语义分割的跨图像像素对比度。IEEE/CVF计算机视觉国际会议论文集。7303–7313.

[31]

Yuk-Hei Yiu、Moustafa Aboulatta、Theresa Raiser、Leoni Ophey、Virginia L Flanagin、Peter Zu Eulenburg和Seyed-Ahmad Ahmadi。2019.DeepVOG：神经科学中使用深度学习的开源瞳孔分割和凝视估计。《神经科学方法杂志》324（2019），108307。

[32]

Zhilu Zhang和Mert Sabunci。2018.训练带噪声标签的深度神经网络的广义交叉熵损失。神经信息处理系统的进展31（2018）。

索引术语

CSA-CNN：一种用于眼睛注视跟踪中瞳孔分割的对比性自我注意神经网络
1. 计算方法
  1. 人工智能
    1. 计算机视觉
      1. 计算机视觉问题
        图像分割
2. 以人为中心的计算
  1. 人机交互（HCI）
    1. 交互技术

建议

用于交互式图形显示的眼睛和视线跟踪

本文描述了一种基于主动红外照明的计算机视觉系统，用于交互式图形显示的实时视线跟踪。与大多数现有的凝视跟踪技术不同，这些技术通常需要假设一个静态头部才能很好地工作。。。
瞳孔与眼睑：评估瞳孔眼跟踪装置中眨眼检测的准确性
摘要
事实证明，自发眨眼作为一种进入人类认知和情感过程的手段，可以在各种应用领域提供有价值的见解，例如人机交互和驾驶员睡意检测。。。
一种用于跟踪人机界面中凝视的非接触设备
眼睛检测和跟踪专题

本文提出了一种新颖的非接触式眼睛检测和视线跟踪装置的设计。它使用两个摄像头在头部运动时实时跟踪一个人的眼睛。图像分析技术用于获得准确的。。。

评论

信息和贡献者

问询处

发布于

封面图片ACM会议

ETRA’24：2024年眼动跟踪研究与应用研讨会论文集

2024年6月

525页

国际标准图书编号：9798400706073

内政部：10.1145/3649902

编辑：
穆罕默德·哈米斯
英国格拉斯哥大学
,
Yusuke Sugano公司
日本东京大学
,
路德维希·塞德马克
加拿大多伦多大学

版权所有©2024 ACM。

如果复制品不是为了盈利或商业利益而制作或分发的，并且复制品的第一页载有本通知和完整引文，则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重作者以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布，在服务器上发布或重新发布到列表，需要事先获得特定许可和/或付费。从请求权限[电子邮件保护].

赞助商

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2024年6月4日

权限

请求对此文章的权限。

检查更新

作者标记

限定符

研究文章
研究
推荐有限公司

会议

ETRA’24

赞助商：

ETRA’24：2024年眼动跟踪研究与应用研讨会

2024年6月4日至7日

英国格拉斯哥

接受率

总体接受率137份提交文件中的69份，50%

即将召开的会议

ETRA’25

赞助商：
西奇
西奇

ETRA’25:2025眼动追踪研究与应用研讨会

2025年5月26日至29日

东京，日本

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

0
引文总数
83
总下载次数

下载量（最近12个月）83
下载次数（最近6周）18

反映截至2024年9月22日的下载量

其他指标

查看作者指标

引文

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

HTML格式格式

在中查看本文HTML格式格式。

媒体

数字

其他

桌子