研究论文

开放式访问

非线性个性化预测的神经混合效应

作者:

托尔斯滕沃特温,

尼古拉斯B。艾伦,

丽莎B。 Sheeber公司,

兰迪·P。奥尔巴赫,

杰弗里·F·。科恩、和

路易·菲利普莫伦西作者信息和声明

ICMI’23：第25届多式联运国际会议记录

2023年10月

页445-454

https://doi.org/10.1145/3577190.3614115

出版:2023年10月9日出版历史

所有格式 PDF格式

摘要

个性化预测是一种机器学习方法，它根据一个人过去标记的观察结果预测他们未来的观察结果，通常用于顺序任务，例如预测每日情绪评级。在进行个性化预测时，模型可以结合两种类型的趋势：（a）人与人之间共享的趋势，即人与人的共同趋势，如周末更快乐；（b）每个人的独特趋势，即特定于人的趋势，如紧张的周会。混合效应模型是一种流行的统计模型，通过结合个体遗传参数和个体特异参数来研究这两种趋势。虽然线性混合效应模型通过与神经网络集成在机器学习中越来越受欢迎，但这些集成目前仅限于线性人特定参数：排除非线性人特定趋势。在本文中，我们提出了神经混合效应（NME）模型，以可扩展的方式优化神经网络中任何地方的非线性个人特定参数1。NME将神经网络优化的效率与非线性混合效应建模相结合。经验上，我们观察到NME提高了六个单模态和多模态数据集的性能，包括智能手机数据集预测日常情绪和母亲青春期数据集预测情感状态序列，其中一半的母亲经历抑郁症状。此外，我们评估了两种模型架构的NME，包括神经条件随机场（CRF），以预测情感状态序列，其中CRF学习情感状态之间的非线性特定于人的时间转换。对母亲-青少年数据集上这些特定于个人的转变的分析显示了与母亲抑郁症状相关的可解释趋势。

补充材料

附录（附录.pdf）

下载
165.46 KB

工具书类

[1]

Randy P Auerbach、Ranqing Lan、Hanga Galfalvy、Kira lqueza、Jeffrey F Cohn、Ryan Crowley、Katherine Durham、Karla Joyce、Lauren E Kahn、Rahil Kamath、Louis-Philippe Morency、Giovanna Porta、Apoorva Srinivasan、Jamie Zelazny、David A Brent和Nicholas B Allen。2023.对青少年进行深入的纵向评估，以预测自杀想法和行为。《美国儿童和青少年精神病学学会杂志》（2023年）。

[2]

Randy P Auerbach、Apoorva Srinivasan、Jaclyn S Kirshenbaum、J John Mann和Stewart A Shankman。2022.地理位置特征区分健康和缓解抑郁成年人。精神病理学与临床科学杂志131，4（2022），341。

[3]

Tadas Baltrusaitis、Amir Zadeh、Yao Chong Lim和Louis-Philippe Morency。2018.Openface 2.0：面部行为分析工具包。2018年第13届IEEE自动人脸和手势识别国际会议（FG 2018）。IEEE，59–66。

数字图书馆

[4]

道格拉斯·贝茨（Douglas Bates）、马丁·梅奇勒（Martin Mächler）、本·博克（Ben Bolker）和史蒂夫·沃克（Steve Walker）。2015.使用lme4拟合线性混合效应模型。《统计软件杂志》67，1（2015），1-48。https://doi.org/10.18637/jss.v067.i01

[5]

约翰·宾德、凯文·墨菲和斯图亚特·罗素。1997。动态概率网络中的空间效率推断。Bclr 1（1997），t1。

[6]

Roel Bosker和Tom AB Snijders。2011.多级分析：介绍基本和高级多级建模。多层次分析（2011年），1-368。

[7]

卡洛斯·巴斯索（Carlos Busso）、穆尔塔扎·布鲁特（Murtaza Bulut）、李奇春（Chi-Chun Lee）、阿贝·卡泽姆扎德（Abe Kazemzadeh）、艾米丽·莫沃（Emily Mower）、塞缪尔·金（Samuel Kim）、珍妮特·张恩娜（Jeannette N Chang）、李成博（Sungbok Lee）和施里坎斯·纳拉亚南（Shrikanth S Narayanan）。IEMOCAP：交互式情感二元运动捕捉数据库。语言资源与评估42，4（2008），335–359。

[8]

富有的卡鲁阿纳。1997.多任务学习。机器学习28（1997），41–75。

数字图书馆

[9]

E彗星、A拉维诺和M拉维耶。SAEMIX，SAEM算法的R版本。欧洲人口方法小组第20次会议，希腊雅典（2011年）。

[10]

Joao FG de Freitas、Mahesan Niranjan、Andrew H。哎呀，还有阿诺德·杜塞特。训练神经网络模型的序贯蒙特卡罗方法。神经计算12，4（2000），955–993。

[11]

Bernard Delyon、Marc Lavielle和Eric Moulines。1999.EM算法的随机近似版本的收敛性。《统计年鉴》（1999），94-128。

[12]

格雷格·杜雷特和丹·克莱恩。2015年，神经CRF解析。在计算语言学协会第53届年会和第7届国际自然语言处理联合会议的会议记录中。计算语言学协会，302-312。

[13]

西奥多罗斯·伊夫吉尼奥和马西米利亚诺·蓬蒂尔。2004年，定期进行多任务学习。第十届ACM SIGKDD知识发现和数据挖掘国际会议论文集。109–117.

数字图书馆

[14]

弗洛里安·伊本（Florian Eyben）、克劳斯·谢勒（Klaus Scherer）、比约恩·舒勒（Björn Schuler）、约翰·桑德伯格（Johan Sundberg）、伊丽莎白·安德烈（Elisabeth Andre）、卡洛斯·布索（Carlos Busso）、劳伦斯·德维勒（Laurence Devillers）、朱利安·埃普斯（Julien Epps）、佩特里·劳卡（Petri Laukka）。2016年，日内瓦语音研究和情感计算最小声学参数集（GeMAPS）。IEEE情感计算事务7，2（4 2016），190-202。https://doi.org/10.109/TAFFC.2015.2457417开放访问。

数字图书馆

[15]

海曼·霍普斯（Hyman Hops）、贝西·戴维斯（Betsy Davis）和南希·朗格利亚（Nancy Longoria），1995年。直接观察中的方法学问题：在家庭环境中生活（LIFE）编码系统的说明。《临床儿童心理学杂志》24，2（1995），193-203。

[16]

克莱顿·胡托和埃里克·吉尔伯特。2014.维德：社交媒体文本情感分析的基于规则的简约模型。《AAAI网络和社交媒体国际会议论文集》，第8卷。216–225.

[17]

Nicholas C Jacobson和Yeon Joo Chung。2020年。使用智能手机对抑郁临床水平的本科生的抑郁情绪进行被动感知预测。传感器20、12（2020）、3572。

[18]

贝哈尔·卡里米（Belhal Karimi）、马克·拉维耶（Marc Lavielle）和埃里克·穆林斯（Eric Moulines）。2020年。f-SAEM：非线性混合效应模型EM算法的快速随机近似。计算统计与数据分析141（2020），123–138。

数字图书馆

[19]

Pascal Kilian、Sangbirk Ye和Augustin Kelava。2023.机器学习中的混合效应–一个灵活的mixedML框架，用于将随机效应添加到监督机器学习回归中。机器学习研究汇刊（2023）。https://openreview.net/forum？id=MKZyHtmfwH

[20]

迪德里克·P。Kingma和Jimmy Ba.2015。亚当：一种随机优化方法。在第三届学习代表国际会议上，Yoshua Bengio和Yann LeCun（编辑）。

[21]

米歇尔·诺克斯（Michele Knox）、谢丽尔·金（Cheryl King）、格雷戈里·汉纳（Gregory L Hanna）、迪尔德雷·洛根（Deirdre Logan）和尼拉·加齐乌丁（Neera Ghaziuddin）。2000.临床抑郁症青少年的攻击性行为。《美国儿童与青少年精神病学学会杂志》39，5（2000），611-618。

[22]

John Lafferty、Andrew McCallum和Fernando CN Pereira。2001.条件随机场：分割和标记序列数据的概率模型。(2001).

[23]

Nan M Laird和James H Ware。1982.纵向数据的随机效应模型。生物统计学（1982），963–974。

[24]

我是劳伦斯和桂林。1989年。用于评估再现性的一致性相关系数。生物统计学（1989），255-268。

[25]

Joshua J Levy、Carly A Bobak、Mustafa Nasir-Moin、Eren M Veziroglu、Scott M Palisoul、Rachael E Barney、Lucas A Salas、Brock C Christensen、Gregory J Tsongalis和Louis J Vaickus。2021.使用空间定位免疫肿瘤标记预测结肠癌转移的混合效应机器学习模型。2022年太平洋生物计算研讨会。世界科学，175–186。

[26]

Robert A Lewis、Asma Ghandharioun、Szymon Fedor、Paola Pedrelli、Rosalind Picard和David Mischoulon。2023.临床抑郁症严重程度个性化预测的混合效应随机森林。arXiv预印arXiv:2301.09815（2023）。

[27]

保罗·浦亮、特朗斯·刘、安娜·蔡、米查尔·穆辛斯基、石井隆一、尼克·艾伦、兰迪·奥尔巴赫、大卫·布伦特、鲁斯兰·萨拉库丁诺夫和路易斯·菲利普·莫伦西。2021.学习语言和多模态隐私——从移动数据中保留情绪标记。在计算语言学协会第59届年会和第11届国际自然语言处理联合会议的会议记录中（第1卷：长篇论文）。计算语言学协会，在线，4170-4187。https://doi.org/10.18653/v1/2021.acl-long.322

[28]

玛丽·林德斯特罗姆（Mary J Lindstrom）和道格拉斯·贝茨（Douglas M Bates）。1988年。重复测量数据线性混合效应模型的Newton-Raphson和EM算法。J.Amer。统计师。协会83、404（1988）、1014–1022。

[29]

玛丽·林德斯特罗姆（Mary J Lindstrom）和道格拉斯·贝茨（Douglas M Bates）。1990年。重复测量数据的非线性混合效应模型。生物计量学（1990），673-687。

[30]

刘银汉（音）、米勒·奥特（Myle Ott）、纳曼·戈亚尔（Naman Goyal）、杜敬飞（Jingfei Du）、曼达尔·乔希（Mandar Joshi）、陈丹奇（Danqi Chen）、奥马尔·利维（Omer Levy）、迈克·刘易斯（Mike Lewis）、卢克·泽特莫耶（Luke Zettlemoyer）和韦塞林·斯托亚诺夫（Veselin Stoyanov）。2020.RoBERTa：一种稳健优化的BERT预训练方法。https://openreview.net/forum？id=SyxS0T4tvS。

[31]

弗朗西丝卡·曼德尔（Francesca Mandel）、里迪·普拉蒂姆·戈什（Riddhi Pratim Ghosh）和伊恩·巴内特（Ian Barnett）。2021.使用混合效应模型的聚类和纵向数据的神经网络。生物计量学（2021年）。

[32]

托马斯·莫克。2022.星期二潮汐：针对R生态系统的每周数据项目。https://github.com/rfordatascience/tidytuesday

[33]

努诺·莫尼兹和路易斯·托戈。2018.在线新闻源的多源社会反馈。arXiv预印arXiv:1801.07055（2018）。

[34]

本杰明·尼尔森（Benjamin W Nelson）、丽莎·希伯（Lisa Sheeber）、詹妮弗·菲弗（Jennifer Pfeifer）和尼古拉斯·艾伦（Nicholas B Allen）。2021.抑郁和非抑郁母亲及其青春期后代的别体负荷心理生物学标记物。《儿童心理学与精神病学杂志》62，2（2021），199-211。

[35]

Che Ngufor、Holly Van Houten、Brian S Caffe、Nilay D Shah和Rozalina G McCoy。2019.混合效应机器学习：预测血红蛋白A1c纵向变化的框架。生物医学信息学杂志89（2019），56-67。

[36]

Joel S Owen和Jill Fiedler-Kelly。2014.使用非线性混合效应模型进行人群药代动力学/药效学分析简介。约翰·威利父子公司。

[37]

西奥多·帕帕马库（Theodore Papamarkou）、雅各布·欣克尔（Jacob Hinkle）、托德·杨（M Todd Young）和大卫·温布尔（David Womble）。2022.贝叶斯神经网络的马尔可夫链蒙特卡罗挑战。统计师。科学。37, 3 (2022), 425–442.

[38]

Adam Paszke、Sam Gross、Francisco Massa、Adam Lerer、James Bradbury、Gregory Chanan、Trevor Killeen、Zeming Lin、Natalia Gimelshein、Luca Antiga、Alban Desmaison、Andreas Kopf、Edward Yang、Zachary DeVito、Martin Raison、Alykhan Tejani、Sasank Chilamkurthy、Benoit Steiner、Lu Fang、Junjie Bai和Soumith Chintala。2019.PyTorch：一个势在必行的风格、高性能的深度学习图书馆。《神经信息处理系统进展》32，H.Wallach、H.Larochelle、A.Beygelzimer、F.d'AlchéBuc、E.Fox和R.Garnett（编辑）。Curran Associates公司，8024–8035。http://papers.neurips.cc/paper/9015-pytorch-an-imperative-style-high-performance-deep-learning-library.pdf

数字图书馆

[39]

Paola Pedrelli、Szymon Fedor、Asma Ghandharioun、Esther Howe、Dawn F Ionescu、Darian Bhatherna、Lauren B Fisher、Cristina Cusin、Maren Nyer、Albert Yeung，2020年。使用可穿戴和移动传感器监测抑郁症严重程度的变化。精神病学前沿11（2020），584711。

[40]

詹姆斯·佩内巴克、瑞安·博伊德、凯拉·乔丹和凯特·布莱克本。2015年。LIWC2015的发展和心理测量特性。技术报告。德克萨斯大学奥斯汀分校。

[41]

尼古拉斯·普菲斯特（Niklas Pfister）、彼得·鲍尔曼（Peter Bühlmann）、伯恩哈德·舍尔科夫（Bernhard Schölkopf）和乔纳斯·彼得斯（Jonas Peters）。2018年，基于内核的联合独立性测试。英国皇家统计学会杂志。B系列（统计方法）80，1（2018），5–31。

[42]

何塞·皮涅罗和道格拉斯·贝茨。非线性混合效应模型中对数似然函数的近似。《计算与图形统计学杂志》4，1（1995），12-35。

[43]

何塞·皮涅罗和道格拉斯·贝茨。线性混合效应模型：基本概念和示例。S和S-Plus（2000）中的混合效应模型，3-56。

[44]

Abhishek Pratap、David C Atkins、Brenna N Renn、Michael J Tanana、Sean D Mooney、Joaquin A Anguera和Patricia A AreáN。2019.被动手机传感器在预测日常情绪方面的准确性。抑郁和焦虑36，1（2019），72–81。

[45]

任石泉、洪磊、佟文静、穆斯塔法·阿米扎德、侯学章和赖圣汉。2010.分层数据的非参数引导。《应用统计学杂志》37，9（2010），1487-1498。

[46]

Orli S Schwartz、Michelle L Byrne、Julian G Simmons、Sarah Whittle、Paul Dudgeon、Marie BH Yap、Lisa B Sheeber和Nicholas B Allen。2014.青春期早期父母养育与青少年抑郁症：一项为期6年的前瞻性纵向研究。《临床心理科学》2，3（2014），272–286。

[47]

奥利·S·施瓦茨（Orli S Schwartz）、保罗·达金（Paul Dudgeon）、丽莎·B·希伯（Lisa B Sheeber）、玛丽·雅普（Marie BH Yap）、朱利安·西蒙斯（Julian G Simmons）和尼古拉斯·B·艾伦（Nicholas B Allen）。2011.观察到的母亲对青少年行为的反应预测了严重抑郁症的发病。行为研究与治疗49，5（2011），331–338。

[48]

史军、蒋成明、阿曼·古普塔、周明洲、欧阳云、肖强、宋清泉、吴仪（Alice）、魏海超和高慧吉。2022.广义深度混合模型。第28届ACM SIGKDD知识发现和数据挖掘会议论文集（美国华盛顿特区）（KDD’22）。美国纽约州纽约市计算机协会，3869–3877。https://doi.org/10.1145/3534678.3539103

数字图书馆

[49]

Giora Simchoni和Saharon Rosset。2023.在深度神经网络中集成随机效应。《机器学习研究杂志》24，156（2023），1-57。http://jmlr.org/papers/v24/22-0501.html

[50]

爱德华·辛普森。1951.列联表中相互作用的解释。《皇家统计学会杂志：B辑（方法学）》13，2（1951），238-241。

[51]

宋思阳（Siyang Song）、邵子龙（Zilong Shao）、贾斯瓦尔（Shashank Jaiswal）、沈林林（Linlin Shen）、米歇尔·瓦尔斯塔（Michel Valstar）和哈蒂斯·古恩斯（Hatice Gunes）。2022.从面部反应中学习个人特定认知，以实现自动个性识别。IEEE情感计算汇刊（2022）。

数字图书馆

[52]

Reeti Tandon、Sudeshna Adak和Jeffrey A Kaye。阿尔茨海默病纵向研究的神经网络。医学中的人工智能36，3（2006），245–255。

[53]

萨拉·泰勒（Sara Taylor）、娜塔莎·贾克斯（Natasha Jaques）、伊希姆文马·诺萨哈雷（Ehimwenma Nosakhare）、阿卡娜·萨诺（Akane Sano）和罗莎琳德·皮卡尔（Rosalind Picard）。2017.个性化多任务学习，预测明天的情绪、压力和健康。IEEE情感计算汇刊11，2（2017），200-213。

[54]

Minh-Ngoc Tran、Nghia Nguyen、David Nott和Robert Kohn。2017.具有深度神经网络基函数的随机效应模型：方法论和计算。技术报告。悉尼大学商学院。

[55]

罗斯·沃尔芬格（Russ Wolfinger）。1993。一般混合模型中的协方差结构选择。统计学中的通信——模拟和计算22，4（1993），1079–1106。

[56]

托尔斯滕·沃特温（Torsten Wörtwein）、丽莎·谢伯（Lisa B Sheeber）、尼古拉斯·艾伦（Nicholas Allen）、杰弗里·科恩（Jeffrey F Cohn）和路易斯·菲利普·莫伦西（Louis-Philippe Morency）。2021.情感状态的人类引导模式信息性。《2021年多式联运国际会议论文集》。728–734.

数字图书馆

[57]

Wrandrall。2021.IMDB新数据集。https://www.kaggle.com/datasets/wrandrall/imdb-new-dataset网站

[58]

托尔斯滕·沃特温（Torsten Wörtwein）、丽莎·希伯（Lisa Sheeber）、尼古拉斯·艾伦（Nicholas Allen）、杰弗里·科恩（Jeffrey Cohn）和路易斯·菲利普·莫伦西（Louis-Philippe Morency）。2022.超越加性融合：学习非加性多模态交互。计算语言学协会的研究结果：EMNLP 2022。计算语言学协会，阿拉伯联合酋长国阿布扎比，4681-4696。https://aclantology.org/2022.findings-emnlp.344

[59]

熊云阳（Yunyang Xiong）、金贤宇（Hyunwoo J Kim）和维卡斯·辛格（Vikas Singh）。2019.混合效应神经网络（menet）及其在凝视估计中的应用。IEEE计算机视觉和模式识别会议论文集。7743–7752.

索引术语

非线性个性化预测的神经混合效应

建议

个性化和聚合N大推荐列表对用户偏好评分的影响

此前的研究表明，个性化产品推荐对用户对商品的偏好判断具有强大的影响。具体而言，多项研究表明，将系统预测偏好评级显示为项目推荐，以偏向。。。
阅读更多信息
执行器饱和非线性系统的基于数据的自适应神经网络最优输出反馈控制

研究了具有执行器饱和的非线性连续时间系统的自适应神经网络最优输出反馈控制设计问题。受控系统的系统动力学和状态未知。神经网络。。。
阅读更多信息
从训练好的神经网络集成中提取符号规则
中国人工智能进展专刊

神经网络集成可以显著提高基于神经网络的系统的泛化能力。然而，它的可理解性甚至比单个神经网络还要差，因为它包含单个神经网络的集合。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM会议

ICMI’23：第25届多式联运国际会议记录

2023年10月

858页

国际标准图书编号：9798400700552

DOI（操作界面）：10.1145/3577190

编辑：
伊丽莎白·安德烈
奥格斯堡大学
,
穆罕默德·切图阿尼
索邦大学
,
多米尼克·沃夫雷达兹（Dominique Vaufreydaz）
格勒诺布尔阿尔卑斯大学
,
盖尔·卢卡斯
南加州大学创新技术学院
,
坦尼娅·舒尔茨
不来梅大学
,
莫伦西
卡内基梅隆大学
,
亚历山德罗·芬西亚雷利
格拉斯哥大学

版权所有©2023所有者/作者。

本作品根据Creative Commons Attribution International 4.0许可证授权。

赞助商

SIGCHI:ACM计算机与人类交互特别兴趣小组

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2023年10月9日

检查更新

作者标记

限定符

研究文章
研究
推荐有限公司

会议

ICMI 23年

赞助商：

SIGCHI公司

ICMI’23：多式互动国际会议

2023年10月9日至13日

法国巴黎

接受率

1080份提交文件的总体接受率为453，42%

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

0
引文总数
341
总下载次数

下载量（最近12个月）341
下载次数（最近6周）34

其他指标

查看作者指标

引文

视图选项

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

HTML格式格式

在中查看本文HTML格式格式。

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

媒体

数字

其他

桌子