卡尔森·普范施密特;普里塔·古普塔;比约恩哈登霍斯特;埃克·Hüllermier 学习上下文相关的选择功能。 （英语） Zbl 07460573号 国际J近似推理 140, 116-155 (2022). 摘要：选择函数接受一组备选方案作为输入，并生成这些备选方案的首选子集作为输出。我们研究在以下条件下学习此类函数的问题上下文相关偏好，这意味着支持某一选择方案的偏好可能取决于其他可用的选项。尽管这种情境依赖具有实际意义，但迄今为止在偏好学习中很少受到关注。我们提出了一个基于上下文相关（潜在）效用函数的合适模型，从而将问题简化为学习此类效用函数的任务。实际上，这带来了许多挑战。例如，作为选择函数的输入提供的备选方案集可以是任意大小的，函数的输出不应取决于备选方案的显示顺序。为了满足这些要求，我们提出了两种基于上下文相关效用函数的两种表示的通用方法，以及以适当的端到端可训练神经网络体系结构形式的实例化。此外，为了证明这两种网络的性能，我们在合成数据集和真实世界数据集上进行了广泛的实证评估。 引用于1文件 MSC公司： 68层37 人工智能背景下的不确定性推理 关键词：偏好学习;选择函数;上下文相关;神经网络 软件：ASlib（ASlib）;电影镜头;字母;PyMC公司;scikit优化;阿达格拉德;MNIST公司;Scikit公司;凯拉斯 PDF格式BibTeX公司 XML格式引用 \textit{K.Pfannschmidt}等人，国际期刊近似推理140，116--155（2022；Zbl 07460573） 全文： 内政部 arXiv公司 参考文献： [1] 阿加瓦尔，C.C。；Yu，P.S.，高维数据的离群检测，（ACM Sigmod Record（2001），ACM），37-46 [2] 艾，Q。；Bi，K。；郭杰。；Croft，W.B.，《学习深度列表上下文模型以改进排名》（SIGIR（2018），ACM），135-144 [3] 艾，Q。；王，X。；布鲁赫，S。；北卡罗来纳州戈尔班迪。；本德斯基，M。；Najork，M.，使用深度神经网络学习群体多元评分函数，（ICTIR（2019），ACM），85-92 [4] Alvarez，P.A。；石坂，A。；Martínez，L.，《多标准决策排序方法：调查》，专家系统。申请。，183，第115368条pp.（2021） [5] 安布罗斯，A。；Rozen，K.，用多自我模型合理化选择，经济。J.，125，1136-1156（2014） [6] 阿罗，K.J.，《社会选择与个人价值观》（1951年），约翰·威利父子公司·兹伯利0984.91513 [7] Batsell，R.R。；Polking，J.C.，《一类新的市场份额模型》，Mark.Sci。，4, 177-198 (1985) [8] 巴塔利亚，P.W。；哈姆里克·J·B。；巴普斯特，V。；Sanchez-Gonzalez，A。；赞巴尔迪，V.F。；马利诺夫斯基，M。；Tacchetti，A。；拉波索博士。；Santoro，A。；福克纳，R。；吉尔切尔，圣彼得堡。；宋，F。；巴拉德·A·J。；Gilmer，J。；Dahl，G.E。；瓦斯瓦尼，A。；艾伦，K。；纳什，C。；兰斯顿，V。；戴尔，C。；海斯，N。；Wierstra，D。；科尔里，P。；博特维尼克，M。；葡萄酒，O。；李毅。；Pascanu，R.，关系归纳偏见、深度学习和图网络（2018），CoRR [9] Ben-Akiva，M。；Lerman，S.R.，《离散选择分析：旅游需求的理论与应用》，第9卷（1985年），麻省理工学院出版社 [10] A.R.本森。；库马尔，R。；Tomkins，A.，子集选择的离散选择模型，（第十一届ACM网络搜索和数据挖掘国际会议论文集（2018），ACM），37-45 [11] 边沁，J.，《道德与立法原则导论》（1789），T.佩恩和儿子：T.佩因和儿子伦敦 [12] Berkson，J.，逻辑函数在生物模拟中的应用，美国统计协会，39，357-365（1944） [13] Bettman，J.R。；卢斯，M.F。；Payne，J.W.，《建设性消费者选择过程》，J.consumer。决议，25187-217（1998） [14] Bischl，B。；科尔斯克，P。；Kotthoff，L。；林道尔，M。；马利茨基，Y。；弗雷谢特，A。；胡斯，H。；Hutter，F。；莱顿-布朗，K。；蒂尔尼，K。；Vanschoren，J.，ASlib:算法选择的基准库，Artif。智力。，237, 41-58 (2016) ·Zbl 1357.68202号 [15] 鲍尔，A。；Balzano，L.，《具有上下文相关显著特征的偏好建模》（ICML（2020），PMLR），1067-1077 [16] 布拉德利，R.A。；Terry，M.E.，《不完全区组设计的秩分析：I.成对比较方法》，《生物特征》，39，324-345（1952）·兹比尔0047.12903 [17] 布林曼，K。；Friedrich，T.，《近似高维几何对象的并集和交集体积》，计算。地理。，43, 601-610 (2010) ·Zbl 1206.65072号 [18] Burges，C.J.C。；摇晃，T。；伦肖，E。；Lazier，A。；契约，M。；北卡罗来纳州汉密尔顿。；Hullender，G.N.，《学习使用梯度下降法排名》（ICML（2005），ACM），第89-96页 [19] 查克拉瓦蒂，D。；Lynch，J.G.，《探索语境对消费者判断和选择的影响的框架》，《高级消费》。研究，10289-297（1983） [20] V·钱多拉。；Banerjee，A。；库马尔，V.，《异常检测：一项调查》，美国计算机学会。调查。，41, 15 (2009) [21] 陈，S。；Joachims，T.，在匹配和比较数据中建模不敏感性，（WSDM（2016），ACM），227-236 [22] Cholet，F.，Keras（2017年） [23] Cox，D.R.，《与logistic定性响应曲线相关的一些程序》，（J.Neuman（1966）的《统计学研究》论文），55-71·Zbl 0158.17808号 [24] Debreu，G.，用数值函数表示偏好排序，Organ。行为。嗯，拒绝。过程。，3, 159-165 (1954) ·Zbl 0058.13803号 [25] 德布鲁，G.，《价值理论：经济均衡的公理分析》（1959），耶鲁大学出版社·Zbl 0193.20205号 [26] Debreu，G.，R.D.Luce评论，个人选择行为：理论分析，美国经济学。第50版，186-188（1960） [27] Dembczynski，K。；Waegeman，W。；Cheng，W。；Hüllermier，E.，多标签分类中的标签依赖性和损失最小化，马赫。学习。，88, 5-45 (2012) ·Zbl 1243.68237号 [28] 戴蒙德·J。；Evans，W.，《猜测的修正》，《教育评论》。第43181-191号决议（1973年） [29] 犹他州多根。；玻璃制造商，T。；Igel，C.，《关于多类支持向量分类的统一观点》，J.Mach。学习。决议，17，1-32（2016）·Zbl 1360.68669号 [30] Domshlak，C。；Hüllermier，E。；卡西，S。；Prade，H.，《人工智能偏好：概述》，Artif。智力。，175, 1037-1052 (2011) [31] Doyle，J.R。；奥康纳，D.J。；雷诺兹，G.M。；Bottomley，P.A.，《不对称支配效应的稳健性：购买框架、幻影替代品和店内购买》，《心理医生》。作记号。，16, 225-243 (1999) [32] 杜奇，J。；哈赞，E。；Singer，Y.，在线学习和随机优化的自适应次梯度方法，J.Mach。学习。第12号决议，2121-2159（2011年）·Zbl 1280.68164号 [33] Evgeniou，T。；布西奥斯，C。；Zacharia，G.，广义稳健联合估计，Mark.Sci。，24, 415-429 (2005) [34] Expedia，Expedia酒店推荐（2016） [35] Fahandar，医学硕士。；Hüllermier，E。；Couso，I.，《不完整排名数据的统计推断：基于等级的粗化案例》（ICMLICML（2017），PMLR），1078-1087 [36] Fawcett，T.，ROC分析简介，模式识别。莱特。，27, 861-874 (2006) [37] Fechner，G.T.，《心理物理要素》，第2卷（1860年），Breitkopf u.Härtel [38] 弗林格，医学硕士。；Verducci，J.S.，基于距离的排名模型，J.R.Stat.Soc.，Ser。B、 卫理公会。，48, 359-369 (1986) ·Zbl 0658.62031号 [39] 弗林格，医学硕士。；Verducci，J.S.，《多级排名模型》，J.Am.Stat.Assoc.，83，892-901（1988）·Zbl 0719.62036号 [40] 福登堡，D。；Levine，D.K.，《脉冲控制的双重自我模型》，《美国经济学》。修订版，96，1449-1476（2006） [41] （Fürnkranz，J.；Hüllermeier，E.，偏好学习（2010），施普林格）·Zbl 1201.68006号 [42] 盖伦，M。；巴斯滕，T。；Theelen，B。；Otten，R.，《帕累托点代数》，Fundam。通知。，78, 35-74 (2007) ·Zbl 1135.90397号 [43] 格洛洛特，X。；Bengio，Y.，理解深度前馈神经网络训练的困难，（AISTATS（2010），JMLR），249-256 [44] 古德费罗，I。；Y.本吉奥。；A.Courville，《深度学习》（2016），麻省理工学院出版社·兹比尔1373.68009 [45] Grabisch，M。；Marichal，J。；梅西亚尔，R。；Pap，E.，《聚合函数》（2009），剑桥大学出版社·Zbl 1196.00002号 [46] 格林，J。；Hojman，D.，《选择、合理性和福利衡量》（2007），哈佛大学，KSG教师研究工作文件系列RWP07-054 [47] J.Gurland。；李，I。；Dahm，P.A.，生物测定中的多光子量子反应，生物统计学，16，382-398（1960）·Zbl 0119.15703号 [48] F.M.哈珀。；Konstan，J.A.，电影镜头数据集：历史和背景，ACM Trans。互动。智力。系统。，5 (2015) [49] He，K。；张，X。；任，S。；Sun，J.，《深入研究整流器：在ImageNet分类方面超越人类水平的性能》，（ICCV（2015），IEEE计算机学会），1026-1034 [50] 头部，T。；机械编码器；Louppe，G。；谢尔巴蒂，I。；fcharras；维尼希乌斯，Z。；cmmalone；施罗德，C。；nel215；北卡罗来纳州坎波斯。；Young，T.等人。；塞雷达，S。；风扇，T。；ren-rex；Shi，K.K。；施瓦贝达尔，J。；卡洛斯·达尼埃尔桑托斯；Hvass-Labs实验室；Pak，M.先生。；SoManyUsernamesTaken；Callaway，F。；Estève，L。；Besson，L。；谢尔蒂，M。；Pfannschmidt，K。；Linzberger，F。；Cauet，C。；内脏，A。；穆勒，A。；Fabisch，A.，scikit-optimize/scikit-opimize，v0.5.2（2018） [51] Houthakker，H.S.，《揭示的偏好和效用函数》，《经济学》，第17卷，第159-174页（1950年） [52] 胡贝尔，J。；Payne，J.W。；Puto，C.，《添加不对称支配的替代品：违反规律性和相似性假设》，J.Consume。研究，9，90-98（1982） [53] 胡贝尔，J。；Puto，C.，《市场边界和产品选择：说明吸引力和替代效应》，J.Consume。研究，10，31-44（1983） [54] 洛夫，S。；Szegedy，C.，《批量规范化：通过减少内部协变量偏移加快深层网络训练》，（ICML（2015），JMLR），448-456 [55] 卡莱，G。；鲁宾斯坦，A。；Spiegler，R.，《通过多种理由合理化选择函数》，《计量经济学》，第70期，第2481-2488页（2002年）·Zbl 1130.91326号 [56] 西澳大利亚镰仓。；Srivastava，R.K.，《品牌相互依赖条件下的选择份额预测》，J.Mark.Res.，21，420-434（1984） [57] Kamishima，T.，Nantonac协作过滤：基于订单响应的推荐，（KDD（2003），ACM），583-588 [58] Kamishima，T。；Kazawa，H。；Akaho，S.，《对象排序方法的调查和实证比较》，（Preference Learning（2010），Springer），181-201·Zbl 1213.68495号 [59] Kelly，J.S。；Hall，M.，《不可能的结果与决心》，经济学。莱特。，34, 15-19 (1990) ·Zbl 0715.90012号 [60] 凯尔曼，M。；Rottenstreich，Y。；Tversky，A.，法律决策中的上下文依赖，J.Leg。螺柱，25287-318（1996） [61] Kivetz，R。；O.内泽尔。；Srinivasan，V.，《捕获折衷效应的替代模型》，J.Mark.Res.，41，237-257（2004） [62] Klambauer，G。；Unterthiner，T。；Mayr，A。；Hochreiter，S.，自规范化神经网络，（NIPS，Curran Associates Inc（2017）），972-981 [63] Kleinberg，J.M。；Mullainathan，S。；Ugander，J.，基于比较的选择，（EC（2017），ACM），127-144 [64] O.科耶霍。；Natarajan，N。；拉维库马尔，P。；Dhillon，I.S.，一致多标签分类，（NIPS（2015），麻省理工学院出版社），3321-3329 [65] 范德拉恩，M。；波拉德，K。；Bryan，J.，《一种新的围绕medoids算法的划分》，J.Stat.Compute。模拟。，73, 575-584 (2003) ·Zbl 1054.62075号 [66] LeCun，Y。；科尔特斯，C。；Burges，C.J.C.，《MNIST手写数字数据库》（2010年） [67] Lewis，D.D.，评估和优化自主文本分类系统，（SIGIR（1995），ACM出版社），246-254 [68] Luce，R.D.，《个人选择行为》（1959），约翰·威利·Zbl 0093.31708号 [69] 马尔多纳多，S。；蒙托亚，R。；韦伯，R.，《通过支持向量机使用特征选择的高级联合分析》，欧洲期刊Oper。第241564-574号决议（2015年）·Zbl 1339.91077号 [70] Mallows，C.L.，非完全排名模型。一、 《生物特征》，44，114-130（1957）·Zbl 0087.34001号 [71] Mantel，N.，《复杂列联表和多光子剂量-反应曲线的模型》，《生物统计学》，2283-95（1966） [72] Manzini，P。；Mariotti，M.，《顺序合理化选择》，《美国经济》。修订版，97，1824-1839（2007） [73] Markowitz，H.，《投资组合选择》，《金融学杂志》，7，77-91（1952） [74] May，K.O.，非敏感性、效用和偏好模式的聚合，《计量经济学》，22，1-13（1954） [75] McClish，D.K.，分析ROC曲线的一部分，医学决策学。制造商。，9, 190-195 (1989) [76] McFadden，D.，定性选择行为的条件logit分析，（计量经济学前沿（1974），学术出版社），105-142 [77] 麦克法登，D。；Train，K.，离散响应的混合MNL模型，J.Appl。经济。，15, 447-470 (2000) [78] Mellers，B.A。；Birnbaum，M.H.，《社会判断中的语境效应》，《心理学杂志》。，19, 157-171 (1983) [79] 摩尔，R。；DeNero，J.，多类铰链损失模型的L1和L2正则化，（MLSLP（2011）），1-5 [80] Nesterov，Y.，求解具有收敛速度的凸规划问题的方法（mathcal{O}（1/k^2）），（苏联数学Doklady（1983）），372-376·Zbl 0535.90071号 [81] 冯·诺依曼，J。；Morgenstern，O.，《博弈论与经济行为》（1944），普林斯顿大学出版社·Zbl 0063.05930号 [82] Orhun，A.Y.，《当消费者表现出与选择集相关的偏好时的最佳产品线设计》，Mark.Sci。，28, 868-886 (2009) [83] 奥兹克斯，A.I。；Sanver，M.R.，《重新审视匿名、中立和坚定的社会选择》，《社会选择世界》。，57, 97-113 (2021) ·Zbl 1479.91115号 [84] Payne，J.W。；Bettman，J.R。；约翰逊，E.J.，《行为决策研究：一个建设性的处理视角》，年。心理学牧师。，4387-131（1992年） [85] Payne，J.W。；Bettman，J.R。；Schkade，D.A。；施瓦兹，N。；Gregory，R.，《衡量构建的偏好：朝向建筑规范》（Elicitation of preferences，1999），施普林格出版社，243-275·Zbl 0942.91026号 [86] 佩德雷戈萨，F。；瓦罗佐，G。；Gramfort，A。；米歇尔，V。；Thirion，B.公司。；O.格栅。；布隆德尔，M。；普雷滕霍弗，P。；Weiss，R。；杜堡，V。；范德普拉斯，J。；帕索斯，A。；库纳波，D。；布鲁彻，M。；佩罗，M。；Duchesnay，E.，Scikit-learn：《蟒蛇中的机器学习》，J.Mach。学习。第12号决议，2825-2830（2011年）·Zbl 1280.68189号 [87] Pfannschmidt，K。；古普塔，P。；Hüllermier，E.，学习上下文相关排名函数的深层架构（2018），CoRR [88] Plackett，R.L.，《排列分析》，J.R.Stat.Soc.，Ser。C、 申请。Stat.，24193-202（1975） [89] Powers，D.M.，《召回与精准与庄家》（ICCS（2003），新南威尔士大学），529-534 [90] Powers，D.M.，《评估：从精确性、召回和f-measure到ROC、信息性、标记性和相关性》，J.Mach。学习。技术。，2, 37-63 (2011) [91] 秦，T。；Liu，T.，介绍LETOR 4.0数据集（2013），CoRR [92] 拉文巴赫，S。；施耐德，J.G。；Póczos，B.，通过参数共享实现均衡，（ICML（2017），PMLR），2892-2901 [93] Rice，J.R.，算法选择问题，（《计算机的进步》，计算机的进步，第15卷（1976年），爱思唯尔出版社），65-118 [94] Rieskamp，J。；Busemeyer，J.R。；Mellers，B.A.，《扩大理性的界限：优先选择的证据和理论》，J.Econ。升。，44, 631-661 (2006) [95] 里古蒂尼。；帕皮尼，T。；Maggini，M。；Scarselli，F.，《SortNet:通过神经偏好函数学习排名》，IEEE Trans。神经网络。，22, 1368-1380 (2011) [96] Rooderker，R.P。；Van Heerde，H.J。；Bijmolt，T.H.，《将情境效应纳入选择模型》，J.Mark.Res.，48767-780（2011） [97] 罗森菲尔德，N。；Oshiba，K。；Singer，Y.，用集合相关聚合预测选择，（ICML（2020），PMLR），8220-8229 [98] 罗素·S·J。；Norvig，P.，《人工智能：现代方法》（2020年），皮尔逊出版社 [99] Salvatier，J。；Wiecki，T.V。；Fonnesbeck，C.，《使用PyMC3的Python概率编程》，PeerJ.Compute。科学。，2，e55（2016） [100] Samuelson，P.A.，《关于消费者行为纯理论的注释》，《经济学》，第561-71页（1938年） [101] Sedikides，C。；Ariely，D。；Olsen，N.，《伴侣选择的情境和程序决定因素：不对称支配和显著性》，《社会认知》。，17, 118-139 (1999) [102] Sen，A.K.，《选择功能和显示偏好》，《经济学评论》。螺柱，38，307-317（1971）·Zbl 0237.90004号 [103] Seshadri，A。；Peysakhovich，A。；Ugander，J.，《从原始选择数据中发现背景效应》（ICML（2019），PMLR），5660-5669 [104] 沙菲尔，E。；西蒙森，I。；特维斯基，A.，《基于理性的选择，认知》，49，11-36（1993） [105] Simonson，I.，《基于原因的选择：吸引力和妥协效应的案例》，J.Consume。决议，第16号，第158-174页（1989年） [106] 西蒙森，I。；Tversky，A.，《情境中的选择：权衡对比和极端厌恶》，J.Mark.Res.，29，281-295（1992） [107] Smith，G.，《标记：社交网络的人驱动元数据》。新乘客（2007） [108] Stanley，R.P.，《枚举组合数学》，第1卷（2011年），剑桥大学出版社·Zbl 1247.05003号 [109] Tesauro，G.，通过比较培训学习专家偏好的连接主义，（NIPS（1989），Morgan Kaufmann Publishers Inc.），99-106 [110] Theil，H.，线性logit模型的多项式推广，《国际经济》。第10版，251-259（1969） [111] 汤姆林森，K。；Benson，A.，群体决策离散选择模型下的选择集优化，（ICML（2020），PMLR），9514-9525 [112] Train，K.E.，《模拟离散选择方法》（2009），剑桥大学出版社·Zbl 1269.62073号 [113] TREC，TREC 2007百万查询跟踪（2007） [114] TREC，TREC 2008年百万查询曲目（2008年） [115] 特维斯基，A.，偏好的不敏感，心理学。修订版，76,31（1969） [116] Tversky，A.，《方面消除：选择理论》，《心理学》。修订版，79281（1972） [117] A.特维斯基。；Simonson，I.，上下文相关偏好，Manag。科学。，39, 1179-1189 (1993) ·Zbl 0800.90037号 [118] 维格·J。；Sen，S。；Riedl，J.，导航标签基因组，（IUI（2011），ACM），93-102 [119] 维格·J。；Sen，S。；Riedl，J.，标签基因组：编码社区知识以支持新的相互作用，ACM Trans。互动。智力。系统。，2, 13 (2012) [120] 沃尼诺维奇，M。；Yun，S.Y.，《关于团队选择问题》（2016），微软研究院，技术报告MSR-TR-2016-7 [121] Waegeman，W。；Dembczynski，K。；Jachnik，A。；Cheng，W。；Hüllermier，E.，《关于F-测度极大值的贝叶斯优化》，J.Mach。学习。第15号决议，3333-3388（2014） [122] Wen，C.H。；Koppelman，F.S.，广义嵌套logit模型，Transp。研究，B部分，Methodol。，35, 627-641 (2001) [123] Williams，H.C.W.L.，《关于旅游需求模型的形成和用户利益的经济评价方法》，环境。计划。A、 经济。太空，98285-344（1977） [124] Ye，N。；Chai，K.M.A。；Lee，W.S。；Chieu，H.L.，《优化F-measure:两种方法的故事》（ICML（2012），ICML.cc/Omnipress），1555-1562 [125] Yu，L。；Sun，B.，四种典型的离散选择模型：您使用的是哪种？，（2012年IEEE服务运营与物流及信息学国际会议论文集（2012）），298-301 [126] Zaheer，M。；科图尔，S。；拉文巴赫，S。；Póczos，B。；Salakhutdinov，R.R。；Smola，A.J.，Deep sets，（NIPS（2017），Curran Associates，Inc.），3394-3404 [127] 张，Q。；库洛格纳，I.，一种新的高效的空间聚类K-medoid算法，（ICCSA（2005），Springer-Verlag），181-189 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。