{“状态”：“确定”，“消息类型”：“工作”，“信息版本”：“1.0.0”，“邮件”：{“索引”：{“日期-部分”：[[2024,6,2]，“日期-时间”：“2024-06-02T05:07:48Z”，“时间戳”：1717304868129}，“引用-计数”：37，“发布者”：“运筹学与管理科学研究所（INFORMS）”，“问题”：“3”，“内容-域”：{:“域”：[]，“交叉标记-限制”：false}，“short-container-title”：[“M&SOM”]，“published-print”：{“date-parts”：[[2021,5]]}，”抽象“：”问题定义：平台严重依赖评级系统来了解市场参与者的质量。然而，在实践中，评级往往高度夸大，因此信息量不大。在本文中，我们首先研究平台是否可以通过改变评级系统中级别的含义和相对重要性来获得较少夸大、信息量更大的评级。其次，我们寻求平台在评级系统设计中做出这些选择的原则方法。学术/实践相关性：平台严重依赖评级系统来了解市场参与者的质量，因此，确保这些评级信息丰富至关重要。方法：我们分析了在线劳动力市场上的一项随机对照试验的结果，在该试验中，反馈表中添加了一个额外的问题。在不同的治疗条件下，我们改变了问题的措辞和答案的选择；特别是，治疗条件包括几个积极倾斜的言语评分量表，这些量表带有描述性短语或形容词，为每个评分水平提供特定的解释。然后，我们开发了一个基于模型的框架来比较和选择评级系统设计，并将该框架应用于从在线劳动力市场测试中获得的数据。结果：我们的测试表明，当前的通胀规范可以通过重新划分评级系统的级别来对抗。特别是，积极倾斜的口头评级量表产生了大幅缩减的评级分布，这些分布对卖方质量的信息更为丰富。此外，我们证明了我们基于模型的比例尺设计和优化框架可以确定信息最丰富的评级系统，并大大提高了基线设计获得的信息质量。管理含义：我们的研究表明，可以设计实用、信息丰富的评级系统，并演示如何以原则的方式进行比较和设计<\/jats:p>“，”DOI“：”10.1287\/msom.2020.0921“，”type“：”journal-article“，”created“：{”date-parts“：[[2020,12,16]]，”date-time“：”2020-12-16T14:43:28Z“，”timestamp“：1608129808000}，”page“：“589-605”，“source”：“Crossref”，“is-referenced-by-count”：16，“title”：[“Designing Informative Rating Systems:Evidence from an Online Labor Market”]，“prefix”：“10.1287”“，”卷“：”23”，“作者”：[{“ORCID”：“http://\/ORCID.org\/0000-0002-1988-792X”，“authenticated-ORCID”：false，“给定”：“Nikhil”，“family”：“Garg”，“sequence”：“first”，“affiliation”：[}“name”：“California 94035斯坦福大学电气工程系；”}]}，{“given”：斯坦福大学管理科学与工程系，加利福尼亚州斯坦福94035“}]}]，“成员”：“109”，“参考”：[{“问题”：“4”，“关键”：“B2”、“首页”：“1321”，“卷”：“43”，“作者”：“Adomavicius G”，“年份”：“2019”，“日志标题”：“MIS Quart.”}，{“关键”:“B3”，”doi-asserted-by“交叉引用”，“非结构化”：“Akoglu L，\nChandy R，\nFalloutsos C（2013）通过网络效应检测在线评论中的意见欺诈。Ellison NB、Hogan B、Resnick P、Soboroff I编辑，第七国际。AAAI Conf.Weblogs Social Media（人工智能促进协会，加利福尼亚州门罗公园），2\u201311.“，”DOI“：”10.1609\/icwsm.v7i1.14380“}，{“key”：“B4”，“DOI-asserted-by”：“publisher”，“DOI”：“10.1287\/mnsc.1090.1145”}，“issue”：“9”，“key“：”B5“，”首页“：”2288“，”卷：“22”，“author”：“Blum D”，“年份“：”2017“，”新闻标题“：”Qualitative Rep.“}，{”key“：”B6“，”doi-asserted-by“：”publisher“，”doi“：”10.1287\/mnsc.1120.1609“}”，{“key”：“B7”，“doi-assert-by”：“publisher”，“doi”：“10.1111\/j.1467-6451.2010.00405.x”}，“key“:”B8“，”doi-asserted-by““：”B10“，”doi-asserted-by“：”publisher“，”doi“：”10.1111\/j.1467-9280.1995.tb00327.x“}，{”key“：”B11“，”doi-asserted-by“：”publisher“，”doi“：”10.1287\/mnsc.2017.2852“}，{“key”：“B13”，“doi-assert-by”：“publisher”，“doi”：“10.1007\/978-3642-03311-7”}，“key“：i R（2019年）设计最佳二进制评级系统。Chaudhuri K，Sugiyama M，编辑程序。第22届国际。Conf.人工智能统计师。（PMLR），1930\u20131939.“}，{“key”：“B19”，“unstructured”：“Glynn P，Juneja S（2004）有序优化的大偏差观点。Ingalls RG，Rossetti MD，Smith JS，Peters BA，eds.Proc.2004 Winter Simulation Conf.2004，vol.1（IEEE，Piscataway，NJ）Hooi B，\nShah N，\nBeutel A，\nG\u00fcnnemann S，\nAkoglu L，\nKumar M，\nMakhija D，\nFaloutsos C（2016）Birdnest:评级欺诈检测的贝叶斯推断。Venkatasubramanian SC，Meira W，编辑Procs。2016 SIAM国际。Conf.数据挖掘（SIAM，Philadelphia），495\u2013503.“，”DOI“：”10.1137\/1.9781611974348.56“}，{“key”：“B23”，“DOI-asserted-by”：“publisher”，“DOI”：“10.1016\/j.dss.2010.012”}，“key“：”B24“，”DOI-assert-by“：”publisher“publisher”，“DOI”：“10.2139\/ssrn.2293158”}，{“key”：“B26”，“doi-asserted-by“：”crossref“，”unstructured“：”Immorlica N，\N Lucier B，\N Rogers B（2010）《通过社会资本在匿名社交网络中出现合作》。Dellarocas C，Tennenholtz M，编辑Proc。第11届ACM电子商务大会（ACM，纽约）。“，”DOI“：”10.1145 \/1807342.1807381“}，{“key”：“B27”，“DOI-asserted-by”：“crossref”，“unstructured”：“Johari R，\nKamble V，\nKanoria Y（2017）学习时的匹配。Babaioff M，Moulin H，eds.EC\u201917:Proc.2017 ACM Conf.Econom.Compute.（ACM，New York）。”，“DOI”：“10.1145\/303274.3084095”}，}“key”：”B28“，”volume me-title“：”等级通货膨胀：大学教育危机”，“作者”：“Johnson VE”，“年份”：“2006”}，{“key”：“B29”，“doi-asserted-by”：“publisher”，”doi“：“10.1111\/j.1745-3984.1988.tb00294.x”}“，”非结构化“：“Kokkodis M（2019）通过在线劳动力市场中的动态专业知识评估，降低声誉。Liu L，White R，eds.World Wide Web Conf.（ACM，纽约），896\u2013905.“，”DOI“：”10.1145\/3308558.3313479“}，{“key”：“B32”，“DOI-asserted-by”：“publisher”，“DOI”：“10.1287\/mnsc.2015.2217”}，“key“：”B33“，”DOI-assert-by“：”publisher 1“，”键“：”B34“，”首页“：”130“，”卷“：”22“，”作者“：”拉基LW“，”年：“2006年”，“新闻标题”：“国际。J.Engrg.Ed.“}，{“key”：“B35”，“doi-asserted-by”：“publisher”，“doi”：“10.1287\/mnsc.2013.1848”}，“key“：”B36“，”doi-assert-by“：”publisher“，”doi“：”10.1287\/mnsc.2015.2304“}、{“key”：”B37“，”doi-asserted-by“”：“publisher”，“doi”：”10.1509\/jmkr.45.6.333“}B40“，”volume-title“：”Marketing Research“，”author“：”Parasuraman A“，”year“：”2006“}，{”key“：”B41“，”volume-title“：”Astroball:The New Way to Win It All“，”author“：”Reiter B“，”year“：”2018“}，{”issue“：”5“，”key“：”B42“，”first-page“：”966“，”volume“：“3”，“author”：“Shaout A”，“year”：“2014”，“journal-title”：“Internat.J.Computer.Inform.Tech.”}，}“key”：“B43”，“doi-asserted-by”：“publisher”，“doi”：“10.1146”annurev-economics-080315-015325“}，{”键“：”B44“，”doi-asserted-by“：”publisher“，”doi“：”10.1080\/10864415.2016.1234290“}，{“key”：“B45”，“doi-assert-by”：“crossref”，“unstructured”：“Wang HC，\nYeo TH，\nNobarany S，\nHsieh G（2015）《Mechanical Turk用户生成评分的跨文化比较问题》。Wang H-C，Hsieh-G，Bi X，eds。程序。第三国际。交响乐。中国CHI（ACM，纽约），9\u201312.“，”DOI“：”10.1145\/2739999.2740001“}，{“key”：“B46”，“DOI-asserted-by”：“publisher”，“DOI”：“10.2139\/ssrn.2554500”}，“{”key“：”B47“，”DOI-assert-by“：”publisher“，”DOI“：“10.1016\/j.elerap.2012.11.005”}]，“container-title”：[“制造与服务运营管理”]，“original-title“：[]，”language“：”en“，”link“：[{”URL“：”https:\/\/pubsonline.notifies.org\/doi\/pdf\/10.1287\/msom.2020.0921“，”content-type“：”unspecified“，”content-version“：”vor“，”intended-application“：”similarity-checking“}]，”deposed“：{”date-parts“：[2023,4,2]，”date-time“：“2023-04-02T18:14:33Z”，”timestamp“：1680459273000}，”score“：1，”resource“：”{“primary”：{“URL”：“https:\/\/pubsonline.notifies.org\/doi\/10.1287\/msom.2020.0921“}}，”副标题“：[]，”短标题“：[]，”已发布“：{”日期部分“：[[2021,5]]}，“参考计数”：37，”日志发布“：}”问题“：“3”，”发布-打印“：{”日期部分“URL”：“http://\/dx.doi.org\/10.1287\/msom.2020.0921”，“关系”：{}，“ISSN”：[“1523-4614“，”1526-5498“]，”issn-type“：[{”value“：”1523-4619“，”type“:”print“}，{”value“：”526-5498”，“type”：“electronic”}]，“subject”：[]，“published”：{”date-parts“：[2021,5]}}}