Ni，Eric C。;Ciocan，Dragos F。;谢恩·亨德森。;苏珊·R·亨特。 并行计算环境中的高效排名和选择。 （英语） Zbl 1384.62060号 操作。物件。 65，第3号，821-836（2017）. 摘要：排序和选择（R&S）程序的目标是从有限的竞争备选方案集中确定最佳随机系统。这些过程需要对每个系统的性能进行评估，评估可以通过在并行计算平台上运行多个独立的复制来同时获得。在为并行计算环境设计R&S过程时，会出现一些重要的统计和实现问题。我们为并行R&S过程提出了几个设计原则，以保持统计有效性并最大限度地提高核心利用率，特别是当涉及大量备选方案或核心时。我们的并行良好选择程序（GSP）严格遵循了这些原则，该程序在正态分布输出的假设下，（i）确保以高概率选择无差异区域中的系统，（ii）在多达1024个并行内核的测试中高效运行，以及（iii）在一个例子中，与现有的并行过程相比，使用的样本量较小，特别是对于较大的问题（超过10^6个备选方案）。在我们的计算研究中，我们讨论了在并行计算机上实现GSP的三种方法，即消息传递接口（MPI）、Hadoop MapReduce和Spark，并表明Spark在MPI的效率和对核心故障的鲁棒性之间提供了很好的折衷。 引用于15文件 MSC公司： 62F07型 统计排名和选择程序 2005年5月 并行数值计算 关键词：排名和选择;并行计算;设计原则 软件：火花RnS;SimOpt公司;Hadoop公司;火花;地图红色RnS;MPIRNS公司;Rng蒸汽;MapReduce;SPRNG公司;RngStreams公司;RngStreams公司 PDF格式BibTeX公司 XML格式引用 \textit{E.C.Ni}等人，作品。第65号决议，第3号，821--836（2017；Zbl 1384.62060） 全文： 内政部 arXiv公司 链接 参考文献： [1] Amazon（2016）Amazon ec2实例类型。2016年10月2日访问，https://aws.amazon.com/ec2/instance-types/。 [2] Andradóttir S（1998）《模拟优化技术综述》。Medieros DJ、Watson EF、Carson JS、Manivannan MS编辑。《1998年冬季模拟会议论文集》（IEEE，新泽西州皮斯卡塔韦），151-158。交叉参考 [3] Bechhofer RE、Santner TJ、Goldsman DM（1995）{统计选择、筛选和多重比较实验的设计和分析}（John Wiley&Sons，纽约）。 [4] Boesel J，Nelson BL，Kim S-H（2003）模拟优化后使用排名和选择来“清理”。《操作研究》第51（5）期：814-825页。链接·Zbl 1165.90477号 [5] Branke J，Chick SE，Schmidt C（2007）选择选择程序。管理科学53（12）：1916-1932。链接·Zbl 1232.62042号 [6] Bubeck S，Cesa-Bianchi N（2012）随机和非随机多武器强盗问题的后悔分析。机器学习的基础和趋势。}5（1）：1-122。交叉参考·Zbl 1281.91051号 [7] Chen C-H、Chick SE、Lee LH（2015）《排名与选择：高效模拟预算分配》。Fu MC，ed.{仿真优化手册}，运筹学与管理科学国际系列，第216卷，第3章（纽约斯普林格），45-80。交叉参考·Zbl 1303.90004号 [8] Chen C-H，Lin J，Yücesan E，Chick SE（2000）《进一步提高顺序优化效率的模拟预算分配》。{离散事件动态系统}10（3）：251-270。交叉参考·Zbl 0970.90014号 [9] Chen EJ（2005）使用并行和分布式计算提高选择程序的能力。Kuhl ME，Steiger NM，Armstrong FB，Joines JA，eds.{\it Proc.2005冬季模拟会议，WSC'05}（IEEE，新泽西州皮斯卡塔韦），723-731。交叉参考 [10] Dean J，Ghemawat S（2008）MapReduce:大型集群上的简化数据处理。{\it Comm.ACM}51（1）：107-113。交叉参考 [11] Fu M（1994）《模拟优化：综述》。{《美国年鉴》第53卷第1期：199-247页。交叉参考·Zbl 0833.90089号 [12] Fu M（2015）{仿真优化手册}运筹学与管理科学国际丛书（Springer，纽约）。交叉参考·Zbl 1303.90004号 [13] Fu MC（2002）《模拟优化：理论与实践》。{它为《计算杂志》提供了信息}14（3）：192-215。链接·Zbl 1238.90001号 [14] Fu MC，Glover FW，April J（2005）《模拟优化：综述、新发展和应用》。Kuhl ME，Steiger NM，Armstrong FB，Joines JA，eds.{\it Proc.2005冬季模拟会议，WSC'05}（IEEE，新泽西州皮斯卡塔韦），83-95。交叉参考 [15] Glynn PW，Heidelberger P（1990），预算约束模拟的偏差特性。｛\f5操作研究｝｛\f5 38（5）｝｛\f5：｝｛\f5 801-814｝｛\f5。｝。链接·兹比尔074365006 [16] Glynn PW，Heidelberger P（1991）完成时间约束下的并行复制模拟分析。{它是ACM事务建模计算仿真}1（1）：3-23。交叉参考·Zbl 0842.65099号 [17] Glynn PW，Juneja S（2015）《序贯优化——经验大偏差率估计器和随机多武装匪徒》，预印arXiv:1507.04564。 [18] Glynn PW，Whitt W（1992）模拟估计器的渐近效率。{操作研究}40（3）：505-520。链接·Zbl 0760.62009号 [19] Heidelberger P（1988）离散事件模拟和并行处理：统计特性。{暹罗统计计算}9（6）：1114-1132。交叉参考·Zbl 0661.68115号 [20] Henderson SG，Pasupathy R（2014）模拟优化库。http://www.simopt.org。 [21] Hong LJ（2006）采用方差相关抽样的全序列无差异区域选择程序。{海军研究后勤}53（5）：464-476。交叉参考·Zbl 1127.62066号 [22] Hong LJ，Nelson BL（2005）《采样和切换之间的权衡：无差异区域选择的新顺序程序》。{\it IIE翻译}37:723-734。交叉参考 [23] Jamieson K，Nowak R（2014），固定置信度下多武装匪徒的最佳识别算法。{第48届年度会议通知科学系统CISS’14}（IEEE，新泽西州皮斯卡塔韦），1-6。交叉参考 [24] Karl AT、Eubank R、Milovanovic J、Reiser M、Young D（2014）使用RngStreams在C++和R.{it Compute.Statist.}1-20中生成并行随机数·Zbl 1306.65078号 [25] Kim S-H，Nelson BL（2001）模拟中无差异区域选择的全序列程序。{\it-ACM事务建模计算仿真}11（3）：251-273。交叉参考·Zbl 1490.62207号 [26] Kim S-H，Nelson BL（2006a）选择最佳系统。Henderson SG，Nelson BL，eds.{\it Simulation}，《运营研究和管理科学手册》，第13卷（阿姆斯特丹北荷兰特），501-534。交叉参考·Zbl 1170.90300号 [27] Kim S-H，Nelson BL（2006b）关于稳态模拟的全序列选择程序的渐近有效性。{操作研究}54（3）：475-488。链接·Zbl 1167.90450号 [28] L’Ecuyer P（2015）用于顺序和并行计算的具有多个流的随机数生成。Yilmaz L，Chan WKV，Roeder TMK，Macal C，Rosetti M，编辑。｛\it Proc.2015 Winter Simulation Conf.｝（IEEE，Piscataway NJ），31-44。交叉参考 [29] L'Ecuyer P，Simard R，Chen EJ，Kelton WD（2002）具有许多长流和子流的面向对象随机数软件包。{操作研究}50（6）：1073-1075。链接 [30] 罗J，洪LJ（2011）使用云计算进行大规模排名和选择。Jain S，Creasey RR，Himmelspach J，White KP，Fu M，eds.{2011年冬季模拟会议，WSC’11}（美国医学会，纽约），4051-4061。交叉参考 [31] Luo J，Hong JL，Nelson BL，Wu Y（2015）并行计算环境中大规模排序和选择问题的全序列程序。{操作研究}63（5）：1177-1194。链接·Zbl 1347.68151号 [32] 罗Y-C，陈C-H，Yusesan E，Lee I（2000）分布式网络仿真优化。Joines JA，Barton RR，Kang K，Fishwich PA，eds.{\it Proc.2000 Winter Simulation Conf.，WSC'00}（IEEE，新泽西州皮斯卡塔韦），1785-1793。 [33] Mascagni M，Srinivasan A（2000）算法806:SPRNG：生成伪随机数的可扩展库。{\it-ACM Trans.Math.Software}26（3）：436-461。交叉参考 [34] Nelson BL、Matejcik FJ（1995）使用普通随机数进行模拟中的无差异区域选择和多重比较。管理科学41（12）：1935-1945。链接·Zbl 0853.65149号 [35] Nelson BL，Swann J，Goldsman D，Song W（2001）当备选方案数量较大时选择最佳模拟系统的简单程序。{操作研究}49（6）：950-963。链接 [36] Ni EC（2015a）MapRedRnS:使用MapReduce进行平行排序和选择。2016年10月2日访问，https://bitbucket.org/ericni/mapredrens。 [37] Ni EC（2015b）MPIRNS：使用MPI进行平行排序和选择。2016年10月2日访问，https://bitbucket.org/ericni/mpirns。 [38] Ni EC（2015c）SparkRnS:使用Spark进行平行排名和选择。2016年10月2日访问，https://bitbucket.org/ericni/sparkrns。 [39] Ni EC、Henderson SG、Hunter SR（2014）两种平行排名和选择程序的比较。Tolk A，Diallo SD，Ryzhov IO，Yilmaz L，eds.{\it Proc.2014冬季模拟会议，WSC’14}（IEEE，新泽西州皮斯卡塔韦），3761-3772。交叉参考 [40] Ni EC、Hunter SR、Henderson SG（2013）《高性能计算环境中的排名和选择》。Pasupathy R，Kim S-H，Tolk A，Hill R，Kuhl ME，eds.{\it Proc.2013冬季模拟会议，WSC’13}（IEEE，新泽西州皮斯卡塔韦），833-845。交叉参考 [41] Ni EC、Ciocan DF、Henderson SG、Hunter SR（2015）比较消息传递接口和MapReduce以进行大规模并行排名和选择。Yilmaz L，Chan WKV，Moon I，Roeder TMK，Macal C，Rossetti MD，eds.{\it Proc.2015冬季模拟会议，WSC’15}（IEEE，新泽西州皮斯卡塔韦），3858-3867。交叉参考 [42] Pasupathy R，Ghosh S（2013）《模拟优化：简明概述和实施指南》。Topaloglu H，ed.{\it TutORials Oper.Res.}（信息，Hanover，MD），122-150。链接 [43] Pichitlamken J，Nelson BL，Hong LJ（2006）通过模拟优化中邻域选择的顺序过程。｛\it Eur.J.Oper.Res.｝173（1）：283-298。交叉参考·兹比尔1125.90395 [44] Rinott Y（1978）关于两阶段选择过程和相关的概率不等式。{公共统计理论与方法}7（8）：799-811。交叉参考·Zbl 0392.62020号 [45] 德克萨斯州高级计算中心（2016）什么是牧马人（TACC/IU）？2016年4月9日检索，https://www.tacc.utexas.edu/user-services/user-guides/stampede-user-guid。 [46] Yoo T，Cho H，Yücesan E（2009）基于Web服务的并行复制离散事件仿真，用于大规模仿真优化。{\it Simulation}85（7）：461-475。交叉参考 [47] Zaharia M、Chowdhury M、Franklin MJ、Shenker S、Stoica I（2010）《火花：使用工作集的集群计算》。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。