{“@context”：“https:\/\/schema.org\/”，“@type”：“ScholarlyArticle”，“@id”：“#article14620”，“name”：“AKSEL:Fast Byzantine SGD”，“abstract”：“现代机器学习体系结构区分服务器和工作者。通常，d维模型由服务器托管，由n个工作者训练，使用分布式随机梯度下降（SGD）优化方案。在每个SGD步骤中，目标是估计成本函数的梯度。最简单的方法是平均工人估计的梯度。然而，即使是一个工人的一次拜占庭式的失败，平均工资也没有弹性。最近提出了许多替代梯度聚合规则（GAR），以容纳最多数量的拜占庭工人。这些GAR的不同之处在于（1）它们的计算时间的复杂性，（2）拜占庭工人的最大数量，尽管仍然可以确保收敛（分解点），以及（3）它们的精度，这可以通过（3.1）它们的角度误差来捕捉，即与真实梯度的角度，以及（3.2）他们聚集全梯度的能力。特别是，许多不是完全渐变，因为它们分别在每个维度上操作，这导致了协调的混合渐变，导致在实际情况下精确度较低，在实际执行中实际上是拜占庭式的工人人数很少（s<<f）。\我们提出了一种新的基于中位数的可扩展GAR Aksel，它在全梯度方法中具有最佳时间复杂度（\ud835\udcaa（nd））、最佳故障点（n>2f）和预期角度误差的最低上界（\ud85\udcaa\ u221ad）。我们还研究了当梯度分布为正态分布时Aksel的实际角误差，并表明它只在\ud835\udcaa（\u221adlog{n}）中增长，这是在假定一个最佳击穿点的情况下，首次证明了工人数量n的对数上界。我们还报告了Aksel对各种分类任务的经验评估，并将其与针对最先进攻击的替代GAR进行了比较。当拜占庭工人实际上没有或很少，而即使在极端情况下（s=f）也能保持良好的防守时，Aksel是唯一达到最高精度的GAR。为了表示的简单性，我们考虑使用单服务器的方案。然而，正如我们在本文中所解释的，Aksel也可以很容易地适应多服务器架构，这些架构能够容忍一小部分服务器的拜占庭行为。“，”关键词“：[”机器学习“，”随机梯度下降“，”拜占庭失败“]，”作者“：[{”@type“：”Person“，”name“：”Boussetta，Amine“，”givenName“：”Amine“amine.boussetta@um6p.ma“，”affiliation“：”Mohammed VI Polytechnic University，Ben Guerir，Morocco“}，{”@type“：”Person“，”name“：”El-Mhamdi，El-Mahdi“，”givenName“：”埃尔·马赫迪“，”familyName“：“埃尔·马哈迪”，”email“：”mailto:“elmahdielmhamdi@gmail.com“，”affiliation“：”EPFL，Lausanne，Switzerland“}，{”@type“：”Person“，”name“：”Guerraoui，Rachid“，”givenName“：”Rachid”，“familyName”：“Guerraoui”，“email”：“mailto:”rachid.guerraoui@epfl.ch“，”affiliation“：”EPFL，Lausanne，Switzerland“}，{”@type“：”Person“，”name“：”Maurer，Alexandre“，”givenName“：”Alexandere“，”familyName“：“Maurer”，”email“：”mailto:“alexandre.maurer@um6p.ma“，”隶属关系“：”摩洛哥本·盖里尔穆罕默德六世理工大学“}，｛”@type“：”Person“，”name“：”Rouault，S\u00e9bastien“，”givenName“：”S\u00e9bastien“，”familyName“：”Rouault“，”电子邮件“：”mailto:sebastien.rouault@epfl.ch“，”affiliation“：”EPFL，Lausanne，Switzerland“}]，”position“：8，”pageStart“：”8:1“，”pageEnd“：”8/16“，”dateCreated“：“2021-01-25”，”datePublished“：”2021-01-25m“，”isAccessibleForFree“：true，”license“：”https:\/\/creativecommons.org\/licenses\/by\/3.0\/legalcode“，”copyrightHolder“：[{”@type“：“Person”，”name“：”Boussetta，Amine“，”givenName“：”胺“，”家族名称“：”Boussetta“，”电子邮件“：”mailto:“amine.boussetta@um6p.ma“，”affiliation“：”Mohammed VI Polytechnic University，Ben Guerir，Morocco“}，{”@type“：”Person“，”name“：”El-Mhamdi，El-Mahdi“，”givenName“：”埃尔·马赫迪“，”familyName“：“埃尔·马哈迪”，”email“：”mailto:“elmahdielmhamdi@gmail.com“，”affiliation“：”EPFL，Lausanne，Switzerland“}，{”@type“：”Person“，”name“：”Guerraoui，Rachid“，”givenName“：”Rachid”，“familyName”：“Guerraoui”，“email”：“mailto:”rachid.guerraoui@epfl.ch“，”affiliation“：”EPFL，Lausanne，Switzerland“}，{”@type“：”Person“，”name“：”Maurer，Alexandre“，”givenName“：”Alexandere“，”familyName“：“Maurer”，”email“：”mailto:“alexandre.maurer@um6p.ma“，”affiliation“：”Mohammed VI Polytechnic University，Ben Guerir，Morocco“}，{”@type“：”Person“，”name“：”Rouault，S\u00e9bastien“，”givenName“：”S\u001e9bassien“sebastien.rouault@epfl.ch“，”affiliation“：”EPFL，Lausanne，Switzerland“}]，”copyrightYear“：”2021“，”accessMode“：”textual“，”accessModeSufficient“：”extual“、”creativeWorkStatus“：”Published“，”inLanguage“：”en-US“，”sameAs“：”https:\/\/doi.org\/10.4230\/LIPIcs。OPODIS.2020.8“，”publisher“：”Schloss Dagstuhl\u2013 Leibniz-Zentrum f\u00fcr Informatik“，”引文“：”http://\/arxiv.org\/abs\/1902.06156“，”isPartOf“：{”@type“：“PublicationVolume”，“@id”：“#volume6387”，“volumeNumber”：184，“name”：“第24届分布式系统原理国际会议（OPODIS 2020）”，“创建日期”：“2021-01-25”，“datePublished“：”2021-01-25“，”editor“：[{”@type“：”Person“，”name“：”Bramas，Quentin“，”givenName“：”Quentin”，“familyName”：“Bramas”，“email”：“mailto:”bramas@unistra.fr公司“，”sameAs“：”https:\/\/orcid.org\/00000-0003-0612-5616“，”affiliation“：”斯特拉斯堡大学，ICUBE，CNRS，斯特拉斯堡，法国“}，{“@type”：“Person”，“name”：“Oshman，Rotem”，“givenName”：“Rotem“，”familyName“：”Oshman“，”email“：”mailto:“roshman@tau.ac.il“，”affiliation“：”特拉维夫大学，以色列“}，{”@type“：”Person“，”name“：”Romano，Paolo“，”givenName“：”Paolo”，“familyName”：“Romano”，”email“：”mailto:“romano@inesc-id.pt“，”sameAs“：”https:\/\/orcid.org/0000-0001-7026-7446“，”附属机构“：”里斯本大学$&$INESC-ID，葡萄牙“｝]，”isAccessibleForFree“：true，”publisher“：”Schloss Dagstuhl\u2013 Leibniz Zentrum f\u00fcr Informatik“，”hasPart“：”#article14620“，”isPartOf“：｛”@type“：”期刊“，”@ID“：”#series116“，”name“：”莱布尼茨国际信息学论文集“，”issn“：”1868-8969“，”isAccessibleForFree“：true，”publisher“：”Schloss Dagstuhl\u2013莱布尼兹-Zentrum f\u00fcr Informatik“，”hasPart“：“#volume6387”}}