{“id”：“https://openalex.org/W4392971869“，”doi“：”https://doi.org/10.48550/arxiv.2403.10616“，”title“：”DiPaCo:分布式路径组成“，”display_name“：”DiPaCo:分布路径构成“，”publication_year“：2024，”publiation_date“：”2024-03-15“，”ids“：{”openalex“：”https://openalex.org/W4392971869“，”doi“：”https://doi.org/10.48550/arxiv.2403.10616“}，”language“：”en“，”primary_location“：{”is_oa“：true，”landing_page_url“：”https://arxiv.org/abs/2403.10616，“pdf_url”：https://arxiv.org/pdf/2403.10616，“源”：{“id”：https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”Cornell University“]，“type”：“repository”}，“license”：null，“licence_id”：null，“version”：“submittedVersion”，“is_accepted”：false，“is_published”：false}，”type“：”preprint“，”type_crossref“：“posted-content”，“indexed_in”：[”arxiv“]，‘open_access’：{”is_oa“：true，”“oa_status”：“green”，“oa_url”：“https://arxiv.org/pdf/2400.10616“，”any_repository_has_fulltext“：true}，”authorships“：[{”author_position“：”第一“，”作者“：{”id“：”https://openalex.org/A5052337951“，”display_name“：”Arthur Douillard“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Douillar，Arthur“，”raw _affiliation_strings“：]，”affiliations“：【】}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5007599252“，”display_name“：”Qiming Feng“，”orcid“：”https://orcid.org/0009-0002-7212-7441“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”Feng，Qixuan“，”raw_affiliation_strings“：[]，“affiliations”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A505332749“，”display_name“：”Andrei Rusu“，”orcid“：”https://orcid.org/0000-0003-0036-4149“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”Rusu，Andrei A.“，”raw_affiliation_strings“：[]，“affiliations”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5069646529“，”display_name“：”Adhiguna Kuncro“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Kuncoro，Adhigura“，”raw _affiliation_strings“：【】，”affiliations“：〔〕}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5093271775“，”display_name“：”Yani Donchev“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Donchev，Yani“，”raw _affiliation_strings“：]，”affiliations“：“[]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5024479338“，”display_name“：”Rachita Chhaparia“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Chhapara，Rachita“，”raw _affiliation_strings“：]，”affiliations“：【】}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5094196405“，”display_name“：”Ionel Gog“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Gog，Ionel“，”raw _affiliation_strings“：]，”affiliations“：[/]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5077887756“，”display_name“：”Marc\u2019Aurelio Ranzato“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Ranzato，Marc'Aurelio“，”raw _affiliation_strings“：]，”affiliations“：【】}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5033886406“，”display_name“：”Shen Jiajun“，”orcid“：null｝，”institutions“：[]，”countries“：[]，”is_correresponsing“：false，”raw_author_name“：”Shen，Jiajun“，”raw_affiation_strings“：[]，”affiliations“：[]｝，｛”author_position“：”last“，”author“：｛”id“：”https://openalex.org/A5053145694“，”display_name“：”Arthur Szlam“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“，”Szlam-Arthur“，”raw _affiliation_strings“：]，”affiliations“：【】}】，“countries_distiction_count”：0，“institutions_distition_count“：0，”corresponding_author_ids“：【]，”coresponding_institution_ids list“：null，”apc_payed“：null，”fwci“：null，”has_fulltext“：false，”cited_by_count“：0，”cited_by_percentile_year“：{”min“：0”max“：91}，”biblio“：{”volume“：null，”issue“：nul，”first_page“：null，”last_page“：null}，“is_retracted”：false、“is_paratext”：false，“primary_topic”：{“id”：“https://openalex.org/T10142“，”“display_name”：“软件验证和控制中的形式方法”，“score”：0.0737，“subfield”：{“id”：“https://openalex.org/subfields/1703“，”display_name“：”计算理论与数学“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，”主题“：[{”id“：”https://openalex.org/T10142“，”“display_name”：“软件验证和控制中的形式方法”，“score”：0.0737，“subfield”：{“id”：“https://openalex.org/subfields/1703“，”display_name“：”计算理论与数学“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T11450“，”display_name“：”软件开发中的模型驱动工程“，”score“：0.0709，”subfield“：{”id“：”https://openalex.org/subfields/1712“，”display_name“：”软件“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T12784“，”“display_name”：“可自我配置机器人系统和模块化机器人”，“score”：0.0698，“subfield”：{“id”：“https://openalex.org/subfields/2210“，”display_name“：”机械工程“}，”字段“：{”id“：”https://openalex.org/fields/22“，”display_name“：”Engineering“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}]，”关键词“：[{”id“：”https://openalex.org/keywords/distributed-control网址“，”display_name“：”Distributed Control“，”score“：0.527436}]，”concepts“：[{”id“：”https://openalex.org/C40231798，“wikidata”：https://www.wikidata.org/wiki/Q1333743“，”display_name“：”合成（语言）“，”level“：2，”score“：0.57380927}，{”id“：”https://openalex.org/C2777735758，“wikidata”：https://www.wikidata.org/wiki/Q817765“，”display_name“：”Path（computing）“，”level“：2，”score“：0.5548745}，{”id“：”https://openalex.org/C41008148，“wikidata”：https://www.wikidata.org/wiki/Q21198“，”display_name“：”计算机科学“，”level“：0，”score“：0.3547572｝，｛”id“：”https://openalex.org/C31258907，“wikidata”：https://www.wikidata.org/wiki/Q1301371“，”display_name“：”计算机网络“，”level“：1，”score“：0.10926494}，{”id“：”https://openalex.org/C138885662，“wikidata”：https://www.wikidata.org/wiki/Q5891“，”display_name“：”哲学“，”等级“：0，”分数“：0.05979243}，{”id“：”https://openalex.org/C41895202，“wikidata”：https://www.wikidata.org/wiki/Q8162“，”display_name“：”语言学“，”level“：1，”score“：0.0}]，”mesh“：[]，”locations_count“：1.”locations“：[{”is_oa“：true，”landing_page_url“：”https://arxiv.org/abs/2403.10616，“pdf_url”：https://arxiv.org/pdf/2403.10616，“源”：{“id”：https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：null，“licence_id”：null，“version”：“submittedVersion”，“is_accepted”：false，“is_published”：false}]，“best_oa_location”：{“is_oa”：true，“landing_page_url”：“https://arxiv.org/abs/2403.10616，“pdf_url”：https://arxiv.org/pdf/2403.10616，“源”：{“id”：https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：null，“licence_id”：null，“version”：“submittedVersion”，“is_accepted”：false，“is_published”：false}，”sustainable_development_goals“：[]，“grants”：[]https://openalex.org/W4391913857","https://openalex.org/W2748952813","https://openalex.org/W2530322880","https://openalex.org/W2478288626","https://openalex.org/W2390279801","https://openalex.org/W2382290278","https://openalex.org/W2376932109","https://openalex.org/W2358668433","https://openalex.org/W2350741829","https://openalex.org/W2001405890“]，”ngrams_url“：”https://api.openalex.org/works/W4392971869/ngrams“，”abstract_inverted_index“：{“进度”：[0]，”in“：[1,38,83]，”machine“：[2]，”learning“：[3]，”（ML）“：[4]，”has“：[5,15]，”been“：[6,16]，”fueled“：[7]，”by“：[8,18,65187]，”scaling“：[9,14]，“neural”：[10]，“network”：[11]，“models.”：[12]，“This”：[13]，“enabled”：[17]，“ever“：[19]，”更多“：[20152]，”英雄“：[21]，”壮举“：[22]，”的“：[23,70143168179190198]，”工程，“：[24]，”必要“：[25]，”用于“：[26,521127164]，”容纳“：[27]，”ML“：[28,53]，”方法“：[29]，”该“：[30,80102147]，”要求“：[31]，”高“：[32]，”带宽“：[33]，”通信“：[34]，”在“：[35]之间，”设备“：[36]，”工作“：[37]，”并行。“：[39]，“In”：[40]，“this”：[41133]，“work”，：[42]，“we”：%43]，“propose”：[44]，“a”：[45,68,75100114136140180196]，“co-designed”：[46]，“moduled”：[47]，“architecture”：[48]，“and”：[49,96108151]，“training”：[50,92169]，“approach”：[P1,90134]，“models”，“：[54]，”被称为“：[55]，“DIstributed”：[56]，“PAth”：[57]，“组合”：[58]，“（DiPaCo）。“：[59]，”During“：[60]，”training“，：[61]，”DiPaCo“：[62175]，”distributes“：[63]，”computeration“：[64]，”paths“：66]，”through“：[67]，”set“：[69]，”shared“：%71]，”modules。“：[72]，“一起”：[73]，“与”：[74,85,99195]，“本地-SGD”：[76]，“灵感”：[77]，“优化”：[78]，“（DiLoCo）”：[79]，“保持”：[81]，“模块”：[82]，“同步”：[84]，“急剧”：[86]，“减少”：[87]，“通信”：[88]，“我们的”：[89154]，“便利”：[91]，“跨越”：[93]，“差”：[94]，“已连接”：[95]，“异构”：[97]，“工人”：[98]，“设计”：[101]，“确保“：[103]，”健壮性“：[104]，”to“：[105118]，”worker“：[106]，”failures“：[107]，”抢占。“：[109]，”在“：[110]，”推断“：[111]，”时间“：[112174]，”仅“：[113]，”单一“：[115]，”路径“：[116]，”需要“：[117]，”是“：[119]，”执行“：[120]，”每一个“：[122194]，”输入“：[123]，”没有“：[124]，”该“：[125157165177]，”需求“：[126]，”任何“：[128]，”模型“：[129186]，”压缩。“：[130]，“我们”：[131]，“考虑”：[132]，“作为”：[135]，“第一”：[137]，“原型”：[138]，“朝向”：[139]，“新”：[141]，“范式”：[142]，“大规模”：[144]，“学习”：[145]，“一”：[146189]，“是”：[148]，“较少”：[149172]，“同步”：[150]，“模块化”。“：[153]，”实验“：[155]，”on“：[156]，”广泛“：[158]，”使用“：[159]，”C4“：[160]，”基准“：[161]，”show“：[162]，”that，“：[163]，”same“：[166]，”amount“：[167]，”steps“：[170]，”but“：[171]，”wall clock“：[173]，”exceed“：[176]，”performance“：[178]，”1“：[181]，”billion parameter“：[182]，”稠密“：[183]，“转换器”：[184]，“语言”：[185]，“选择”：[188]，“256”：[191]，“可能“：[192]，”路径“：[193]，”大小“：[197]，”150“：[199]，”百万“：[200]，”参数。“：[201]}，”cited_by_api_url“：”https://api.openalex.org/works？filter=cites:W4392971869“，”counts_by_year“：[]，”updated_date“：”2024-06-23T01:36:32.192631“，”created_date:“2024-03-20”}“