{“id”：“https://openalex.org/W4387210426“，”doi“：”https://doi.org/10.44850/arxiv.239.16039“，”title“：”基础模型的有效长上下文缩放“，”display_name“：”有效长上下文扩展“，”publication_year“：2023，”publiation_date“：”2023-01-01“，”ids“：{”openalex“：”https://openalex.org/W4387210426“，”doi“：”https://doi.org/10.48550/arxiv.2309.16039“}，”language“：”en“，”primary_location“：{”is_oa“：true，”landing_page_url“：”https://arxiv.org/abs/2309.16039“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is.in_doaj“：false，”is_core“：fase，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：“cc-by”，“licence_id”：“https://openalex.org/licenses/cc-by“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false｝，”type“：”预印本“，”type_crossref“：”发布的内容“，”indexed_in“：[”arxiv“，”datacite“]，”open_access“：｛”is_oa“：true，”oa_status“：”green“，”oa_url“：”https://arxiv.org/abs/2309.16039“，”any_repository_has_fulltext“：true}，”authorships“：[{”author_position“：”第一“，”作者“：{”id“：”https://openalex.org/A5024732013“，”display_name“：”文翰熊“，”兽人“：”https://orcid.org/0000-0002-5228-3407“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”熊，文翰“，”raw _ afiliation_strings“：[]，“附属关系”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5066292657“，”display_name“：”刘靖宇“，”兽人“：”https://orcid.org/0000-0002-1724-7523“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”刘，靖宇“，”raw_affiliation_strings“：[]，“affiliations”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5041560478“，”display_name“：”Igor Molybog“，”orcid“：”https://orcid.org/0000-0001-7251-3532“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”Molybog，Igor“，”raw_affiliation_strings“：[]，“从属关系”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5047725424“，”display_name“：”Hejia Zhang“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Zhang，Hejia“，”raw _affiliation_strings“：]，”affiliations“：【】}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5028858668“，”display_name“：”Prajjwal Bhargava“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“，”Bhargaga，Prajwal“，”raw _affiliation_strings“：]，”afliations“：【】}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5066234328“，”display_name“：”芮侯“，”兽人“：”https://orcid.org/0000-0002-1320-1894“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”侯，芮“，”raw关联字符串“：[]，“关联关系”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5057760823“，”display_name“：”Louis Martin“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Martin，Louis“，”raw _affiliation_strings“：]，”affiliations“：【】}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5035660188“，”display_name“：”Rashi Rungta“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Rungta，Rashi“，”raw _affiliation_strings“：]，”affiliations“：【】}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5056358363“，”display_name“：”Karthik Abinav Sankaraman“，”兽人“：”https://orcid.org/0000-0002-8569-5694“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”Sankaraman，Karthik Abinav“，”raw _ afiliation_strings“：[]，“从属关系”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5071728146“，”display_name“：”Barlas O\u011fuz“，”orcid“：null}“，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“，”Oguz，Barlas“，“raw_affiliation_strings”：[]“，”affiliations“：]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5054253075“，”display_name“：”Madian Khabsa“，”orcid“：null｝，”institutions“：[]，”countries“：[]，”is_correresponsing“：false，”raw_author_name“：”Khabsa，Madian“，”raw_affiation_strings“：[]，”affiliations“：[]｝，｛”author_position“：”middle“，”author“：｛”id“：”https://openalex.org/A5049734483“，”display_name“：”方寒“，”兽人“：”https://orcid.org/0000-0002-3052-9197“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”方，韩“，”raw_affiliation_strings“：[]，“隶属关系”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5067997502“，”display_name“：”Yashar Mehdad“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Mehdad，Yashar“，”raw _affiliation_strings“：]，”affiliations“：【】}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5079540764“，”display_name“：”Sharan Narang“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Narang，Sharan“，”raw _affiliation_strings“：]，”affiliations“：[/]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5047144739“，”display_name“：”Khalid Malik“，”orcid“：”https://orcid.org/0000-0003-1172-076X“｝，”机构“：[]，”国家“：[]，”is_correresponsing“：false，”raw_author_name“：”Malik，Kshitiz“，”raw_affiation_strings“：[]，”附属“：[]｝，｛”author_position“：”middle“，”author“：｛”id“：”https://openalex.org/A5083185771“，”display_name“：”Angela Fan“，”orcid“：”https://orcid.org/0000-0002-2500-3019“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：Fan，Angela”，“raw_affiliation_strings”：[]，“affiliations”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5065321401“，”display_name“：”Shruti Bhosale“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“，”Bhosale，Shruti“，”raw _affiliation_strings“：]，”affiliations“：【】}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5016113002“，”display_name“：”Sergey Edunov“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Edunov，Sergey“，”raw _affiliation_strings“：]，”affiliations“：【】}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5004412943“，”display_name“：”Mike Lewis“，”orcid“：”https://orcid.org/0000-0003-0679-6612“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”Lewis，Mike“，”raw_affiliation_strings“：[]，“从属关系”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5049450075“，”display_name“：”Sinong Wang“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Wang，Sinong“，”raw _affiliation_strings“：]，”affiliations“：[/]}，{”author_position“：”last“，”author“：{”id“：”https://openalex.org/A5088243872“，”display_name“：”郝玛“，”兽人“：”https://orcid.org/0009-0001-4949-7623“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：Ma，Hao”，“raw_affiliation_strings”：[]，“affiliations”：[]}]，“countries_distiction_count”：0，“institutions_distic”：0 ulltext“：false，”cited_by_count“：0，”cited_by_percentile_year“：{“min”：0，“max”：77}，“biblio”：{卷：null，“问题”：nullhttps://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9997，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，”主题“：[{”id“：”https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9997，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T10181“，”display_name“：”统计机器翻译和自然语言处理“，”score“：0.9995，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T10201“，”display_name“：”语音识别技术“，”score“：0.9945，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}]，”关键词“：[{”id“：”https://openalex.org/keywords/language-modeling“，”display_name“：”语言建模“，”score“：0.521921}，{”id“：”https://openalex.org/keywords/syntax-based-translation-models网站“，”display_name“：”基于语法的翻译模型“，”score“：0.512777｝，｛”id“：”https://openalex.org/keywords/统计语言建模“，”display_name“：”统计语言建模“，”score“：0.511857}，{”id“：”https://openalex.org/keywords/topic-modeling网站“，”display_name“：”主题建模“，”score“：0.509493}，{”id“：”https://openalex.org/keywords/end-to-end-speech-recognition（https://openalex.org/关键词/端到端语音识别）“，”display_name“：”端到端语音识别“，”score“：0.500494}]，”concepts“：[{”id“：”https://openalex.org/C41008148，“wikidata”：https://www.wikidata.org/wiki/Q21198（网址：https://www.wikidata.org/wiki/Q21198）“，”display_name“：”计算机科学“，”level“：0，”score“：0.7979388}，{”id“：”https://openalex.org/C2779343474，“wikidata”：https://www.wikidata.org/wiki/Q3109175“，”display_name“：”上下文（考古学）“，”level“：2，”score“：0.7778964｝，｛”id“：”https://openalex.org/C79581498，“wikidata”：https://www.wikidata.org/wiki/Q1367530“，”display_name“：”Suite“，”level“：2，”score“：0.5169127}，{”id“：”https://openalex.org/C98045186，“wikidata”：https://www.wikidata.org/wiki/Q205663“，”display_name“：”Process（computing）“，”level“：2，”score“：0.5153677}，{”id“：”https://openalex.org/C26517878，“wikidata”：https://www.wikidata.org/wiki/Q228039“，”display_name“：”Key（lock）“，”level“：2，”score“：0.48264247}，{”id“：”https://openalex.org/C2781235140，“wikidata”：https://www.wikidata.org/wiki/Q275131“，”display_name“：”Scratch“，”level“：2，”score“：0.43038934}，{”id“：”https://openalex.org/C137293760，“wikidata”：https://www.wikidata.org/wiki/Q3621696“，”display_name“：”语言模型“，”level“：2，”score“：0.42371112}，{”id“：”https://openalex.org/C154945302，“wikidata”：https://www.wikidata.org/wiki/Q11660“，”display_name“：”人工智能“，”level“：1，”score“：0.38102165}，{”id“：”https://openalex.org/C119857082，“wikidata”：https://www.wikidata.org/wiki/Q2539“，”display_name“：”机器学习“，”level“：1，”score“：0.3657409}，{”id“：”https://openalex.org/C107457646，“wikidata”：https://www.wikidata.org/wiki/Q207434“，”display_name“：”Human\u2013计算机交互“，”level“：1，”score“：0.3556689}，{”id“：”https://openalex.org/C204321447，“wikidata”：https://www.wikidata.org/wiki/Q30642“，”display_name“：”自然语言处理“，”level“：1，”score“：0.3530321｝，｛”id“：”https://openalex.org/C199360897，“wikidata”：https://www.wikidata.org/wiki/Q9143“，”display_name“：”编程语言“，”level“：1，”score“：0.13221306}，{”id“：”https://openalex.org/C151730666，“wikidata”：https://www.wikidata.org/wiki/Q7205“，”display_name“：”古生物学“，”level“：1，”score“：0.0｝，｛”id“：”https://openalex.org/C38652104，“wikidata”：https://www.wikidata.org/wiki/Q3510521“，”display_name“：”计算机安全“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C166957645，“wikidata”：https://www.wikidata.org/wiki/Q23498“，”display_name“：”考古学“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C86803240，“wikidata”：https://www.wikidata.org/wiki/Q420“，”display_name“：”Biology“，”level“：0，”score“：0.0｝，｛”id“：”https://openalex.org/C95457728，“wikidata”：https://www.wikidata.org/wiki/Q309“，”display_name“：”History“，”level“：0，”score“：0.0}]，”mesh“：[]，”locations_count“：2，”location“：[{”is_oa“：true，”landing_page_url“：”https://arxiv.org/abs/2309.16039“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is.in_doaj“：false，”is_core“：fase，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：“cc-by”，“licence_id”：“https://openalex.org/licenses/cc-by“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false}，{”is_oa“：false，”landing_page_url“：”https://api.datacite.org/dois/10.48550/arxiv.2309.16039“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4393179698“，”display_name“：”DataCite API“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”is_core“：false，”host_organization“：”https://openalex.org/I4210145204“，”“host_organization_name”：“DataCite”，“host_organization_lineage”：[“https://openalex.org/I4210145204“]，”host_organization_lineage_names“：[”DataCite“]，“type”：“metadata”}，“license”：null，“licence_id”：null，“version”：null}]，“best_oa_location”：{“is_oa”：true，“landing_page_url”：“https://arxiv.org/abs/2309.16039“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is.in_doaj“：false，”is_core“：fase，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：“cc-by”，“licence_id”：“https://openalex.org/licenses/cc-by“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false}，”sustainable_development_goals“：[{”display_name“：”素质教育“，”score“：0.73，”id“：”https://metadata.un.org/sdg/4“}]，”grants“：[]，”datasets“：[]，”versions“：[】，”referenced_works_count“：0，”referrenced_works“：]，”related_work斯“：[”https://openalex.org/W322691623","https://openalex.org/W2770018148","https://openalex.org/W2509444723","https://openalex.org/W2494989134","https://openalex.org/W2475116013","https://openalex.org/W2385135707","https://openalex.org/W2358308169","https://openalex.org/W2140315382","https://openalex.org/W2059109728","https://openalex.org/W2004958254“]，”ngrams_url“：”https://api.openalex.org/works/W4387210426/ngrams（英文）“，”abstract_inverted_index“：{”We“：[0,41125139]，”present“：[1]，”a“：[2,34,53,82105]，”series“：[3,19]，”of“：[4,12,56107122144160]，”long-context“：[5,75108]，”LLM“：[6]，”that“：[7,87168189]，”support“：[8]，”effectived“：[9199]，”context“:[10,49191]，”windows“：[11]，”up“：[13]，”to“：[14181201]，“32768”：[15]，“代币。”：[16]，“我们的”：[17]，“型号”：[18]，“是“：[20,39]，“构建”：[21]，“通过”：[22]，“连续”：[23192]，“预训练”：[24150193202]，“来自”：[25203]，“拉马”：[26,78]，“2”：[27]，“有”：[28,81205]，“更长”：[29]，“训练”：[30158]，“序列”：[31]，“和”：[32,52,71131156185197]，“on”：[33,45,67,74104118]，“数据集”：[35176]，“where”：[36]，“long”：[37,92137171190206]，“texts”：[38172]，“升采样。“：[40]，”执行“：[42]，”广泛“：[43]，”评估“：[44]，”语言“：[46]，”建模“：[47]，”综合“：[48]，”探测“：[50]，”任务“：[51]，”宽“：[54]，”范围“：[55]，”研究“：[57,60]，”基准。“：[58]，“开”：[59]，“基准”，：[61]，“我们的”：[62123164]，“模型”：[63]，“实现”：[64]，“一致”：[65]，“改进”：[66,73]，“最多”：[68]，“常规”：[69]，“任务”：[70,76]，“重要”：[72]，“超过”：[77]，“2.”：[79]，“值得注意的是”：[80]，“成本效益高”：[83]，“指令”：[84,93]，“调整”：[85]，“程序”：[86]，“does”：[88]，“not”：[89178]，“require”：[90]，“人工注释“：[91]，”数据“：[94]，”the“：[95119142149153157174179]，”70B“：[96]，”variant“：[97]，”can“：[98]，”already“：[99]，”excepter“：[100]，”gpt-3.5-turbo-16k's“：[101]，”overall“：[102]，”performance“：[103]，”suite“：[106]，”tasks。“：[109]，”Alonside“：[110]，”these“：[111]，”results“：[112]，”we“：[111186]，”provide“：[114]，”an“：[115]，”dependent“：[116]，”analysis“：[117]，”individual“：[120]，”components“：[121]，”method“。“：[124]，“深入”：[126]，“进入”：[127]，“拉玛的”：[128]，“位置”：[129]，“编码”：[130]，“讨论”：[132]，“其”：[133]，“限制”：[134]，“in”：[135148173]，“建模”：[136]，“依赖关系”。“：[138]，”也“：[140]，”检查“：[141]，”影响“：[143]，”各种“：[145]，”设计“：[146]，”选择“：[147]，”过程“：[151]，”包括“：[152]，”数据“：[154]，”混合“：[155]，”课程“：[159]，”顺序“：[161]，”长度“：[162]，”--“：[163]，”消融“：[165]，”实验“：[166]，”建议“：[167]，”有“：[169]，“丰富”：[170]，“预处理”：[175]，“是”：[177194]，“关键”：[180]，“实现”：[182]，“强大”：[183]，“性能”，：[184]，“经验”：[187]，“验证”：[188]，“更多”：[195]，“效率”：[196]，“类似”：[198]，“比较”：[200]，“抓取”：[204]，“序列。”：[207]}，“引用_by_api_url”：“https://api.openalex.org/works？filter=cites:W4387210426“，”counts_by_year“：[]，”updated_date“：”2024-06-25T19:31:27.955129“，”created_date:“2023-10-01”}“