跳到内容
/ T形台 公共

本项目研究语言模型和任务自适应方法的性能和鲁棒性。

许可证

通知 您必须登录才能更改通知设置

阿勒奈/T台

存储库文件导航

猫道

猫道展示模特儿。

猫道包含许多模型和许多任务。目标是能够在所有任务上运行所有模型。实践中,有些组合是不可能的,但很多组合是可行的。

这是我们目前已实施的任务列表。此列表没有显示任务的“元”和“p3”类别,因为它们是主要是其他任务的变体。
维基文本皮卡小队班转移-reddit团队转移-亚马逊换班-纽约班次-新威基mrqa::种族mrqa::newsqamrqa::琐事mrqa::searchqamrqa::火锅mrqa::自然问题mrqa::bioasqmrqa::dropmrqa::关系提取mrqa::textbookqamrqa::duorc.parapraserc第2组rte公司强力胶::rte可乐mnli公司mnli_匹配错误mrpc公司qnli公司qqp(质量保证计划)海温wnli公司布尔克哥伦比亚广播公司美国律师协会eai::多任务世界银行无线传感器网络兰巴达λ_粘土λ_mt_enλ_mt_frλ_mt_deλ_mt_itλ_米_秒前列腺素麦克塔科pubmedqa(公共马车)科学情报机构2011年第4季度qa4mre-2012年2013年第4季度琐事电弧_轻松弧形挑战逻辑卡hellaswag(希腊语)openbookqaeai::种族标题(_E)标题(_E)马特卡网络qswsc273型温诺格兰德anli_r1anli_r2anli_r3伦理伦理本体论伦理正义伦理·功利主义·原创伦理功利主义伦理道德真相(_gen)相互的互惠互利数学代数math_counting_and_prob数学几何math_中间代数math_num_理论math预代数math预制马赫·阿斯迪夫算术2da算术2ds算术3da算术_3ds算术_4da算术_4ds算术5da算术5ds算术2dm算术_1dc变形1变形2循环_字母随机插入反义词raft::adecorpusv2raft::banking_77raft::neurips_impact_statement_risksraft::one_stop_english筏::覆土raft::半导体org_typesraft::systemic_review_inclusionraft::tai_safety_research筏::terms_of_serviceraft::tweet_eval_hateraft::推特投诉

安装

猫道需要Python 3.9或更高版本。

不幸的是,Catwalk无法从pypi安装,因为它依赖于未上传到的其他包皮皮。

从源安装:

git克隆https://github.com/allenai/catwalk.git光盘T形台pip安装-e.

入门

让我们在PIQA上运行GPT2:

python-m走秀--模型rc::gpt2--任务piqa

这将加载GPT2并使用它以“分级分类”方法执行PIQA任务。

您可以一次指定多个任务:

python-m走秀--模型rc::gpt2--任务piqa arc_easy

它将为您打印一个漂亮的表,其中包含所有任务和每个任务的指标:

根据0.22440272569656372,电弧挑战电弧简易符合0.3998316526412964piqa符合0.6256800889968872

培训/微调

猫道可以训练模特。它可以针对单个任务或一次针对多个任务训练模型。要进行训练,请使用以下命令行:

python-m catwalk.train--型号rc::gpt2--任务piqa

如果要创建多任务模型,可以同时进行多任务训练:

python-m catwalk.train--型号rc::gpt2--任务piqa arc_easy

请注意,并非所有型号都支持培训。如果你想训练一个人却不能,那么创建一个问题并在中标记@dirkgr它。

探戈集成

猫道使用探戈用于缓存和执行计算。命令行接口内部构建Tango步骤图并执行它。您可以将命令行指向Tango要缓存结果的工作区:

python-m走猫步--模型rc::gpt2--任务piqa arc_easy-w/我的工作空间/

第二次运行其中一个任务时,速度会很快:

时间python-m走秀--模型rc::gpt2--任务piqa-w/我的工作空间/
根据0.39941078424453735,电弧容易piqa符合0.626224160194397________________________________________________________在9.82秒内执行外部打捞usr时间6.51秒208.00微秒6.51秒系统时间1.25秒807.00微秒1.25秒

探戈工作区也保存部分结果,所以如果你中途中断评估,你的进度是保存的。

团队

ai2-猫道由AllenNLP团队开发和维护,由艾伦人工智能研究所(AI2).AI2是一家非盈利机构,其使命是通过高影响力的AI研究和工程为人类做出贡献。要了解有关谁对此代码库做出了具体贡献的更多信息,请参阅我们的贡献者第页。

许可证

ai2-猫道根据阿帕奇2.0.可以找到许可证的完整副本在GitHub上.

关于

本项目研究语言模型和任务自适应方法的性能和鲁棒性。

资源

许可证

星星

观察者

叉子

包装

未发布包

语言文字