TMLR评审指南

本文档为审阅者提供了指导。阅读本节之前，请务必阅读并熟悉编辑政策，的道德准则、和行为准则.

审查职责

作为评审员，您需要承担以下职责。

双盲板。TMLR审查过程是双盲的。提交文件作者的身份将对审阅者保密，反之亦然。你不应该采取任何违反这种双盲状态的行动。这包括不主动寻找您正在审阅的提交文件的作者身份（例如，通过在线搜索相关演示文稿或arXiv上的预印本）。一般来说，我们建议您在对提交文件进行初步阅读后，对相关工作进行搜索。如果您意外发现作者的身份，并认为这可能会影响您的判断，那么请联系Action Editor（AE），以便他们可以决定是否应取消您的提交。

打开审阅。一旦提交了所有评论以供提交，它们将公开可见（但匿名）。作者对您的评论和后续讨论的回应也将立即可见。在你提出的讨论问题得到充分探讨之前，你应该积极与作者接触。在此过程中，您应该尊重并遵守我们的行为准则。

年度配额。在收到提交的文件后，将按滚动方式分配审查。TMLR每年不会为您分配超过六篇评论（除非您选择评论其他论文）。另一方面，您应接受所有在您的专业知识和配额范围内提交的审查请求。可接受的例外情况是：1）如果您有另一份TMLR提交的未提交审核，或2）特殊个人情况（例如假期、健康问题）使您无法充分履行审核职责。

审查截止日期。TMLR致力于快速周转的审查过程。因此，审核必须在AE指定的2周内提交。只有提交的主要内容超过12页时才能例外。随后与作者的讨论可能会有不同的长度，由AE决定他们准备提交决策的时间点。在所有评审员提交评审意见并与作者开始讨论两周后（不迟于1个月），每个评审员将被允许向AE提交最终决策建议。

利益冲突。您有责任确保您的关系和教育/职业历史信息在您的OpenReview档案中是最新的，以便我们能够正确执行利益冲突政策。我们认为在过去三年内与您合作的任何个人或机构存在冲突。在被指定提交后，如果您怀疑或相信自己与任何作者存在利益冲突，请咨询AE以了解下一步的内容。

提交验收标准

这个编辑政策页面提供了TMLR的验收标准的简要描述，我们在这里进一步扩展。

接受向TMLR提交的申请应基于对以下两个问题的肯定回答。

提交文件中的主张是否有准确、令人信服和明确的证据支持？

这是最重要的标准。这意味着评估技术的可靠性以及陈述和论据的清晰性。

提交人应解决索赔与证据之间的任何差距。通常，这将引导审查人员要求作者通过运行更多实验来提供更多证据。然而，这并不是解决这些问题的唯一途径。另一种方法是让作者调整（减少）他们的主张。

TMLR受众中的一些人会对本文的发现感兴趣吗？

这可以说是最主观的标准，因此需要谨慎对待。通常，不确定提交文件是否满足此标准的审阅者应假定提交文件满足此标准。

至关重要的是，它应该不被用作拒绝不被视为“重要”或“有影响”的工作的理由，因为它在某些基准上没有达到新的最新水平。它也不应成为拒绝使用被认为“不够新颖”的方法的工作的基础，因为所研究方法的新颖性不是接受的必要标准。我们明确避免使用这些术语（“重要”、“有影响力”、“新颖”），而将重点放在“兴趣”的概念上。如果作者明确表示，该领域的一些研究人员可以从他们的工作中学习到一些东西，则认为满足了感兴趣的标准。相反，TMLR依赖于认证（如“特色”和“杰出”）来提供与重要性或潜在影响相关（更具推测性）断言的提交文件注释。

下面是一个如何使用上述标准的示例。重播已发表论文的实验的机器学习课堂报告对相关学生具有教育价值。但是，如果它没有提出可概括的见解，TMLR受众（甚至是其中的一部分）就不太可能感兴趣，因此可能会根据这个标准被拒绝。另一方面，一份适当的再现性报告可以满足这一标准，该报告系统地研究已发表方法的稳健性或通用性，并为受众提供可操作的经验教训。

审阅格式

审查应包含以下内容。

捐款摘要用评审员的话简要描述提交材料的贡献和新知识。

优势和弱点列出你认为需要作者注意的提交材料的优点和缺点（如果有的话）。

请求的更改对提交文件提出的调整清单，具体说明这些调整对确保您的建议被接受是否至关重要，或者仅仅会加强您认为的工作。

更广泛的影响担忧简要描述需要添加更广泛的影响声明（如果没有）或在更广泛的影响力声明部分（如果有）中没有充分解决的对工作道德影响的任何担忧。

提交审核后与作者讨论的关键时期开始了。你应该回应作者的澄清请求，承认他们对提交内容所做的更改，并在你愿意建议接受时尽快向他们发出信号，从而与作者进行接触。

官方推荐

一次所有评论都提交了，两周过去了, 审核人员将能够提交他们的官方的向AE提出的建议具体来说，他们将被要求提供以下信息。

决策建议（接受、学会接受、学会拒绝或拒绝）根据您的初步评估以及与作者的讨论，您是否建议接受提交的内容。

认证建议所获证书旨在强调特别值得注意的已接受提交。值得注意的是，正是通过认证，我们才能对已接受的提交文件的重要性和潜在影响做出更具推测性/编辑性的判断。认证选择是AE的责任，但要求您提交建议。