通过二次结构“固定”任务改进变压器二次结构预测

Juneki Hong、Dezhong Deng、David A.Hendrix
计算生物学会议第18届机器学习会议记录，PMLR 240:267-2782024年。

摘要

RNA的结构可以决定其功能，RNA二级结构预测的改进有助于理解RNA的功能。RNA序列中的核苷酸以上下文特定的优先行为形成碱基对相互作用，以帮助确定二级结构。结构预测算法已被开发用于预测二级结构，包括动态规划和机器学习方法。用深度学习预测二级结构的主要挑战之一是，这些结构不擅长括号结构预测。为了克服这一挑战，我们提出了一种用于预测二级结构的深度学习方法，该方法使用输入预测结构为结构预测提供支架。我们发现，使用LSTM和基于自关注的变压器层的架构在预测碱基对时预测了一个强大的基线（F1=53.73），但当提供来自动态规划方法的预测作为输入时，该架构显著改善（F1=59.52）。模型解释表明，对于特定的配对区域或应该配对的区域，网络不同层的注意模式得到了丰富。对这种神经网络模型的分析可以揭示可能遗漏的交互作用，以及其他位置对输出固定位置的贡献最大。

引用本文

BibTeX公司
@会议记录{pmlr-v240-hong24a，title={使用二级结构“修复”任务改进变压器二级结构预测}，author={Hong、Juneki和Deng、Dezhong和Hendrix、David A.}，booktitle={第18届计算生物学机器学习会议论文集}，页数={267--278}，年份={2024}，editor={Knowles，David A.和Mostafavi，Sara}，体积={240}，series={机器学习研究论文集}，月={11月30日-12月1日}，publisher={PMLR}，pdf={https://proceedings.mlr.press/v240/hong24a/hong24a.pdf}，url={https://proceedings.mlr.press/v240/hong24a.html}，RNA的结构可以决定其功能，而RNA二级结构预测的改进有助于理解RNA的功能。RNA序列中的核苷酸以上下文特定的优先行为形成碱基对相互作用，以帮助确定二级结构。结构预测算法已被开发用于预测二级结构，包括动态规划和机器学习方法。用深度学习预测二级结构的主要挑战之一是，这些结构不擅长括号结构预测。为了克服这一挑战，我们提出了一种用于预测二级结构的深度学习方法，该方法使用输入预测结构为结构预测提供支架。我们发现，使用LSTM和基于自关注的变压器层的架构在预测碱基对时预测了一个强大的基线（F1=53.73），但当提供来自动态规划方法的预测作为输入时，该架构显著改善（F1=59.52）。模型解释表明，对于特定的配对区域或应该配对的区域，网络不同层的注意模式得到了丰富。对这样的神经网络模型的分析可以揭示可能错过的相互作用，以及哪些其他位置对输出固定位置的贡献最大}
尾注
%0会议论文%用二次结构“固定”任务改进变压器二次结构预测%A Juneki Hong先生%阿德仲登%大卫·A·亨德里克斯%计算生物学会议第18届机器学习论文集%C机器学习研究进展%2024年%E大卫·A·诺尔斯%E萨拉·穆斯塔法维%F pmlr-v240孔24a%我PMLR%电话267--278%U型https://proceedings.mlr.press/v240/hong24a.html%240伏%X RNA的结构可以决定其功能，RNA二级结构预测的改进有助于理解RNA的功能。RNA序列中的核苷酸以上下文特定的优先行为形成碱基对相互作用，以帮助确定二级结构。已经开发了结构预测算法来预测二级结构，包括动态规划和机器学习方法。用深度学习预测二级结构的主要挑战之一是，这些结构不擅长括号结构预测。为了克服这一挑战，我们提出了一种用于预测二级结构的深度学习方法，该方法使用输入预测结构为结构预测提供支架。我们发现，使用LSTM和基于自关注的变压器层的架构在预测碱基对时预测了一个强大的基线（F1=53.73），但当提供来自动态规划方法的预测作为输入时，该架构显著改善（F1=59.52）。模型解释表明，对于特定的配对区域或应该配对的区域，网络不同层的注意模式得到了丰富。对这种神经网络模型的分析可以揭示可能遗漏的交互作用，以及其他位置对输出固定位置的贡献最大。
阿帕
Hong，J.、Deng，D.和Hendrix，D.A.（2024年）。利用二次结构“修复”任务改进变压器二次结构预测。计算生物学会议第18届机器学习会议记录，英寸机器学习研究进展240:267-278可从https://proceedings.mlr.press/v240/hong24a.html。

相关材料