计算机科学>计算与语言
标题: 基于单词和句子水平的稀疏注意的临床笔记死亡率预测模型
摘要: 重症监护病房内死亡率预测具有多种临床应用。 神经预测模型,特别是在利用临床笔记时,被提出作为对现有模型的改进。 然而,为了被接受,这些模型应该是高性能和透明的。 本研究从识别和校准的角度研究临床神经预测模型的不同注意机制。 具体来说,我们研究了在根据临床笔记进行院内死亡率预测的任务中,稀疏注意力作为密集注意力权重的替代方法。 我们评估注意机制的基础是:i)句子中单词的局部自我注意,以及ii)跨句子的变压器结构的全局自我注意。 我们证明了稀疏机制方法在公共数据集的预测性能方面优于稠密机制方法,并对预先指定的相关指示词给予了更高的关注。 然而,随着句子(包括有影响力的指示词)倾向于全部删除,句子层面的表现也会恶化。