统计>机器学习
标题: 与Fitzpatrick Losses一起学习
摘要: Fenchel-Young损失是一系列凸损失函数,包括平方损失、逻辑损失和稀疏损失等。 每个Fenchel-Young损失都隐含着一个链接函数,用于将模型输出映射到预测。 例如,后勤损失与软argmax链路功能相关。 我们能否建立与Fenchel-Young损失相同的链接函数相关的新损失函数? 本文在Fitzpatrick函数的基础上,引入了一类新的凸损失函数Fitzpatrick损失。 Fitzpatrick函数是最大单调算子理论中一个著名的理论工具,它自然地导致了一个精细的Fenchel-Young不等式,使Fitzpatrick损失比Fenchel-Young损失更紧,同时保持相同的链接函数用于预测。 作为一个例子,我们介绍了Fitzpatrick物流损失和Fitzpatrick稀疏损失,以及物流损失和稀疏损失的对应物。 这产生了两个与软argmax和稀疏argmax相关的新的更紧密的损失,这两个输出层是机器学习中使用的最普遍的两个层。 我们详细研究了Fitzpatrick损失的性质,特别是,我们表明,可以使用修改的目标相关生成函数将其视为Fenchel-Young损失。 我们证明了Fitzpatrick损失对标签比例估计的有效性。