统计>计算
标题: 快速非线性向量分位数回归
摘要: 分位数回归(QR)是一种强大的工具,用于在给定解释特征$\boldsymbol{\mathrm{X}}$的情况下估计目标变量$\mathrm{Y}$的一个或多个条件分位数。 QR的一个局限性是,由于其目标函数的公式化,QR仅定义为标量目标变量,并且因为分位数的概念没有多元分布的标准定义。 最近,向量分位数回归(VQR)被提出作为向量值目标变量QR的扩展,这得益于通过最优传输将分位数概念推广到多元分布。 尽管VQR很优雅,但由于以下几个限制,它在实践中可能并不适用:(i)它假定目标$\boldsymbol{\mathrm{Y}}$的分位数为线性模型,并给定特征$\bolssymbol}\mathrm{X}$; (ii)即使对于目标维数、回归分位数水平数或特征数等中等规模的问题,其精确公式也很难处理,并且其放松的对偶公式可能会违反估计分位数的单调性; (iii)目前不存在VQR的快速或可扩展解算器。 在这项工作中,我们充分解决了这些局限性,即:(i)我们将VQR扩展到非线性情况,显示出相对于线性VQR的实质性改进; (ii)我们提出了{向量单调重排},这是一种确保VQR估计的分位数函数是单调函数的方法; (iii)我们为保持固定内存占用的线性和非线性VQR提供快速、GPU加速的解算器,并证明其可扩展到数百万个样本和数千个分位数水平; (iv)针对VQR在实际应用中的广泛使用,我们发布了我们的解算器的优化python包。