拟阵约束优化与回归的双边弱子模

贾斯汀·沃德·提奥菲尔·蒂里
第三十五届学习理论会议记录，PMLR 178:3605-36342022年。

摘要

我们研究了以下问题：给定一个感兴趣的变量，我们希望通过选择服从拟阵约束的k个相关变量的子集来找到它的最佳线性预测器。这个问题是子集选择问题的自然推广，其中需要在多个不同的类之间传播观测值。我们通过改进对剩余随机贪婪算法的分析，并通过开发一种新的扭曲局部搜索算法，为该问题提供了新的、增强的保证。为了量化我们的近似保证，我们改进了Das和Kempe（2011）对弱子模的定义，并引入了上子模比的概念，我们将其与协方差矩阵的最小k稀疏特征值联系起来，我们研究在拟阵约束下，最大化具有上下子模比$\gamma$和$\beta$的集合函数f的问题。对于这个问题，我们的算法具有渐近逼近保证1/2和（1-1/e），因为函数更接近子模。作为第二个应用，我们表明贝叶斯a优化设计目标属于我们的框架，这也为该问题提供了新的保证。

引用本文

BibTeX公司
@会议记录{pmlr-v178-thiery22a，title={拟阵约束优化与回归的双边弱子模}，author={Thiery，Theophile和Ward，Justin}，booktitle={第三十五届学习理论会议记录}，页码＝{3605-3634}，年份＝{2022}，editor={Loh，Po-Ling和Raginsky，Maxim}，体积={178}，series={机器学习研究论文集}，月={7月2日至5日}，publisher={PMLR}，pdf={https://proceedings.mlr.press/v178/thiery22a/thiery22a.pdf},url={https://proceedings.mlr.press/v178/thiery22a.html},抽象={我们研究以下问题：给定一个感兴趣的变量，我们希望通过选择服从拟阵约束的k个相关变量的子集来找到它的最佳线性预测器。这个问题是子集选择问题的自然推广，其中需要在多个不同的类之间传播观测值通过改进残差随机贪婪算法的分析和开发一种新的扭曲局部搜索算法，为这个问题提供了新的、加强的保证。为了量化我们的近似保证，我们改进了Das和Kempe（2011）对弱子模的定义，并引入了上子模比的概念，我们将其与协方差矩阵的最小k稀疏特征值联系起来，我们研究在拟阵约束下，最大化具有上下子模比$\gamma$和$\beta$的集合函数f的问题。对于这个问题，我们的算法具有渐近逼近保证1/2和（1-1/e），因为函数更接近子模。作为第二个应用，我们表明贝叶斯a最优设计目标属于我们的框架，这也为这个问题提供了新的保证。}}
尾注
%0会议论文%拟阵约束优化与回归的T双边弱子模%Theophile Thiery餐厅%贾斯汀病房%第三十五届学习理论会议论文集%C机器学习研究进展%D 2022年%E Po-Ling Loh公司%E马克西姆·拉金斯基%F pmlr-v178-等级22a%我PMLR%电话3605--3634%U型https://proceedings.mlr.press/v178/thiery22a.html%V 178型%X我们研究以下问题：给定一个感兴趣的变量，我们希望通过选择k个相关变量的子集来满足拟阵约束，从而找到它的最佳线性预测器。这个问题是子集选择问题的自然推广，其中需要在多个不同的类之间传播观测值。我们通过改进对剩余随机贪婪算法的分析，并通过开发一种新的扭曲局部搜索算法，为该问题提供了新的、增强的保证。为了量化我们的近似保证，我们改进了Das和Kempe（2011）对弱子模的定义，并引入了上子模比的概念，我们将其与协方差矩阵的最小k稀疏特征值联系起来，我们研究在拟阵约束下，最大化具有上下子模比$\gamma$和$\beta$的集合函数f的问题。对于这个问题，我们的算法具有渐近逼近保证1/2和（1-1/e），因为函数更接近子模。作为第二个应用，我们表明贝叶斯a优化设计目标属于我们的框架，这也为该问题提供了新的保证。
亚太地区
Thiery，T.&Ward，J.（2022）。拟阵约束优化与回归的双边弱子模。第三十五届学习理论会议记录，英寸机器学习研究进展178:3605-3634可从https://proceedings.mlr.press/v178/thiery22a.html。

相关材料