在1991年至2015年期间，混合整数优化（MIO）算法的进步，加上硬件的改进，使得解决MIO问题的速度惊人地提高了4500亿倍。我们提出了一种MIO方法，用于解决在给定$n$个观测值的线性回归中从$p$个特征中选择$k$个特征的经典最佳子集选择问题。我们开发了现代一阶连续优化方法的离散扩展，以找到高质量的可行解，并将其用作MIO求解器的温热启动，从而找到可证明的最优解。所得算法（a）提供了一个保证其次优性的解，即使我们提前终止了算法，（b）可以适应线性回归系数的边约束，（c）扩展到寻找最小绝对偏差损失函数的最佳子集解。使用各种合成和实际数据集，我们证明了我们的方法在几分钟内解决了1000年代$n$和100年代$p$的问题，从而证明了最佳性，并发现近的100年代的$n$和1000年代的$p$的最佳解决方案只需几分钟。我们还通过数值实验证明，在获得具有良好预测能力的稀疏解方面，MIO方法的性能优于Lasso和其他常用的稀疏学习程序。