张量图超优化的等式饱和

的一部分机器学习与系统3（MLSys 2021）

作者

Yichen Yang、Phitchaya Phothilimthana、Yisu Wang、Max Willsey、Sudip Roy、Jacques Pienaar

摘要

深度学习框架中使用的主要优化之一是图重写。生产框架依靠启发式来决定是否应用重写规则以及以何种顺序应用。先前的研究表明，如果我们搜索更佳的替换序列，而不是依赖于启发式，那么可以发现更多的最优张量计算图。然而，我们观察到，在生产和研究框架中，张量图超优化的现有方法都以顺序的方式应用替换。这种顺序搜索方法对替换的应用顺序很敏感，通常只搜索等价图的指数空间的一小部分。本文提出了一种新的张量图超优化技术，该技术利用等式饱和一次性应用所有可能的替换。我们表明，我们的方法可以找到优化的图形，与最新技术相比，其速度提高了16%，而平均优化时间减少了48倍。