全局优化

全局优化的目标是在（可能或已知）存在多个局部最优解的情况下，找到（可能非线性）模型的全局最优解。形式上，全局优化寻求约束优化模型的全局解。非线性模型在许多应用中普遍存在，例如在高级工程设计、生物技术、数据分析、环境管理、财务规划、过程控制、风险管理、科学建模等领域。他们的解决方案通常需要全局搜索方法。

一些应用示例包括声学设备设计、癌症治疗规划、化学过程建模、数据分析、分类和可视化、经济和财务预测、环境风险评估和管理、工业产品设计、激光设备设计、模型拟合数据（校准）、，数值数学中的优化，“封闭”（机密）工程或其他系统的优化操作，包装和其他物体排列问题，投资组合管理，计算物理和化学中的势能模型，过程控制，机器人设计和操作，非线性方程和不等式系统，和废水处理系统管理。

为了制定全局优化问题，假设目标函数 和约束条件是连续函数，组件范围和与决策变量向量相关是有限的，可行集非空。这些假设保证了全局优化模型的姿势很好，因为极值定理，全局优化模型的解集是非空的。

例如，考虑-与求解方程组有关的范数误差函数

由于我们希望找到全局最小错误，而不仅仅是“局部最小”错误，因此我们需要在二维方框区域中进行全局搜索（请参见图片的基础区域）。有许多非线性优化问题具有相似的多模态结构。

如果我们使用传统的局部范围搜索方法来解决这个问题，那么根据搜索的起点，我们通常会找到不同质量的局部最优解决方案（请参阅上图中的“山谷”，它很容易陷阱本地搜索方法）。为了找到全局最优解，需要进行全局范围搜索。

下面列出了几个最重要的全局优化策略，以及简短的附加注释和参考文献。大多数全局优化软件实现都基于其中一种方法，可能会结合多个策略的思想。

具体方法包括：

1.朴素方法：这些方法包括最著名的被动（同时）或直接（非完全自适应）顺序全局优化策略，如均匀网格、空间覆盖和纯随机搜索。请注意，这些方法在温和假设下是收敛的，但通常在高维问题中不实用（Horst and Pardalos 1995，Pintér 1996a，Zhigljavsky 1991）。

2.完整（枚举）搜索策略：这些策略基于对所有可能解决方案的详尽（通常是简化的）枚举。这些都适用于组合问题，以及某些“结构良好”的连续全局优化问题，如凹规划（Horst和Tuy，1996）。

3.同伦（参数延拓）、轨迹方法和相关方法：这些方法的“雄心勃勃”目标是访问目标函数的所有平稳点：这反过来又会导致列出所有（全局和局部）最优值。这种通用方法包括基于微分方程模型的路径允许搜索策略，以及定点方法和旋转算法（Diener 1995，Forster 1995）。

4.逐次逼近（松弛）方法：在这种方法中，初始优化问题被一系列更容易解决的松弛子问题取代。通过切割平面和更一般的切割、不同的次函数构造、嵌套优化和分解策略等，逐次细化子问题以近似原始问题。这些方法适用于各种结构的全局优化问题，如凹最小化和微分凸问题（Horst和Tuy，1996）。

5分支定界算法：已经提出了多种自适应分区策略来解决全局优化问题模型。这些是基于分区、采样以及随后的上下边界过程：这些操作以迭代方式应用于可行集内的活动（“候选”）子集。其详尽的搜索功能在类似精神到类似整数线性规划方法。分支和绑定包含许多特定的方法，并允许各种实现。分行而绑定方法通常依赖于有关问题。这些信息可能与每个功能的速度有关变化（例如，对合适的“整体”利普希茨常数的了解每个功能和);或分析公式的可用性和保证的所有平滑度函数（例如，在基于区间算术的方法中）。总分行定界方法适用于广泛的全局优化问题，例如，在组合优化、凹极小化、反凸规划中，DC编程和Lipschitz优化（Neumaier 1990，Hansen 1992，RatschekRokne 1995，Kearfott 1996，Horst and Tuy 1996，Pintér 1996a）。

6.贝叶斯搜索（分区）算法：这些方法基于假设的统计信息，以实现对函数类的事先随机描述建模。在优化过程中，问题-实例特征是自适应的估计和更新。注意，通常，只有相应的一维模型开发准确；此外，在大多数实际情况下“近视”近似决策控制搜索过程。此通用方法适用也适用于（仅仅）连续的全局优化问题。理论上，收敛只有通过生成处处稠密的搜索点集。使用统计方法的一个明显挑战是选择和验证“适当”的统计模型应用它们的问题的类别。此外，这似乎很难实现这些算法的严格、计算高效的版本高维优化问题。然而，请注意，如果有人“跳过”潜在的贝叶斯范式，那么这些方法也可以从实用角度来看待作为自适应分区算法，因此，它们可以直接扩展到更高维度（Pintér 1996a）。有关贝叶斯方法的详细说明，参见Mockus（1989）、Törn和Zilinskas（1989）以及Mockus等。(1996).

7.自适应随机搜索算法：这是另一类基于可行集中“穷尽”随机抽样的方法。在其基本形式中，它包括各种概率为1的收敛随机搜索策略。搜索策略调整、聚类和确定性解决方案优化选项、统计停止规则等也可以作为增强功能添加。该方法适用于非常温和条件下的离散和连续全局优化问题（Boender和Romeijn 1995，Pintér 1996a，Zhigljavsky 1991）。

启发式策略包括：

1.局部搜索方法的“全球化”扩展：这些是部分启发式算法，但在实践中通常是成功的。基本要素想法是应用初步网格搜索或基于全局阶段的随机搜索，然后通过应用局部（凸规划）方法。例如，随机多部件从搜索域中随机选择的几个点执行本地搜索.注意，当具有复杂的形状，如定义的（Lipschitz-）连续非线性函数。通常，复杂的算法增强被添加到这一基本战略。例如，样本点的聚类试图选择每个采样的f“流域”中只有一个点，从中可以得到局部搜索方法已启动。（Törn和Zilinskas，1989年）。

2进化策略：这些方法启发式地“模仿”生物进化：即自然选择的过程以及“适者生存”原则。自适应搜索过程基于候选解点的“总体”使用。迭代次数包括放弃较差解决方案的竞争性选择。剩余的池“适应值”较高的候选人将被“重组”通过与其他解决方案交换组件；它们也可能是“变异的”通过对候选人进行一些小规模的改变。重组和突变按顺序应用移动；他们的目标是产生有偏见的新解决方案朝向的子集其中，虽然不一定是全局优化的好解决方案已经已找到。基于不同演变的这一总体战略的多种变体可以构建“游戏规则”。不同类型的进化搜索方法包括针对连续全局优化问题的方法，以及其他旨在解决组合问题的方法。后者这个群体通常被称为遗传算法（Goldberg 1989，Michalewicz 1996，Osman和Kelly 1996，Voss等。1999).

三。模拟退火：这些技术基于自然冷却晶体结构的物理类比试图达到某种稳定的（全局或局部最小势能）平衡。这一一般原则适用于离散和连续全局优化轻度结构要求下的问题（van Laarhoven和Aarts 1987，Osman和Kelly 1996，Aarts和Lenstra 1997）。

4禁忌搜索算法：在元神经分析的这一一般类别中，基本思想是“禁止”搜索移动到已经访问过的点在（通常是离散的）搜索空间中，至少在接下来的几个步骤中。那个就是说，人们可以暂时接受新的劣质解决方案，以避免已经存在的路径调查。这种方法可以探索D的新区域，目标是通过“全球化”搜索找到解决方案。禁忌搜索传统上已应用于组合优化（例如，调度、路由、旅行销售人员）问题。至少在原则上，该技术可以直接应用通过离散近似（编码）求解连续全局优化问题但也有可能进行其他扩展（Glover和Laguna，1996，Osman和Kelly 1996，Voss等。1999).

5.近似凸全局低估：这种启发性的策略试图估计（假设的）大规模“整体”凸性目标函数的特征基于中的定向采样.适用于平滑问题（Dill等。1997).

6.延拓方法：这些方法首先将势函数转换为具有较少局部极小值的更平滑（“简单”）函数，然后使用局部极小值过程将极小值追踪回原始函数。同样，此方法适用于平滑问题。有关理论背景，请参见Forster（1995）。

7.局部最优解的序贯改进：这些通常对自适应构造的辅助函数进行操作，以帮助搜索逐渐更好的最优解。一般的启发式原则包括隧道法、通缩法和填充函数法（Levy和Gomez 1985）。

Pintér（1996b）对连续全局优化软件进行了调查。目前，有一百多个全局优化软件。全球的优化是在沃尔夫拉姆语言作为N最小化和N最大化,也可以通过MathOptimizer专业版附加应用程序包。

有关更多主题信息，请参阅Bliek等。（2001），Pintér（2002），Fourer（2003）、Mittelmann和Spelucci（2004）以及Neumaier（2004）。