模拟退火算法超参数,模拟退火算法

pe (16) 2024-02-24 15:57:54

模拟退火算&#xe641是一种通用的概率演算法,用于在大的搜寻空间内寻找命题的最优解。该算法最早由Stanley K. Kirkpatrick&#xe641、C. D. Gelatt&#xe641和M. P. Vecchi&#xe641在1983年发明,后来V. Černý&#xe641也在1985年独立发明了这种方法。

模拟退火算法的思想借鉴于固体的退火过程。当固体的温度很高时,内能比较大,固体内的粒子处于快速无序运动状态。当温度慢慢降低,固体的内能减小,粒子逐渐趋于有序,最终固体处于常温状态,内能达到最小,此时粒子最为稳定。

模拟退火算法的流程可以分解为以下三个部分:

  1. 初始化:初始温度T(充分大),初始解状态S(是算法迭代的起点),每个T值的迭代次数L。
  2. 迭代搜索:对k=1,……,L做第3至第6步。
    • 产生新解S′。
    • 计算增量Δt′=C(S′)-C(S),其中C(S)为评价函数。
    • 若Δt′<0则接受S′作为新的当前解,否则以概率exp(-Δt′/T)接手S′作为新的当前解。
    • 如果满足终止条件则输出当前解作为最优解,结束程序。终止条件通常取为连续若干个新解都没有被接受时终止算法。

  1. 温度更新:在每一次迭代后,根据一定的更新策略降低温度。常见的策略有线性降温和指数降温。

模拟退火算法具有概率的全局优化性能,理论上具有全局收敛性、隐含并行性及广泛的适应性。它适用于求解不同的非线性问题,对不可微甚至不连续的函数优化,能以较大概率求得全局最优解。此外,模拟退火算法还具有较强的鲁棒性,能够处理不同类型的优化设计变量,如离散的、连续的和混合型的。

THE END