摘要：最速下降算法是求解无约束最优化问题的一种基本方法，在许多方面应用广泛，例如科学、工程、经济和工业中等。这种方法不但计算简单容易操作而且存储量少，对初始点无要求。但是在求解问题过程中，存在着很多问题，在进行算法迭代的时候，进而呈现了锯齿现象，在越临近极小点其收敛变得缓慢，下降速度变小。为了解决这一现象，本文主要对最速下降算法的改进算法进行研究，如构造一个二维优化问题，确定两个方向的步长，代入迭代公式可以求解，或者对下降算法的方向进行改变，或者进行了多次迭代后在某一个迭代点的时候改变算法，使其函数值变小等等。对最速下降算法的改进形式作出收敛性证明，并举出实际例子证明有效性。

关键词：最速下降算法；多维空间搜索；锯齿现象；收敛性

目录

摘要

Abstract

1. 绪论-1

1.1. 研究的背景和意义-1

1.2. 预期效果-1

2. 预备知识-2

2.1. 无约束最优化问题-2

2.2. 最速下降算法-2

2.2.1. 最速下降算法的基本思想-2

2.2.2. 最速下降算法的基本算法步骤-3

3. 锯齿现象的成因分析-3

4. 最速下降算法的改进-5

4.1. 二维组合搜索法-5

4.1.1. 基本原理-6

4.1.2. 基本步骤-6

4.2. Newton法-8-

4.2.1. Newton法的基本原理-8

4.2.2. 算法具体步骤-9

4.3. Powell方向加速法-9

4.3.1. 算法基本原理-10

4.3.2. 算法具体步骤-10

4.3.3. 算法收敛性证明-11

4.3.4. 算例证明-12

5. 结束语-15

参考文献-16