摘要：论文为探索适合手写数字识别的神经网络模型，首先构建了最简单的三层卷积神经网络，作为后续改进模型的比较基准，经过实验，其测试准确率有98.393%。接着根据手写数字识别的特点，构建了10层网络、16层网络的VGGNet、2个block的InceptionNet、3个block的ResNet，其中VGGNet10表现最佳，测试准确率达到99.067%。然后将其深度加深至16层，但实验效果并不理想。实验表明，手写数字识别只需采用相对简单、深度适合的网络模型进行训练即可获得较好的结果。

在参考相关文献的基础上，尝试对VGGNet10、InceptionNet2进行改进，经过实验，改进后的VGGNet7迭代5次时测试准确率有99.247%，是论文最优的模型。

 

关键词：卷积神经网络；手写数字识别；VGGNet7；模型比较及优化

 

目 录

摘 要

Abstract

1 引言-1

1.1 论文研究背景和意义-1

1.2 研究现状-1

1.2.1 手写数字识别-1

1.2.2 神经网络算法-1

1.2.3 深度学习框架与数据集-1

1.3 研究内容-2

2 神经网络的相关理论-3

2.1 BP神经网络-3

2.1.1 激活函数-3

2.1.2 损失函数及正则化-5

2.1.3 梯度下降法及参数优化器-6

2.2 卷积神经网络-7

2.2.1 卷积层-7

2.2.2 批标准化层和激活层-8

2.2.3 池化层与舍弃层-9

2.2.4 全连接层-9

3 手写数字识别-10

3.1 实验环境与数据集-10

3.1.1 实验环境-10

3.1.2 数据集-10

3.2 模型设计-10

3.2.1 数据预处理-11

3.2.2 网络结构-11

3.2.3 训练过程-12

3.3 实验结果-12

4 神经网络优化的相关理论-15

4.1 VGGNet-15

4.2 InceptionNet-15

4.3 ResNet-16

4.4 文献借鉴-17

5 手写数字识别的优化-18

5.1 VGGNet-18

5.1.1 模型设计-18

5.1.2 实验结果-21

5.1.3 深度加深-23

5.2 InceptionNet-27

5.2.1 模型设计-27

5.2.2 实验结果-31

5.3 ResNet-34

5.3.1 模型设计-34

5.3.2 实验结果-38

6 模型再优化-41

6.1 InceptionNet的优化尝试-41

6.2 VGGNet的优化尝试-46

7 总结-52

参考文献-53

致谢