摘要：随着人工智能的发展,人们逐渐开始利用编程语言来实现对于自然语言的处理, 在现实生活中,这一发展也有着广阔的应用前景。但是,受制于编程语言的局限性,对于自然语言的处理也只是在较为简单的阶段。本文主要研究的是对英文词法的自然语言处理并将其结果在网页上展示。

基于NLTK技术的英文词法分析系统的主要功能是对英文词法的数据分析做一个具体的展示，通过对历年英语四、六级考试和研究生入学英语考试数据进行分析，主要实现单词检索功能，近十年单词频率分析功能，四、六级听力场景分析功能，英文拆解分析功能，研究生英语入学考试阅读理解分析功能，使数据分析结果更清晰明了的呈现给用户。本系统运行于Windows10的系统，所使用的开发工具是PyCharm2018.3.5，将SQLServer2008作为后台数据库，采用的编程语言为Python、HTML5、CSS3以及JavaScript，该系统的数据来源真实可靠，功能较为实用，安全性较高。

经过测试，本系统可以实现对数据的准确分析，并以可视化图表在网页上展示，具有结构简单，可操作性强，实用性高等特点，充分考虑了大学生对英文学习的需要，完全满足使用者的要求。

关键词：Python自然语言处理；NLTK技术；PyCharm；MySQL

目录

摘要

ABSTRACT

第1章 前言- 1 -

1.1研究背景- 1 -

1.2国内外研究现状- 1 -

1.3研究目的和意义- 2 -

1.3.1研究目的- 2 -

1.3.2研究意义- 2 -

1.4全文组织结构- 3 -

第2章 系统开发环境与关键技术- 4 -

2.1系统环境简介- 4 -

2.1.1系统运行环境- 4 -

2.1.2系统开发语言- 4 -

2.2系统开发技术- 4 -

2.3系统开发工具- 4 -

第3章 系统分析- 6 -

3.1需求分析- 6 -

3.1.1系统概述- 6 -

3.1.2功能需求- 6 -

3.2系统性能分析- 7 -

3.3系统可行性分析- 7 -

3.3.1技术可行性- 7 -

3.3.2经济可行性- 8 -

3.3.3操作可行性- 8 -

第4章 系统概要设计- 9 -

4.1总体设计- 9 -

4.2模块设计- 9 -

4.2.1单词检索模块设计- 9 -

4.2.2近十年的单词频率维度模块设计- 9 -

4.2.3四、六级听力场景分析模块设计- 9 -

4.2.4英文拆解分析模块设计- 9 -

4.2.5研究生英语入学考试阅读理解真题分析模块设计- 9 -

4.3数据库设计- 9 -

第5章 数据分析算法与实现- 11 -

5.1词性标注及命名体识别- 11 -

5.1.1词性标注- 11 -

5.1.2标注语料库- 11 -

5.1.3涉及n-gram的统计建模- 12 -

5.2模型训练和预测- 12 -

5.2.1贝叶斯分类器模型- 12 -

5.2.2使用模型做预测- 13 -

第6章 系统详细设计与实现- 15 -

6.1系统实现- 15 -

6.1.1系统结构实现- 15 -

6.1.2用户模块实现- 15 -

6.2数据库实现- 15 -

6.3数据分析结果可视化实现- 17 -

6.3.1对数据文本进行分析- 17 -

6.3.2将数据分析结果进行可视化- 18 -

6.4各模块功能实现- 20 -

6.4.1单词检索模块设计- 20 -

6.4.2近十年的单词频率维度模块设计- 21 -

6.4.3四、六级听力场景分析模块设计- 23 -

6.4.4英文拆解分析模块设计- 24 -

6.4.5研究生英语入学考试阅读理解真题分析模块设计- 24 -

第7章 英文词法分析系统测试- 26 -

7.1测试环境- 26 -

7.2测试方法- 26 -

7.3功能测试- 26 -

7.3.1单元测试- 26 -

7.3.2集成测试- 30 -

第8章 总结与展望- 33 -

8.1 总结- 33 -

8.2 展望- 33 -

参 考 文 献- 34 -

致  谢- 35 -