摘要：搜索引擎是一个在网络上搜索信息并将信息进行加工发送给有需求用户的程序。本文对网络搜索引擎的理论、框架和数据结构进行了深入的研究和分析，并自行制作了一个简单的网站爬虫软件，实现了从互联网上下载网站保存在本地方便搜索引擎用来检索用户所需要的信息这一功能。本文使用了Java语言完成了一个简单的搜索引擎，索引部分使用搜索引擎Lucene的Java库实现。最后，利用JSP（JavaServer Posies）技术实现了搜索引擎的简单用户界面。

关键词：搜索引擎  网络蜘蛛  JAVA  Lucene  JSP

目录

摘要

Abstract

1.绪论-1

1.1 开发背景及意义-1

1.2 课题分析-1

1.2.1国内研究现状及分析-1

1.2.2国外研究现状及分析-2

1.3 发展趋势-2

1.4 系统设计目标-2

1.5搜索引擎对社会的影响-2

2.关键技术-3

2.1 开发环境-3

2.2 相关开发语言及工具介绍-3

2.2.1 MyEclipse开发平台简介-3

2.2.2 JSP技术简介-3

2.2.3 Tomcat服务器简介-3

2.3 数据库技术-3

2.3.1 MySQL数据库简介-3

2.3.2 数据模型-4

3.搜索系统的结构-5

3.1 搜索引擎系统概述-5

3.2搜索引擎的构成-5

3.2.1 信息搜集-5

3.2.2网页信息的预处理-5

3.2.3 用户查询子系统-6

4.搜索引擎的设计-7

4.1网页的文档结构-7

4.2网页链接结构-7

4.3 网络爬虫的设计-8

4.4数据库的设计-9

4.5预处理子系统的设计-9

4.5.1提取网页中有用的信息-9

4.5.2对信息进行分词-9

4.5.3为分词建立索引库-10

4.6 查询子系统的设计-10

4.6.1用户搜索界面设计-10

4.6.2 服务端设计-10

5.搜索引擎的实现-11

5.1 信息搜集子系统的实现-11

5.1.1 数据库的实现-11

5.1.2 网络爬虫的实现-11

5.2 预处理子系统的实现-13

5.2.1网络信息的提取-13

5.2.2建立索引库-13

5.3 查询子系统的实现-15

5.3.1查询界面的实现-15

5.3.2服务器端接口的实现-17

结论-18

参考文献-19

致 谢-20