摘要：互联网在人们的生活还是社会中的构成起着十分重要的地位，信息的交互越来越频繁，无论是信息的产生者和接收者都面临不同的困境。作为信息的接收者，需要在海量的信息中，寻找对于自己产生价值的信息。作为信息的产生着，需要从海量的信息中针对不同的用户，个性化的产生对于用户有价值、有兴趣的信息，使得信息更精准的曝光，获取通过精准推荐带来的超额收益。因此推荐技术也因此而催生，并发展。

-本文介绍以动漫网站为基础的实时与离线推荐系统，通过推荐算法、存储框架、计算框架，存储中间件等多种角度，针对用户对电影对的动漫评分数据的分析与建模，其中包括三大部分，分别是基于统计的离线推荐、基于ALS模型的离线推荐、基于用户相似度的实时推荐三大模块，并且基于技术选型、缓存、jvm调优、大数据组件调优等方式对本推荐系统的性能方面进行优化。

关键词:Spark; Flink; 大数据; 推荐系统

目录

摘要

Abstract

1.需求分析-1

1.1功能需求分析 -1

1.1.1统计推荐模块-1

1.1.2离线推荐模块 -1

1.1.3实时推荐模块 -1

1.2性能需求分析-1

1.2.1存储方面-1

1.2.2计算方面 -1

1.1.1统计推荐模块-1

1.1.2离线推荐模块 -1

1.1.3实时推荐模块 -1

1.2性能需求分析-1

1.3数据源解析-2

1.1.3实时推荐模块 -2

1.2性能需求分析-2

1.3数据源解析-2

2.技术选型 -2

2.1存储介质选型-2

2.1.1离线数据存储 -3

2.1.2实时数据存储-3

2.2计算框架选型选型-3

2.2.1离线计算框架 -3

2.2.2实时计算框架-3

2.3消息中间件选型-4

2.4采集中间件选型 -4

3.系统架构与流程-4

3.1离线推荐架构与流程-4

3.2实时推荐架构与流程 -5

4.系统详细设计-5

4.1基于统计推荐部分设计-5

4.2基于隐语义模型的离线个性化推荐-6

4.3实时推荐设计-7

5.系统不足与优化-9

5.1系统不足 -9

5.2系统优化-9

5.2.1 JVM优化-9

5.2.2 Spark优化 -10

5.2.3 Flink优化-10

5.2.4资源配置优化-10

5.2.5存储优化 -10

参考文献-11

致谢-12