摘要： 随着湖南电信ITV和宽带业务的飞跃发展以及电信用户大批量的增加，导致基于用户的整个端到端链路各个节点设备的数据非常庞大，利用传统的工具与技术难以在限定的时间内按照业务需求完成数据的分析和即时呈现展示，对于电信改善提高服务质量、发现用户链路问题、故障排查诊断等带来了不便。

  为了解决如上所述情况，使湖南电信ITV和宽带业务在服务、质量等方面得到更近一步的提升，基于湖南电信的健康档案大数据分析本人利用SPARK、HBASE等大数据相关技术着力于分析记录呈现湖南省所有电信用户整个端到端链路各个节点设备的半结构化和非结构化数据，对网络、业务问题与事件留下数据证据，并且以端到端链路的视角，呈现给运维专家、社区经理，为故障诊断、问题排查提供详尽的数据参考依据，以及智能分析判断建议。

关键词：电信；大数据；端到端

目录

摘要

Abstract

1 绪论-1

1.1 选题背景-1

1.2 选题意义-1

2 大数据集群搭建-2

2.1 Zookeeper集群安装-2

2.1.1 安装-2

2.1.2 配置zoo.cfg-2

2.1.3 配置节点ID标识-3

2.1.4 节点复制-3

2.1.5 修改节点ID标识-3

2.2 Hadoop集群搭建-3

2.2.1 关闭防火墙和 selinux-3

2.2.2 时钟同步-3

2.2.3 主机名配置-3

2.2.4 HOSTS 文件配置-4

2.2.5 配置SSH-4

2.2.6 环境变量配置与安装-5

2.2.7 配置 core-site.xml-6

2.2.8 配置hdfs-site.xml-7

2.2.9配置yarn-site.xml-9

2.2.10配置 mapred-site.xml-12

2.2.11配置 hadoop-env.sh-13

2.2.12配置 yarn-env.sh-13

2.2.13配置mapred-env.sh-13

2.2.14配置slaves文件-14

2.2.15 节点复制及配置修改-14

2.3 Hbase集群搭建-14

2.3.1 安装及配置 regionservers-14

2.3.2 配置备用HMater-14

2.3.3配置 hbase-site.xml-14

2.3.4 配置 hbase-env.sh-15

2.3.5 节点复制-16

2.4 Spark集群搭建-16

2.4.1安装及配置环境变量-16

2.4.2配置 spark-env.sh-16

2.4.3配置 slaves-17

2.4.4配置 spark-default.conf-17

2.4.5配置 log4j.properties-17

2.4.6 Hive 集成-17

2.4.7 节点复制-17

3 需求概述-18

3.1数据采集-18

3.2 数据采集管理-19

3.3 数据采集入库-19

3.4 数据整合分析-19

3.5 数据能力提供-20

3.6 应用场景-20

4 总体建设方案-21

4.1体系构架及网络拓扑-21

4.1.1 体系架构-21

4.1.2 数据分析处理流程-22

4.1.3 网络拓扑-22

4.2 数据的分类-24

4.2.1基础数据-24

4.2.2用户感知数据-25

4.2.3网络性能数据-25

4.2.4业务服务数据-25

结    论-27

参 考 文 献-28

致    谢-29