章节

（1）HADOOP部分各章概述

（2）实验环境简介与准备

（3）几个基本概念

（4）GOOGLE的低成本思想

（5）GOOGLE的思想论文之一：GFS

（6）GOOGLE的思想论文之二：MAPREDUCE

（7）GOOGLE的思想论文之三：BIGTABLE

学习目标

（1）理解并掌握大数据的底层原理

章节

（1）Hadoop的目录结构

（2）搭建Hadoop的本地模式

（3）搭建Hadoop的伪分布模式

（4）免密码登录的原理和配置

（5）搭建Hadoop的全分布环境

练习

（1）安装和配置Hadoop环境

学习目标

（1）安装和配置Hadoop环境

章节

（1）Hadoop体系结构概述

（2）HDFS的体系结构

名称节点

数据节点

第二名称节点

（3）Yarn的体系结构

Yarn的体系结构和任务的调度

Yarn的资源分配方式

（4）HBase的体系结构简介

（5）主从结构的单点故障问题及解决方案

学习目标

（1）理解并掌握Hadoop的体系架构

章节

（1）HDFS概述

操作HDFS

通过Web Console操作HDFS

通过命令行操作HDFS

使用Java API创建目录和权限问题

使用Java API上传和下载数据

使用Java API获取文件信息

（2）HDFS的原理剖析

HDFS上传数据的过程和原理

HDFS下载数据的过程和原理

（3）HDFS的高级功能

HDFS的回收站

HDFS的快照

HDFS的安全模式和权限

HDFS的配额

HDFS的集群简介

（4）HDFS的底层原理

（5）HDFS底层原理之一：代理对象

（6）HDFS底层原理之二：什么是RPC？

练习

（1）使用各种方式操作HDFS

（2）使用HDFS的高级工能

学习目标

（1）掌握HDFS

章节

（1）MapRudce课程概述

（2）MapRudce编程基础

（3）MapRudce的特性一：序列化

（4）MapRudce的特性二：排序

（5）MapRudce的特性三：分区和合并

（6）MapRudce的核心：Shuffle

（7）MapRudce编程案例

编程案例一：数据去重

知识回顾：关系型数据库中的多表查询

编程案例二：分析等值连接的数据处理流程

编程案例二：实现等值连接的数据处理流程

编程案例三：分析自连接的数据处理流程

编程案例三：实现自连接的数据处理流程

案例四：分析倒排索引的数据处理过程

案例四：编程实现倒排索引

案例五：使用MRUnit进行单元测试

练习

（1）编写MapReduce程序处理数据

学习目标

（1）理解MapReduce的原理，开发MapReduce程序

章节

（1）NoSQL数据库简介

（2）HBase的表结构和体系结构

（3）搭建HBase的本地模式和伪分布模式

（4）搭建HBase的全分布环境和HA

（5）HBase在ZK中保存的数据和HA

（6）通过命令行操作HBase

（7）通过JAVA API操作HBase

（8）HBase数据保存的过程和Region的分裂

（9）HBase的过滤器

（10）HBase上的MapReduce

练习

（1）使用HBase存储数据

学习目标

（1）掌握HBase的原理和安装配置

章节

（1）数据分析引擎和Hive简介

（2）Hive的体系结构与安装配置

（3）Hive的内部表与外部表

（4）Hive的分区表

（5）Hive的桶表和视图

（6）Hive的查询

（7）Hive的Java客户端

（8）Hive的自定义函数

练习

（1）使用Hive存储数据

（2）使用SQL分析数据

学习目标

（1）掌握Hive的原理和安装配置

章节

（1）Pig简介和安装配置

（2）Pig的常用命令

（3）Pig的数据模型

（4）Pig的自定义函数和自定义运算函数

（5）使用PigLatin语句分析和处理数据

（6）Pig的自定义加载函数

练习

（1）使用Pig存储数据

（2）使用PigLatn分析数据

学习目标

（1）掌握Pig的原理和安装配置

章节

（1）使用Sqoop进行数据交换

（2）使用Flume采集日志

练习

（1）使用Sqoop和Flume采集数据

学习目标

（1）使用Sqoop和Flume采集数据

章节

（1）使用HUE集成管理大数据组件

练习

（1）使用HUE管理大数据平台

学习目标

（1）使用HUE管理大数据平台

章节

（1）主从结构的单点故障的问题

（2）ZooKeeper

ZooKeeper简介和体系结构

搭建ZooKeeper的Standalone模式

搭建ZooKeeper的集群环境和Demo演示

利用ZooKeeper实现秒杀功能

（3）Hadoop的HA

（4）NameNode的联盟

练习

（1）搭建和操作ZooKeeper

（2）搭建Hadoop HA环境

（3）搭建HDFS的联盟

学习目标

（1）掌握HA和联盟的体系架构

章节

（1）MemCached

为什么要把数据存入内存

MemCached基本原理和体系结构

MemCached安装和配置

操作MemCached

MemCached的路由算法

MemCached主主复制功能

练习

（1）安装和配置MemCached

（2）使用MemCached存储数据

学习目标

（1）MemCached的体系架构和原理

章节

（1）Redis内存数据库简介

（2）Redis的安装和配置和基本操作

（3）Redis内存数据库简介

（4）Redis内存数据库简介

（5）Redis内存数据库简介

（6）Redis内存数据库简介

（7）Redis内存数据库简介

（8）Redis内存数据库简介

（9）Redis内存数据库简介

（10）Redis内存数据库简介

练习

（1）使用Redis存储数据

学习目标

（1）掌握Redis的体系架构和功能

章节

（1）大数据实时计算框架简介

（2）Apache Storm体系结构

（3）Apache Storm的伪分布模式的搭建

（4）Apache Storm的全分布模式和HA

（5）Storm的Demo演示

（6）Storm集群在ZK上保存的数据结构

（7）WordCount数据流动的过程

（8）开发自己的Storm的WordCount程序

（9）部署和运行Storm任务

（10）Storm任务执行的过程与通信机制

（11）流式计算系统的典型的架构

（12）集成Redis

（13）集成HDFS

（14）集成HBase

练习

（1）使用Storm进行大数据的实时计算

学习目标

（1）掌握Storm的体系架构和功能

章节

（1）Scala语言基础

（2）Scala语言的面向对象

（3）Scala语言的函数式编程

（4）Scala中的集合

（5）Scala语言的高级特性

练习

（1）编程Scala程序

学习目标

（1）掌握Scala编程语言

章节

（1）什么是Spark？

（2）Spark的体系结构与安装部署

（3）执行Spark Demo程序

（4）Spark运行机制及原理分析

（5）Spark的算子

（6）Spark RDD的高级算子

（7）Spark基础编程案例

练习

（1）搭建Spark环境

（2）使用Spark Core处理数据

学习目标

（1）掌握Spark的体系架构和功能

章节

（1）Spark SQL基础

Spark SQL简介

基本概念：Datasets和DataFrames

测试数据

创建DataFrames

DataFrame操作

Global Temporary View

创建Datasets

Datasets的操作案例

（2）使用数据源

通用的Load/Save函数

Parquet文件

JSON Datasets

使用JDBC

使用Hive Table

（3）性能优化

（4）在IDEA中开发Spark SQL程序

练习

（1）使用Spark SQL处理数据

学习目标

（1）掌握Spark SQL的体系架构和功能

章节

（1）Spark Streaming基础

Spark Streaming简介

Spark Streaming的特点

Spark Streaming的内部结构

第一个小案例：NetworkWordCount

开发自己的NetworkWordCount

（2）Spark Streaming进阶

StreamingContext对象详解

离散流（DStreams）：Discretized Streams

DStream中的转换操作（transformation）

窗口操作

输入DStreams和接收器

DStreams的输出操作

DataFrame和SQL操作

缓存/持久化

检查点支持

（3）高级数据源

Spark Streaming接收Flume数据

Spark Streaming接收Kafka数据

（4）性能优化

减少批数据的执行时间

设置正确的批容量

内存调优

练习

（1）使用Spark Streaming处理数据

学习目标

（1）掌握Spark Streaming的体系架构和功能

章节

（1）Flink基础

Flink简介

Flink的体系架构

Flink的安装与部署

Flink的分布式缓存

对比：Flink、Storm和Spark Streaming

（2）Flink入门开发案例：WordCount

Flink批处理开发

Flink流处理开发

使用Flink Scala Shell

Flink的并行度分析

（3）Flink的DataSet API

（4）Flink的DataStream API

DataSources

DataStream Transformation 转换操作

Data Sinks

（5）广播变量、累加器和计数器

（6）状态管理和恢复

状态：State

检查点：Checkpoint

Restart Strategies（重启策略）

（7）Window和Time

练习

（1）使用Flink处理数据

学习目标

（1）掌握Flink的体系架构和功能

章节

（1）准备实验环境

（2）项目课程概述

（3）电商大数据平台的整体架构

（4）什么是瀑布模型？

章节

（1）部署的步骤与配置CentOS

（2）安装和配置Apache HTTP服务器和NTP服务

（3）配置MariaDB

（4）配置Ambari的本地源

（5）安装配置Ambari Server

（6）部署HDP的集群

（7）节点的扩展

（7）启用HA

（7）删除节点和服务

（7）部署其他服务

练习

（1）使用Ambari部署HDP

章节

（1）案例1：搜狗日志查询分析

（2）案例2：人口分析案例

（3）案例3：电商订单销售数据分析

章节

（1）各区域热门商品

模块介绍

需求分析

技术方案

实验数据及说明

技术实现

（2）实时分析Top IP

模块介绍

需求分析

技术方案

实验数据及说明

技术实现

（3）实时分析黑名单用户

模块介绍

需求分析

技术方案

实验数据及说明

技术实现

（4）广告点击流量统计

模块介绍

需求分析

技术方案

实验数据及说明

技术实现

章节

（1）电商推荐系统概述

（2）基于用户兴趣的商品推荐

基于用户的CF和基于物品的CF

基于Apache Mahout的协同过滤

基于Spark MLLib的协同过滤

（3）基于ALS协同过滤推荐

（4）基于用户购买行为的商品推荐

练习

（1）使用机器学习算法实现推荐系统

学习目标

（1）掌握常见的推荐算法的原理

章节

（1）实验环境和配置CentOS

（2）安装JDK

（3）配置MariaDB安装配置Clouder Manager

（4）配置Cloudera Agent

（5）部署CDH5