学习时间
42个小时
特点
多层次培训
适合人群
需要人群
课程服务
直播+录播
为什么选择大数据?
还在为升职加薪遭拒而烦恼?还苦于进大厂而无门?学习大数据来武装自己吧!
赵老师亲自打造的录播课程大纲
(1)安装LINUX系统
(2)大数据学习路线与课程简介
(3)LINUX的结构和简单配置
(4)VI编辑器
(5)文件目录操作指令
(6)安装JDK
(7)LINUX的权限管理
(8)案例:分析JAVA死锁
(1)HADOOP部分各章概述
(2)实验环境简介
(3)几个基本概念
(4)GOOGLE的低成本思想
(5)GOOGLE的思想论文之一:GFS
(6)GOOGLE的思想论文之二:MAPREDUCE
(7)GOOGLE的思想论文之三:BIGTABLE
(1)Hadoop的目录结构
(2)搭建Hadoop的本地模式
(3)搭建Hadoop的伪分布模式
(4)免密码登录的原理和配置
(5)搭建Hadoop的全分布环境
(1)Hadoop体系结构概述
(2)HDFS的体系结构
1、名称节点:NameNode23:31
2、数据节点:DataNode
3、第二名称节点:SecondaryNameNode
(3)Yarn的体系结构
4、Yarn的体系结构和任务的调度
5、Yarn的资源分配方式
(4)HBase体系结构概述
6、HBase的体系结构简介
(5)主从结构的单点故障
7、主从结构的单点故障问题及解决方案
(1)HDFS概述
1、HDFS课程概述
(2)操作HDFS
2、通过Web Console操作HDFS
3、通过命令行操作HDFS
4、使用Java API创建目录和权限问题
5、使用Java API上传和下载数据
6、使用Java API获取文件信息
(3)HDFS的原理剖析
7、HDFS上传数据的过程和原理
8、HDFS下载数据的过程和原理
(4)HDFS的高级功能
9、HDFS的回收站
10、HDFS的快照
11、HDFS的安全模式和权限
12、HDFS的配额
13、HDFS的集群简介
(5)HDFS的底层原理
14、HDFS底层原理之一:代理对象
15、代理对象应用案例:实现数据库连接池
16、HDFS底层原理之二:什么是RPC?
(1)课程概述
1、MapReduce课程概述
(2)MAPREDUCE编程基础
2、案例分析:WordCount数据处理的过程
3、开发自己的WordCount程序
4、案例分析:求每个部门的工资总额
5、开发MapReduce程序实现求部门的工资总额
(3)MAPREDUCE的特性一:序列化
6、Hadoop的序列化机制
7、在MapReduce程序中使用序列化
(4)MAPREDUCE的特性二:排序
8、数字的排序
9、字符串的排序
10、对象的排序
(5)MAPREDUCE的特性三:分区和合并
11、什么是分区
12、分区案例:根据部门号建立分区
13、什么是Combiner
(6)MAPREDUCE的核心:Shuffle
14、 什么是Shuffle(洗牌)?
(7)MAPREDUCE编程案例
15、编程案例一:数据去重
16、知识回顾:关系型数据库中的多表查询
17、编程案例二:分析等值连接的数据处理流程
18、编程案例二:实现等值连接的数据处理流程
19、编程案例三:分析自连接的数据处理流程
20、编程案例三:实现自连接的数据处理流程
21、案例四:分析倒排索引的数据处理过程
22、案例四:编程实现倒排索引
23、案例五:使用MRUnit进行单元测试
(8)第一个阶段小结
24、第一个阶段小结
(1)NoSQL数据库简介
(2)HBase的表结构和体系结构
(3)搭建HBase的本地模式和伪分布模式
(4)搭建HBase的全分布环境和HA
(5)HBase在ZK中保存的数据和HA
(6)通过命令行操作HBase
(7)通过JAVA API操作HBase
(8)HBase数据保存的过程和Region的分裂
(9)HBase的过滤器
(10)HBase上的MapReduce
(1)数据分析引擎和Hive简介
(2)Hive的体系结构
(3)搭建Hive的嵌入模式
(4)搭建Hive的远程模式
(5)Hive的内部表
(6)Hive的分区表
(7)Hive的外部表
(8)Hive的桶表和视图
(9)Hive的查询
(10)Hive的Java客户端
(11)Hive的自定义函数
(1)Pig简介和安装配置
(2)Pig的常用命令
(3)Pig的数据模型
(4)Pig的自定义函数和自定义运算函数
(5)使用PigLatin语句分析和处理数据
(6)Pig的自定义加载函数
(1)数据采集引擎简介和准备实验环境
(2)使用Sqoop采集数据
(3)使用Flume采集日志
(1)HUE简介和Demo演示
(2)安装HUE所需的RPM包
(3)配置和集成HUE
(1)主从结构的单点故障的问题
1、主从结构的单点故障的问题
(2)ZooKeeper
2、ZooKeeper简介和体系结构
3、搭建ZooKeeper的Standalone模式
4、搭建ZooKeeper的集群环境和Demo演示
5、利用ZooKeeper实现分布式锁
(3)Hadoop的HA
6、Hadoop的HA实现架构
7、配置实现Hadoop的HA
(4)HDFS的联盟
8、什么是HDFS的联盟
9、搭建HDFS联盟的环境
(5)第二阶段小结
赵老师亲自打造新版直播课程大纲
章节
(1)安装LINUX系统
(2)大数据学习路线与课程简介
(3)LINUX的结构和简单配置
(4)VI编辑器
(5)文件目录操作指令
(6)安装JDK
(7)LINUX的权限管理
(8)案例:分析JAVA死锁
练习
(1)搭建和使用Linux
学习目标
(1)Linux的安装与基本操作
章节
(1)HADOOP部分各章概述
(2)实验环境简介与准备
(3)几个基本概念
(4)GOOGLE的低成本思想
(5)GOOGLE的思想论文之一:GFS
(6)GOOGLE的思想论文之二:MAPREDUCE
(7)GOOGLE的思想论文之三:BIGTABLE
学习目标
(1)理解并掌握大数据的底层原理
章节
(1)Hadoop的目录结构
(2)搭建Hadoop的本地模式
(3)搭建Hadoop的伪分布模式
(4)免密码登录的原理和配置
(5)搭建Hadoop的全分布环境
练习
(1)安装和配置Hadoop环境
学习目标
(1)安装和配置Hadoop环境
章节
(1)Hadoop体系结构概述
(2)HDFS的体系结构
名称节点
数据节点
第二名称节点
(3)Yarn的体系结构
Yarn的体系结构和任务的调度
Yarn的资源分配方式
(4)HBase的体系结构简介
(5)主从结构的单点故障问题及解决方案
学习目标
(1)理解并掌握Hadoop的体系架构
章节
(1)HDFS概述
操作HDFS
通过Web Console操作HDFS
通过命令行操作HDFS
使用Java API创建目录和权限问题
使用Java API上传和下载数据
使用Java API获取文件信息
(2)HDFS的原理剖析
HDFS上传数据的过程和原理
HDFS下载数据的过程和原理
(3)HDFS的高级功能
HDFS的回收站
HDFS的快照
HDFS的安全模式和权限
HDFS的配额
HDFS的集群简介
(4)HDFS的底层原理
(5)HDFS底层原理之一:代理对象
(6)HDFS底层原理之二:什么是RPC?
练习
(1)使用各种方式操作HDFS
(2)使用HDFS的高级工能
学习目标
(1)掌握HDFS
章节
(1)MapRudce课程概述
(2)MapRudce编程基础
(3)MapRudce的特性一:序列化
(4)MapRudce的特性二:排序
(5)MapRudce的特性三:分区和合并
(6)MapRudce的核心:Shuffle
(7)MapRudce编程案例
编程案例一:数据去重
知识回顾:关系型数据库中的多表查询
编程案例二:分析等值连接的数据处理流程
编程案例二:实现等值连接的数据处理流程
编程案例三:分析自连接的数据处理流程
编程案例三:实现自连接的数据处理流程
案例四:分析倒排索引的数据处理过程
案例四:编程实现倒排索引
案例五:使用MRUnit进行单元测试
练习
(1)编写MapReduce程序处理数据
学习目标
(1)理解MapReduce的原理,开发MapReduce程序
章节
(1)NoSQL数据库简介
(2)HBase的表结构和体系结构
(3)搭建HBase的本地模式和伪分布模式
(4)搭建HBase的全分布环境和HA
(5)HBase在ZK中保存的数据和HA
(6)通过命令行操作HBase
(7)通过JAVA API操作HBase
(8)HBase数据保存的过程和Region的分裂
(9)HBase的过滤器
(10)HBase上的MapReduce
练习
(1)使用HBase存储数据
学习目标
(1)掌握HBase的原理和安装配置
章节
(1)数据分析引擎和Hive简介
(2)Hive的体系结构与安装配置
(3)Hive的内部表与外部表
(4)Hive的分区表
(5)Hive的桶表和视图
(6)Hive的查询
(7)Hive的Java客户端
(8)Hive的自定义函数
练习
(1)使用Hive存储数据
(2)使用SQL分析数据
学习目标
(1)掌握Hive的原理和安装配置
章节
(1)Pig简介和安装配置
(2)Pig的常用命令
(3)Pig的数据模型
(4)Pig的自定义函数和自定义运算函数
(5)使用PigLatin语句分析和处理数据
(6)Pig的自定义加载函数
练习
(1)使用Pig存储数据
(2)使用PigLatn分析数据
学习目标
(1)掌握Pig的原理和安装配置
章节
(1)使用Sqoop进行数据交换
(2)使用Flume采集日志
练习
(1)使用Sqoop和Flume采集数据
学习目标
(1)使用Sqoop和Flume采集数据
章节
(1)使用HUE集成管理大数据组件
练习
(1)使用HUE管理大数据平台
学习目标
(1)使用HUE管理大数据平台
章节
(1)主从结构的单点故障的问题
(2)ZooKeeper
ZooKeeper简介和体系结构
搭建ZooKeeper的Standalone模式
搭建ZooKeeper的集群环境和Demo演示
利用ZooKeeper实现秒杀功能
(3)Hadoop的HA
(4)NameNode的联盟
练习
(1)搭建和操作ZooKeeper
(2)搭建Hadoop HA环境
(3)搭建HDFS的联盟
学习目标
(1)掌握HA和联盟的体系架构
章节
(1)MemCached
为什么要把数据存入内存
MemCached基本原理和体系结构
MemCached安装和配置
操作MemCached
MemCached的路由算法
MemCached主主复制功能
练习
(1)安装和配置MemCached
(2)使用MemCached存储数据
学习目标
(1)MemCached的体系架构和原理
章节
(1)Redis内存数据库简介
(2)Redis的安装和配置和基本操作
(3)Redis内存数据库简介
(4)Redis内存数据库简介
(5)Redis内存数据库简介
(6)Redis内存数据库简介
(7)Redis内存数据库简介
(8)Redis内存数据库简介
(9)Redis内存数据库简介
(10)Redis内存数据库简介
练习
(1)使用Redis存储数据
学习目标
(1)掌握Redis的体系架构和功能
章节
(1)大数据实时计算框架简介
(2)Apache Storm体系结构
(3)Apache Storm的伪分布模式的搭建
(4)Apache Storm的全分布模式和HA
(5)Storm的Demo演示
(6)Storm集群在ZK上保存的数据结构
(7)WordCount数据流动的过程
(8)开发自己的Storm的WordCount程序
(9)部署和运行Storm任务
(10)Storm任务执行的过程与通信机制
(11)流式计算系统的典型的架构
(12)集成Redis
(13)集成HDFS
(14)集成HBase
练习
(1)使用Storm进行大数据的实时计算
学习目标
(1)掌握Storm的体系架构和功能
章节
(1)Scala语言基础
(2)Scala语言的面向对象
(3)Scala语言的函数式编程
(4)Scala中的集合
(5)Scala语言的高级特性
练习
(1)编程Scala程序
学习目标
(1)掌握Scala编程语言
章节
(1)什么是Spark?
(2)Spark的体系结构与安装部署
(3)执行Spark Demo程序
(4)Spark运行机制及原理分析
(5)Spark的算子
(6)Spark RDD的高级算子
(7)Spark基础编程案例
练习
(1)搭建Spark环境
(2)使用Spark Core处理数据
学习目标
(1)掌握Spark的体系架构和功能
章节
(1)Spark SQL基础
Spark SQL简介
基本概念:Datasets和DataFrames
测试数据
创建DataFrames
DataFrame操作
Global Temporary View
创建Datasets
Datasets的操作案例
(2)使用数据源
通用的Load/Save函数
Parquet文件
JSON Datasets
使用JDBC
使用Hive Table
(3)性能优化
(4)在IDEA中开发Spark SQL程序
练习
(1)使用Spark SQL处理数据
学习目标
(1)掌握Spark SQL的体系架构和功能
章节
(1)Spark Streaming基础
Spark Streaming简介
Spark Streaming的特点
Spark Streaming的内部结构
第一个小案例:NetworkWordCount
开发自己的NetworkWordCount
(2)Spark Streaming进阶
StreamingContext对象详解
离散流(DStreams):Discretized Streams
DStream中的转换操作(transformation)
窗口操作
输入DStreams和接收器
DStreams的输出操作
DataFrame和SQL操作
缓存/持久化
检查点支持
(3)高级数据源
Spark Streaming接收Flume数据
Spark Streaming接收Kafka数据
(4)性能优化
减少批数据的执行时间
设置正确的批容量
内存调优
练习
(1)使用Spark Streaming处理数据
学习目标
(1)掌握Spark Streaming的体系架构和功能
章节
(1)Flink基础
Flink简介
Flink的体系架构
Flink的安装与部署
Flink的分布式缓存
对比:Flink、Storm和Spark Streaming
(2)Flink入门开发案例:WordCount
Flink批处理开发
Flink流处理开发
使用Flink Scala Shell
Flink的并行度分析
(3)Flink的DataSet API
(4)Flink的DataStream API
DataSources
DataStream Transformation 转换操作
Data Sinks
(5)广播变量、累加器和计数器
(6)状态管理和恢复
状态:State
检查点:Checkpoint
Restart Strategies(重启策略)
(7)Window和Time
练习
(1)使用Flink处理数据
学习目标
(1)掌握Flink的体系架构和功能
章节
(1)准备实验环境
(2)项目课程概述
(3)电商大数据平台的整体架构
(4)什么是瀑布模型?
章节
(1)部署的步骤与配置CentOS
(2)安装和配置Apache HTTP服务器和NTP服务
(3)配置MariaDB
(4)配置Ambari的本地源
(5)安装配置Ambari Server
(6)部署HDP的集群
(7)节点的扩展
(7)启用HA
(7)删除节点和服务
(7)部署其他服务
练习
(1)使用Ambari部署HDP
章节
(1)案例1:搜狗日志查询分析
(2)案例2:人口分析案例
(3)案例3:电商订单销售数据分析
章节
(1)各区域热门商品
模块介绍
需求分析
技术方案
实验数据及说明
技术实现
(2)实时分析Top IP
模块介绍
需求分析
技术方案
实验数据及说明
技术实现
(3)实时分析黑名单用户
模块介绍
需求分析
技术方案
实验数据及说明
技术实现
(4)广告点击流量统计
模块介绍
需求分析
技术方案
实验数据及说明
技术实现
章节
(1)电商推荐系统概述
(2)基于用户兴趣的商品推荐
基于用户的CF和基于物品的CF
基于Apache Mahout的协同过滤
基于Spark MLLib的协同过滤
(3)基于ALS协同过滤推荐
(4)基于用户购买行为的商品推荐
练习
(1)使用机器学习算法实现推荐系统
学习目标
(1)掌握常见的推荐算法的原理
章节
(1)实验环境和配置CentOS
(2)安装JDK
(3)配置MariaDB安装配置Clouder Manager
(4)配置Cloudera Agent
(5)部署CDH5
近几年来,互联网行业发展风起云涌,而移动互联网、电子商务、物联网以及社交媒体的快速发展更促使我们快速进入了大数据时代。截止到目前,人们日常生活中的数据量已经从TB级别一跃升到PB、EB乃至ZB级别,数据将逐渐成为重要的生产因素,人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。大数据时代,专业的大数据人才已成为人才市场上的香饽饽。
应用案例:投资理财
功能描述:通过对个人的信用评估,风险承担能力评估,结合众多理财产品,推荐相应的投资理财产品。
对应大数据岗位需求:数据分析师、数据挖掘工程师 、数据分析专家、数据仓库工程师
应用案例:智能交通
功能描述:通过对车流量等海量数据的收集,估算,预测该路段一定时间内的车流量情况,给用户提供便利。
对应大数据岗位需求:Hadoop开发工程师、数据质量稽查工程师、数据可视化工程师、数据分析师
应用案例:在线私教
功能描述:通过对学员每个阶段的学习,评测反馈,综合大数据的知识节点分析,实现真正的一对一的因材施教。
对应大数据岗位需求:数据挖掘工程师、数据仓库工程师、ETL工程师、机器学习开发工程师
应用案例:智慧营业厅
功能描述:通过对用户当前的行为习惯,偏好,节假日的相应数据变化,调整自身业务结构,做到按需分配。
对应大数据岗位需求:Flink开发工程师、爬虫开发工程师、数据模型开发工程师
应用案例:人脸识别
功能描述:通过人脸识别,一一匹配,存储用户数据,结合人工智能,分析及甄别用户行为,预防犯罪等行为发生。
对应大数据岗位需求:算法工程师、数据质量稽查工程师、数据可视化工程师、数据分析师
应用案例:猜你喜欢
功能描述:通过受众人群的大数据分析,结合对应的算法,将受众喜欢的进行交互推荐,使猜你喜欢变为你会喜欢。
对应大数据岗位需求:Spark开发工程师、数据挖掘工程师、数据可视化工程师、数据分析师
应用案例:精准广告位
功能描述:通过用户的浏览行为,点击行为等大数据采集,分析,挖掘用户的二层三层喜欢,扩大产出。
对应大数据岗位需求:广告系统开发工程师、爬虫开发工程师、Hive工程师、数据挖掘工程师
应用案例:便民服务
功能描述:通过对用户使用习惯,使用频率等大数据采集分析,结合人脸识别,人工智能算法,实现便民服务。
对应大数据岗位需求:Hadoop开发工程师、机器学习开发工程师、数据可视化工程师、数据分析架构师
应用案例:智慧医疗
功能描述:通过对海量病例大数据的存储,匹配,检索,结合用户的饮食,行为等习惯,搭建智慧医疗体系。
对应大数据岗位需求:爬虫开发工程师、数据质量稽查工程师、大数据平台运维工程师、数据分析师
立体化的服务体系,真正保障学有所成
权威
证书由柏链项目学院颁发。现已获得各大求职招聘渠道的认可。
专业
证书代表你通过坚持不懈、律己刻苦的学习,系统地掌握了本专业的全部知识,能独立完成相关项目的开发,比单个课程证书更具含金量。
真实
每一张证书都会绑定着学习者的真实身份,审核身份证号和姓名的唯一性,可在柏链项目学信档案中查询。
学员常见问题
零基础可以学吗?
入学条件有哪些?
学费是多少?
付了学费可以退款吗?
如果学不会怎么办?
是否推荐就业?