曙海教育集团
全国报名免费热线：4008699035 微信：shuhaipeixun
或15921673576（微信同号） QQ:1299983702
首页 课程表 在线聊 报名 讲师 品牌 QQ聊 活动 就业
 
 
     班级规模及环境--热线:4008699035 手机:15921673576( 微信同号)
         坚持小班授课，为保证培训效果，增加互动环节，每期人数限3到5人。
     上课时间和地点
  上课地点：【上海】：同济大学(沪西)/新城金郡商务楼(11号线白银路站) 【深圳分部】：电影大厦(地铁一号线大剧院站)/深圳大学成教院 【北京分部】：北京中山/福鑫大楼 【南京分部】：金港大厦(和燕路) 【武汉分部】：佳源大厦（高新二路） 【成都分部】：领馆区1号（中和大道） 【沈阳分部】：沈阳理工大学/六宅臻品 【郑州分部】：郑州大学/锦华大厦 【石家庄分部】：河北科技大学/瑞景大厦 【广州分部】：广粮大厦 【西安分部】：协同大厦
近开课时间(周末班/连续班/晚班）：2024年12月30日......(欢迎您垂询，视教育质量为生命！)
     实验设备
  　    ☆资深工程师授课
        
        ☆注重质量 ☆边讲边练
        ☆合格学员免费推荐工作
        ★实验设备请点击这儿查看★
     质量保障
 

        1、培训过程中，如有部分内容理解不透或消化不好，可免费在以后培训班中重听；
        2、课程完成后,授课老师留给学员手机和Email,保障培训效果,免费提供半年的技术支持。
        3、培训合格学员可享受免费推荐就业机会。
 
课程大纲
   
 

 

3课程大纲

Hadoop高阶应用课程（81课时）

Hadoop 2.0（6课时）

Hadoop 2.0产生背景

Hadoop 2.0基本构成

HDFS 2.0

MapReduce 2.0

Hadoop 2.0安装配置

集群测试

YARN资源管理系统（4课时）

YARN产生背景

YARN基本设计思想

YARN基本架构

YARN工作流程

YARN通信协议

YARN容错

YARN资源调度机制

YARN支持的计算框架（Storm，Tez，Spark）（11课时）

以YARN为核心的生态系统

Storm基本概念

Storm流式计算框架

基于YARN的Storm架构

YARN-Storm部署

Storm On YARN服务

Apache Tez介绍

Tez特点

Tez数据处理引擎

DAGAppMaster实现

Tez优化机制

Tez应用场景

Tez部署

什么是Spark

Spark生态系统

Spark的核心--RDD和Lineage

RDD的存储、容错机制、内部设计及数据模型

Spark调度框架

Spark的分布式部署方式

基于Mesos的Spark模式

基于YARN的Spark模式

Spark的独立模式部署

Spark的YARN模式部署

MapReduce多语言编程（5课时）

MapReduce编程接口

Java编程接口实例解析

Hadoop Streaming实现方式

Hadoop Streaming编程实战（C++，PHP，PYTHON）

Hadoop Streaming原理剖析

Hadoop Pipes的编程实例

Hadoop Pipes的原理剖析

MapReduce高阶实现（14课时）

复杂的MapReduce应用

K-means聚类、贝叶斯分类等

工作流编程实例及原理剖析

JobControl、ChainMapper/ChainReducer

Hadoop工作流引擎

常用MapReduce优化技巧

配置多个reducer

设置Stream的处理格式

控制分片的大小

避免分片

输入格式：文本输入、多种类型输入

输出控制：多个输出、延迟输出

实战：数据分区

MapReduce高级特性

计数器、内置计数器

实例：用户自定义计数器

MapReduce部分排序的实现

实例：MapReduce全排序

Terasort算法分析

实例：MapReduce实现二次排序

连接、Map端连接的实现

实例：Reduce端连接

连接类型、连接策略介绍

重分区连接框架的实现

复制连接框架的实现

实例：半连接

全局作业参数/数据文件传递

HBase编程实践及案例分析（10课时）

HBase基础精讲

HBase Java编程实例

HBase多语言编程

Thrift安装、服务配置

HBase C++编程实例

HBase Python编程实例

HBase MapReduce编程基础

实战：HBase MapReduce编程

Hbase案例：OpenTSDB的实现

基于HBase的爬虫调度库

基于HBase的爬虫索引库

银行人民币查询系统

Sqoop（6课时）

Sqoop产生背景、基本

Sqoop1和Sqoop2架构及特点

Sqoop1安装配置（版本1.4.4）

Sqoop导入介绍

实战：从mysql导入数据到HDFS

实战：从mysql导入数据到Hive

Sqoop导出介绍

实战：将Hive数据导出到Mysql

Sqoop与Hbase结合

Sqoop作业操作

Sqoop作业安全配置

Sqoop2安装配置（版本1.99.3）

Sqoop2使用综合实战

Flume日志收集系统（7课时）

Flume概念和特点

Flume OG架构、组成、特点、容错机制设计

日志收集系统综合比较

Flume NG架构、核心概念

Flume OG的安装

Flume OG的配置（Web端、Flume shell）

Flume NG的安装配置、测试

Flume NG模块配置（Source、Channel、Sink）

Flume NG配置实战分析

Avro数据序列化系统（1课时）

Avro介绍

Avro特性、主要作用

RPC使用Avro

Avro与其他序列化系统的区别

Mahout数据挖掘工具（10课时）

数据挖掘概念、系统组成

数据挖掘常用方法及算法（回归分析、分类、聚类等）

数据挖掘分析工具

Mahout支持的算法

Mahout起源和特点

Mahout安装、配置及测试

实战：Mahout K-means聚类分析

Mahout实现Canopy算法

Mahout实现分类算法

实战：Mahout逻辑回归分类预测

实战：Mahout朴素贝叶斯分类

推荐系统的概念及分类

协同过滤推荐算法概念、分类及应用

实战：实现基于Mahout的电影推荐系统

Hadoop综合实战-文本挖掘项目（7课时）

文本挖掘的概念及应用场景

项目背景

项目流程

中文分词技术

庖丁分词器的使用

MapReduce并行分词程序的设计与实现

Pig划分数据集

Mahout构建朴素贝叶斯文本分类器

模型应用-计算用户偏好类别
 

        Troubleshooting Java Applications
                Classpath Errors
                Class Loaders
                Common Java Errors
        Troubleshooting Servers
                Native Libraries
                Threading Architecture
                Work Managers
                Deadlocks
                Overload Protection
                Deployment Problems
        Troubleshooting JDBC
                Data Source Management
                Diagnostics
                Debug Flags
                Connectivity Problems
                Connection Leaks
                Database Availability
        Troubleshooting JMS
                Management
                MBean Hierarchy
                Message Logging
                Diagnostics
                Debug Flags
                Overload Protection
                Lost Messages
                Duplicate Messages
        Troubleshooting Security
                SSL Internals
                Keystore Management
                Debug Flags
                Common SSL Problems
                Certificate Validation
                Embedded LDAP
                Security Audit
                Common LDAP Problems
        Troubleshooting Node Manager
                Internals
                Security
                Common Issues
        Troubleshooting Clusters
                Plug-in Configuration
                OHS Overview
                Plug-in Connectivity
                Plug-in Diagnostics
                Unicast Communication
                Replication Debug Flags
                Typical Replication Issues
热线:4008699035 手机:15921673576( 微信同号)
 备案号：沪ICP备08026168号 .(2014年7月11).....................
友情链接：Cadence培训 ICEPAK培训 EMC培训 电磁兼容培训 sas容培训 罗克韦尔PLC培训 欧姆龙PLC培训 PLC培训 三菱PLC培训 西门子PLC培训 dcs培训 横河dcs培训 艾默生培训 robot CAD培训 eplan培训 dcs培训 电路板设计培训 浙大dcs培训 PCB设计培训 adams培训 fluent培训系列课程 培训机构课程短期班培训班系列课程培训机构 长期课程列表班实践课程高级课程学校培训机构周末班培训 南京 NS3培训 OpenGL培训 FPGA培训 PCIE培训 MTK培训 Cortex训 Arduino培训 单片机培训 EMC培训 信号完整性培训 电源设计培训 电机控制培训 LabVIEW培训 OPENCV培训 集成电路培训 UVM验证培训 VxWorks培训 CST培训 PLC培训 Python培训 ANSYS培训 VB语言培训 HFSS培训 SAS培训 Ansys培训 短期班培训班系列课程培训机构 长期课程列表班实践课程高级课程学校培训机构周末班 曙海 教育 企业 培训课程 系列班 级 长期课程列表班实践课程高级课程学校培训机构周末班 短期班培训班系列课程培训机构 曙海教育企业培训课程 系列班级 软件无线电培训 FPGA电机控制培训 Xilinx培训 Simulink培训 DSP培训班 Ansys培训 LUA培训 单片机培训班 PCB设计课程 PCB培训 电源培训 电路培训 PLC课程 变频器课程 Windows培训