班级规模及环境--热线:4008699035 手机:15921673576( 微信同号) |
坚持小班授课,为保证培训效果,增加互动环节,每期人数限3到5人。 |
上课时间和地点 |
上课地点:【上海】:同济大学(沪西)/新城金郡商务楼(11号线白银路站) 【深圳分部】:电影大厦(地铁一号线大剧院站)/深圳大学成教院 【北京分部】:北京中山/福鑫大楼 【南京分部】:金港大厦(和燕路) 【武汉分部】:佳源大厦(高新二路) 【成都分部】:领馆区1号(中和大道) 【沈阳分部】:沈阳理工大学/六宅臻品 【郑州分部】:郑州大学/锦华大厦 【石家庄分部】:河北科技大学/瑞景大厦 【广州分部】:广粮大厦 【西安分部】:协同大厦
近开课时间(周末班/连续班/晚班):2024年12月30日......(欢迎您垂询,视教育质量为生命!) |
实验设备 |
◆课时: 共5 部份,30学时
☆注重质量
☆边讲边练
☆合格学员免费推荐工作
★实验设备请点击这儿查看★ |
质量保障 |
1、培训过程中,如有部分内容理解不透或消化不好,可免费在以后培训班中重听;
2、课程完成后,授课老师留给学员手机和Email,保障培训效果,免费提供半年的技术支持。
3、培训合格学员可享受免费推荐就业机会。 |
大纲 |
|
1)scala解释器、变量、常用数据类型等 2)scala的条件表达式、输入输出、循环等控制结构 3)scala的函数、默认参数、变长参数等 4)scala的数组、变长数组、多维数组等 5)scala的映射、元组等操作 6)scala的类,包括bean属性、辅助构造器、主构造器等 7)scala的对象、单例对象、伴生对象、扩展类、apply方法等 8)scala的包、引入、继承等概念 9)scala的特质 10)scala的操作符 11)scala的高阶函数 12)scala的集合 13)scala数据库连接
五、Spark2.0 core大数据编程 1)Spark2.0介绍 2)Spark应用场景 3)Spark和Hadoop MR、Storm的比较和优势 4)RDD 5)Transformation 6)Action 7)Spark计算PageRank 8)Lineage 9)Spark模型简介 10)Spark缓存策略和容错处理 11)宽依赖与窄依赖 12)Spark配置讲解 13)Spark集群搭建 14)集群搭建常见问题解决 15)Spark原理核心组件和常用RDD 16)数据本地性 17)任务调度 18)DAGScheduler 19)TaskScheduler 20)Spark源码解读 21)性能调优 22)Spark和Hadoop2.x整合:Spark on Yarn原理 23) Spark Core核心编程 24)RDD内核架构概览 25)RDD的不同数据来源的创建方式详解 26)RDD的操作算子综述与本质分析(转换算子、行动算子) 27)常用操作算子的案例实战 28)RDD持久化实战以及Checkpoint 29)RDD共享变量以及累加器的使用实战
30)RDD简单排序功能(优化之前WordCount程序)以及二次排序的实战
31)Spark实战Top N功能详解 32)Spark任务调度流程整体架构分析详解 33)Spark任务划分流程整体架构分析详解(宽依赖与窄依赖、DAGScheduler源码分析)
34)Spark执行任务相关原理以及源码分析(TaskScheduler、Executor、Task、Shuffle)
35)Spark实战之PageRank 36)性能优化与调优的分析
六、 Spark SQL 1.Spark RDD应用SQL实战 2.RDD转化为DataFrame数据框的方式详解 3.Spark DataFrame数据框操作实战 4.加载和保存数据操作(load与save) 5.JSON数据源实战案例 6.JDBC数据源实战案例 7.Hive数据源实战案例 8.Parquets数据源实战加载数据、自动分区推断、合并元数据 9.内置函数的实战案例 10.开窗函数的实战案例 11.Spark SQL UDF自定义函数实战 12.Spark SQL UDAF自定义聚合函数实战 13.Spark SQL 工作原理详解以及Spark SQL 的源码分析 14.Hive on Spark
七、Spark Streaming实时计算 1)Spark Streaming和Storm对比讲解 2)Spark Streaming本质原理分析 3)Wordcount程序的实时版本开发 4)Spark Streaming和Spark Core里面context的不同 5)输入DStream和Receiver的讲解 6)不同输入源(Kafka、HDFS)的DStream操作实战 7)基于DStream的window滑动窗口实战案例 8)基于DStream的updateStateByKey实战案例 9)基于DStream的transform实战案例 10)DStream的输出存储操作以及核心函数foreachRDD实战 11)Spark Streaming的持久化实战以及Checkpoint 12)与Spark SQL结合使用实战案例 13)架构原理分析与性能优化
|