Spark基础

默认教学计划
48人加入学习
(0人评价)
价格 免费
教学计划
承诺服务
课程介绍

本部分内容全面涵盖了Spark生态系统的概述及其编程模型,深入内核的研究,Spark on Yarn,Spark Streaming流式计算原理与实践,Spark SQL,Spark的多语言编程以及SparkR的原理和运行。不仅面向项目开发人员,甚至对于研究Spark的学员,此部分都是非常有学习指引意义的课程。

本课程技术要点:
1) Spark介绍 2) Spark应用场景 3) Spark和Hadoop MR、Storm的比较和优势 4) RDD 5) Transformation 6) Action 7) Spark计算PageRan k8) Lineage 9) Spark模型简介 10) Spark缓存策略和容错处理 11) 宽依赖与窄依赖 12) Spark配置讲解 13) Spark集群搭建 14) 集群搭建常见问题解决 15) Spark原理核心组件和常用RDD 16) 数据本地性 17) 任务调度 18) DAGScheduler 19) TaskScheduler 20) Spark源码解读 21) 性能调优 22) Spark和Hadoop2.x整合:Spark on Yarn。原理Spark Streaming实时计算。

课程目标
  • 熟练使用Scala快速开发、Spark进行深入编程,以及spark大数据调优
适合人群
  • 会简单Linux的操作

授课教师

前端课程讲师

学员动态

黄馨卉 加入学习
王炜 加入学习
秦姝祺 加入学习
景玉秀 加入学习
刘娴 加入学习