首页
大数据分析师
大数据分析师 - 初级
大数据分析师 - 中级
大数据分析师 - 高级
大数据工程师
大数据工程师 - 初级
大数据工程师 - 中级
大数据工程师 - 高级
证书考试
首页
大数据分析师
大数据分析师 - 初级
大数据分析师 - 中级
大数据分析师 - 高级
大数据工程师
大数据工程师 - 初级
大数据工程师 - 中级
大数据工程师 - 高级
证书考试
登录
注册
登录
注册
中级 内存计算框架Spark（工程师）
第52任务： Day2716_案例：实现每日访客数统计及使用HiveQL进行结果验证、打包运行SparkStandalone集群
查看课程
任务列表
第1任务： Day2501_大数据分析框架概要、Spark课程学习计划及建议
第2任务： Day2502_为什么学习SCALA语言及SCALA语言介绍和学习提纲
第3任务： Day2503_SCALA环境搭建及IDEA安装配置（JAVA安装、SCALA安装及IDEA安装）
第4任务： Day2504_SCALA语言HelloWorld及安装总结（作业LINUX系统安装）
第5任务： Day2505_SCALA中变量的声明（两种方式）
第6任务： Day2506_SCALA中数据类型及操作符
第7任务： Day2507_IF语句及WHILE循环、循环表达式及FOR基本使用
第8任务： Day2508_FOR循环深入讲解及yield功能
第9任务： Day2509_SCALA中的Breaks使用
第10任务： Day2510_函数的定义（如何确定一个函数）
第11任务： Day2511_函数的定义（各种情况下函数定义与使用）
第12任务： Day2512_函数的作用域、默认参数函数和名称参数函数使用详解
第13任务： Day2513_变长参数函数和内部函数使用详解
第14任务： Day2514_匿名函数定义与使用
第15任务： Day2515_高阶函数定义与使用
第16任务： Day2516_深入高阶函数的使用
第17任务： Day2601_数组Array和ArrayBuffer
第18任务： Day2602_SCALA中集合类Collections概要讲解（对比JAVA中集合类）
第19任务： Day2603_集合类之List和ListBuffer创建与基本操作
第20任务： Day2604_集合List中常见高阶函数使用详解（一）
第21任务： Day2605_集合List中常见高阶函数使用详解（二）
第22任务： Day2606_SCALA中元组创建与使用
第23任务： Day2607_集合类之Set及常见函数使用
第24任务： Day2608_集合类之Map创建与遍历
第25任务： Day2609_集合类综合应用：实现WordCount词频统计
第26任务： Day2610_类Class的定义与创建对象
第27任务： Day2611_对象object及apply方法
第28任务： Day2612_类class的构造方法（主构造方法和附属构造方法）
第29任务： Day2613_SCALA中的Trait初步使用
第30任务： Day2614_SCALA中异常的处理及模式匹配初步使用
第31任务： Day2615_模式匹配之匹配类型、元组
第32任务： Day2616_CaseClass及在模式匹配中使用
第33任务： Day2617_Option（Some、Node）及模式匹配使用
第34任务： Day2618_SCALA中隐式转换详解（结合案例）
第35任务： Day2619_SCALA中隐式参数详解（结合案例）
第36任务： Day2620_综合回顾复习SCALA的所有知识要点
第37任务： Day2701_SPARK框架学习的基础及与Spark初步认识（比较MapReduce框架）
第38任务： Day2702_Spark Feature详解及处理数据三步走策略
第39任务： Day2703_Spark 学习资源、源码下载及编译详解
第40任务： Day2704_SPARK 安装目录及使用的方便优点
第41任务： Day2705_Local Mode配置、启动spark-shell及运行程序测试
第42任务： Day2706_编程实现WordCount程序（类比MapReduce实现思路）
第43任务： Day2707_Spark Local Mode深入剖析详解
第44任务： Day2708_使用IDEA创建MAVEN工程及配置依赖
第45任务： Day2709_编写Spark Application开发模板
第46任务： Day2710_深入WordCount程序分析（sortByKey和top函数使用）
第47任务： Day2711_如何导入Spark源码至IDEA中（Windows下）
第48任务： Day2712_Spark Standalone 集群架构、配置、启动深入详解及运行spark-shell测试
第49任务： Day2713_浅析Spark Application运行Cluster组成及如何使用spark-submit提交应用
第50任务： Day2714_深入剖析Spark Application中Job、Stage和Task关系
第51任务： Day2715_案例：对原始数据进行清洗过滤及实现每日浏览量统计
第52任务： Day2716_案例：实现每日访客数统计及使用HiveQL进行结果验证、打包运行SparkStandalone集群
第53任务： Day2801_Spark Application运行的Deploy Mode详解（结合案例演示）
第54任务： Day2802_使用spark-submit提交应用运行Standalone集群及性能调优
第55任务： Day2803_Spark Application运行的EventLog启用
第56任务： Day2804_Spark HistoryServer配置及使用
第57任务： Day2805_RDD是什么及创建方式
第58任务： Day2806_RDD操作类型及持久化详解
第59任务： Day2807_RDD中常用的Transformation和Action详解（一）
第60任务： Day2808_RDD中常用的Transformation和Action详解（二）
第61任务： Day2809_案例：分组排序TopKey实现及如何处理数据倾斜（分阶段聚合）
第62任务： Day2810_SparkOnYarn：运行SparkApplication在YARN上（编写脚本）
第63任务： Day2811_SparkOnYarn：配置HIstoryServer及运行在YARN的两种Deploy Mode架构
第64任务： Day2812_官方案例：读取日志数据及正则解析（CASE CLASS）
第65任务： Day2813_官方案例：依据业务编码实现及熟悉RDD API
第66任务： Day2814_官方案例：其他业务编码实现测试及过滤数据
第67任务： Day2815_官方案例：RDD#top函数使用（自定义排序规则）及提交运行YARN集群
第68任务： Day2816_内核调度：Spark Job Scheduler详解（一）
第69任务： Day2817_内核调度：Spark Job Scheduler详解（二）
