本课程的主要目的是让学生了解什么是大数据,大数据的特点,大数据思维,大数据的核心技术,大数据应用,大数据带来的变革,以及大数据面临的挑战,从而使学生对大数据技术和应用有一个初步的了解。本课程重视演示和实战,以便使学生通过亲身体验来理解和掌握大数据的核心概念。
周次 | 计划 学时 | 主 要 教 学 内 容 | 授 课 学 时 | 备 注 | ||||||||||
讲授 | 实训/实习 | 其他 | ||||||||||||
2 | 4 | 1、大数据思维 2、Linux操作系统复习 | 2 | 2 | ||||||||||
3 | 4 | 1、大数据技术概述 2、大数据应用 2、Java基础复习 | 2 | 2 | ||||||||||
4 | 4 | 1、大数据采集概述 2、大数据预处理 | 2 | 2 | ||||||||||
5 | 4 | 1、大数据处理系统Hadoop 2、搭建Hadoop开发环境 | 2 | 2 | ||||||||||
6 | 4 | 1、分布式文件系统HDFS 2、HDFS的Java API编程 | 2 | 2 | ||||||||||
7 | 4 | 1、分布式离线计算框架MapReduce(一) | 2 | 2 | ||||||||||
8 | 4 | 1、分布式离线计算框架MapReduce(二) 2、数据挖掘函数库Mahout的安装 3、数据挖掘函数库Mahout的使用 | 2 | 2 | ||||||||||
9 | 4 | 1、分布式资源调度框架YARN的基本原理 2、分布式资源调度框架YARN的基本命令 | 2 | 2 | ||||||||||
10 | 4 | 1、Hadoop伪分布式集群的安装与搭建 2、Hadoop完全分布式集群的安装与搭建 | 2 | 2 | ||||||||||
11 | 4 | 1、分布式协同调度服务Zookeeper的基本原理 2、分布式协同调度服务Zookeeper的搭建 | 2 | 2 | ||||||||||
12 | 4 | 1、分布式协同调度服务Zookeeper的基本命令 2、分布式协同调度服务Zookeeper的Java API编程 | 2 | 2 | ||||||||||
13 | 4 | 1、分布式数据仓库Hive的基本原理 2、分布式数据仓库Hive的搭建 | 2 | 2 | ||||||||||
14 | 4 | 1、分布式数据仓库Hive的基本命令 2、分布式数据仓库的Java API编程 | 2 | 2 | ||||||||||
15 | 4 | 1、分布式日志处理框架Flume的基本原理 2、分布式日志处理框架Flume的搭建 3、分布式日志处理框架Flume的基本使用 | 2 | 2 | ||||||||||
16 | 4 | 1、关系型数据库导入导出工具Sqoop的基本原理 2、关系型数据库导入导出工具Sqoop的搭建 3、关系型数据库导入导出工具Sqoop的基本使用 | 2 | 2 | ||||||||||
17 | 4 | 1、分布式消息订阅服务Kafka的基本原理 2、分布式消息订阅服务Kafka的搭建 3、分布式消息订阅服务Kafka的基本使用 | 2 | 2 | ||||||||||
18 | 4 | 期末复习 | 4 | 0 | ||||||||||
合 计 | 36 | 32 |