加米谷大數據開發課程明細

從理論到實訓代碼到云端實操環境到項目實戰，手把手教您從0掌握大數據技術，帶您走進大數據世界。

第一階段（Java設計與編程思想）

Java基礎                 1、Java是什么類型語言，Java語言的編譯、解釋、執行過程                 2、Java運行環境的安裝和配置                 3、標識符與關鍵字                 4、基本數據類型                 5、方法初識                 6、運算符與表達式                 7、分支語句                 8、循環語句                 9、Math、Date、Random

Java面向對象                 1、什么是面向對象                 2、類、對象、數組                 3、介紹面向對象多態                 4、抽象類的概念                 5、抽象類的聲明語法                 6、抽象類被繼承                 7、接口的聲明語法                 8、實現接口的實現類                 9、普通類與抽象類思想上的區別                 10、抽象類與接口思想上的區別

Java高級                 1、異常處理                 2、I/O、JavaBean                 3、反射/多線程                 4、網絡編程                 5、泛型和集合

數據庫與JDBC                 1、安裝與介紹                 2、創建數據庫與表                 3、表與表之間關系                 4、字段類型/函數/查詢語句                 5、存儲器/觸發器                 6、增刪改查                 7、事務并發                 8、操作存儲器和觸發器

第二階段（Web前端開發）

HTML基礎                 1、Web開發簡介                 2、開發環境介紹                 3、html與css編程介紹                 4、JavaScript編程介紹                 5、頭部標記/文字格式標記                 6、字體/列表/圖像標記                 7、超鏈接/表格/表單                 8、框架

CSS3                 1、web標準                 2、css語法基礎與選擇器                 3、css繼承與優先級                 4、css編寫原則                 5、css屬性與浮動                 6、css盒子模型                 7、css定位

JS腳本編程                 1、JavaScript定義                 2、JavaScript特點與核心                 3、JavaScript開發環境                 4、JavaScript基本使用                 5、DOM介紹與節點相關操作                 6、DOM類型與操作                 7、DOM獲取表格元素                 8、DOM獲取元素樣式

事件與JQuery框架                 1、事件介紹與內聯模型                 2、腳本模型與事件對象                 3、鍵盤事件與鼠標事件                 4、JQuery基本語法                 5、JQuery常用選擇器                 6、JQuery事件處理                 7、JQuery文檔操作

第三階段（JavaEE進階）

Web環境配置                 1、Tomcat服務器

JavaWeb開發核心                 1、JSP&Servlet基礎                 2、JSP&Servlet高級

SSM框架                 1、SpringIOC                 2、SpringAOP                 3、SpringMVC配置文件詳解                 4、OGNL詳解                 5、控制器的實現                 6、注解方式實現                 7、文件上傳與下載                 8、攔截器詳解                 9、表單驗證流程詳解                                 10、SSM + Jquery + Ajax整合開發

Mysql                 1、數據庫基礎知識                 2、SQL理論基礎和數據類型                 3、DDL、LML、DQL語句                 4、函數和關聯查詢                 5、子查詢、約束、視圖                 6、編程存儲過程，觸發器                 7、Sql查詢案例和優化

第四階段（大數據基礎：Linux基礎、Maven基礎）

Linux系統管理                 1、Linux安裝                 2、用戶與用戶組管理                 3、文件操作                 4、目錄操作                 5、RPM安裝與卸載                 6、YUM安裝與卸載                 7、打包、壓縮與解壓縮                 8、網絡配置(network)                 9、后臺運行程序（nohup & ;）

Shell編程設計                 1、Shell是什么                 2、Shell分類                 3、基本語法與環境變量                 4、預定義變量                 5、用戶變量                 6、特殊符號使用                 7、邏輯判斷與流程控制                 8、正則表達式                 9、模式匹配                 10、Grep使用

Maven部署/配置/倉庫                 1、Maven部署                 2、Maven配置                 3、Maven安裝目錄解析                 4、Maven本地倉庫與中央倉庫                 5、Maven遠程倉庫                 6、Maven 私服                 7、如何從Maven遠程倉庫下載                 8、Maven添加遠程倉庫                 9、部署至遠程倉庫                                 10、Maven鏡像

Maven POM                 1、Maven核心元素                 2、Maven核心插件/坐標/依賴                 3、Maven依賴范圍                 4、Maven傳遞性依賴                 5、Maven依賴調解/可選依賴/排除依賴                 6、Maven快照及發布版本                 7、Maven聚合與繼承                 8、Maven依賴管理與插件管理                 9、Maven反應堆與靈活構建

第五階段（HDFS分布式文件系統）

HDFS原理剖析                 1、HDFS概念                 2、HDFS內核/讀寫原理                 3、HDFS數據塊                 4、HDFS數據副本的存放策略                 5、HDFS安全模式/負載均衡/機架感應                 6、HDFS名稱節點NameNode                 7、HDFS第二名稱節點SecondNameNode                 8、HDFS高可用HA/聯邦Federation

HDFS 編程實踐                 1、HDFS分布式文件讀取                 2、HDFS寫入剖析/讀取剖析組                 3、HDFS一致模型/數據完整性                 4、HDFS壓縮/序列化                 5、HDFS基于文件的數據結構                 6、HDFS數據備份/網絡拓撲                 7、HDFS集群的構建和安裝                 8、HDFS配置管理/環境設置/安全性                 9、文件系統操作Hadoop fs與hdfs dfs

第六階段+第七階段+第八階段（MapReduce分布式計算模型+Yarn分布式資源管理器+Zookeeper分布式協調服務

MapReduce原理剖析                 1、MapReduce產生背景                 2、MapReduce適用場景                 3、MapReduce基本原理                 4、MapReduce作業執行流程                 5、MapReduce基本組件                 6、MapReduce JobTracker                 7、MapReduce TaskTracker

MapReduce實踐                 1、MapReduce高級編程應用                 2、MapReduce Combiner                 3、MapReduce Partitioner                 4、MapReduce性能優化技巧                 5、MapReduce案例分析                 6、MapReduce開發實踐操作

Yarn原理剖析                 1、Yarn架構設計                 2、Yarn核心原理                 3、Yarn主節點ResourceManager                 4、Yarn從節點NodeManager                 5、Yarn從節點Container                 6、Yarn的Application

Zookeeper原理+實踐                 1、Zookeeper 介紹                 2、Zookeeper核心原理                 3、Zookeeper結構                 4、Zookeeper Server                 5、Zookeeper Client程                                 6、Zookeeper訪問                 7、Zookeeper常用訪問工具

第九階段+第十階段（Hbase分布式數據庫+Hive分布式數據倉庫）

Hbase原理剖析                 1、Hbase存儲原理                 2、Hbase列式存儲原理                 3、Hbase稀疏存儲設計                 4、Hbase KeyValue存儲設計                 5、Hbase數據多版本                 6、Hbase Rowkey設計                 7、Hbase 存儲無模式設計

Hbase編程實戰象                 1、Hbase 訪問Shell接口實踐                 2、Hbase 訪問API接口實踐                 3、Hbase 實戰訓練

Hive原理剖析                 1、Hive介紹                 2、Hive應用場景                 3、Hive架構                 4、Hive運行原理                 5、Hive命名空間                 6、Hive庫的位置                 7、Hive數據倉庫

Hive實踐                 1、Hive創建庫                 2、Hive修改庫與刪除庫                 3、Hive普通表與帶分區的表                 4、Hive帶Bucket的表/外部表/相似表                 5、Hive分區/Bucket管理/向Hive表中裝載與插入數據                 6、創建并加載數據到Hive表與導出數據                 7、Hive SelectFrom/Where/GroupBy/Join

第十一階段+第十二階段（FlumeNG分布式數據采集系統+Sqoop大數據遷移系統）

FlumeNG原理剖析                 1、FlumeNG概述                 2、FlumeNG部署配置                 3、FlumeNG分布式架構                 4、FlumeNG應用場景                 5、FlumeNG與同類產品的優缺點                 6、FlumeNG工作原理                 7、FlumeNG運行時系統實現的邏輯

FlumeNG實踐                 1、FlumeNG指定文件數據作為數據源                 2、FlumeNG監測并讀取新增文件數據作為數據源                 3、FlumeNG命令輸出作為數據源                 4、FlumeNG監聽TCP的端口作為數據源                 5、FlumeNG獲取HTTP數據作為數據源                 6、FlumeNG HDFS作為輸出源                 7、FlumeNG本地目錄作為輸出源

Sqoop原理剖析                 1、Sqoop介紹                 2、Sqoop架構原理

Sqoop實踐                 1、數據遷入大數據存儲                 2、數據遷出大數據存儲

第十三階段+第十四階段（Scala大數據黃金語言+kafka分布式總線系統）

Scala語法剖析                 1、Scala基礎                 2、Scala流程控制                 3、Scala異常處理                 4、Scala數據類型                 5、Scala運算符                 6、Scala函數基礎                 7、Scala匿名函數                 8、Scala嵌套函數                 9、Scala遞歸函數、部分應用函數、柯里函數、高階函數

Scala應用實踐                 1、Scala閉包                 2、Scala對象                 3、Scala特征                 4、Scala模式匹配                 5、Scala隱式轉換                 6、Scala Lists                 7、Scala Seqs                 8、Scala Sets                 9、Scala Maps                 10、Scala Tuples、Scala Iterators、Scala Options

Kafka原理剖析                 1、Kafka初識                 2、Kafka主題                 3、Kafka日志                 4、Kafka生產者                 5、Kafka消費者                 6、Kafka消費組                 7、Kafka消息讀寫原理                 8、Kafka位移管理                 9、Kafka副本機制、分布式、消息傳送機制

Kafka實踐                 1、Kafka命令工具                 2、Kafka生產API                 3、Kafka消費API                 4、Kafka實戰訓練

第十五階段+第十六階段+第十七階段（SparkCore大數據計算基石+SparkSQL數據挖掘利器+SparkStreaming流式計算平臺）

SparkCore核心原理                 1、SparkCore 基礎原理                 2、SparkCore核心代碼剖析                 3、SparkCore運行架構                 4、Rdd編程模型                 5、Rdd內存彈性分布式數據集的工作原理和機制                 6、RDD Transform                 7、RDD Action

SparkSQL原理                 1、SparkSQL簡介                 2、SparkSQL運行原理                 3、SparkSQL程序開發光速入門                 4、SparkSQL程序開發之數據源                 5、SparkSQL程序開發之DataFrame態                 6、SparkSQL程序開發之DataSet                 7、SparkSQL程序開發之數據類型                 8、SparkSQL實戰訓練

SparkStreaming原理                 1、SparkStreaming原理                 2、SparkStreaming與Storm 在流處理方面的比較                 3、SparkStreaming與Spark 交互的實現機制                 4、SparkStreaming核心代碼剖析

SparkStreaming實踐                 1、SparkStreaming 滑動窗口                 2、SparkStreaming foreachRDD                 3、SparkStreaming 性能優化                 4、SparkStreaming 持久化                 5、SparkStreaming Checkpoint                 6、SparkStreaming 容錯                 7、SparkStreaming 事務                 8、SparkStreaming客戶端編程實踐

第十八階段+第十九階段（SparkMllib機器學習平臺+SparkGraphx圖計算平臺）

SparkMllib算法模型原理                 1、數據挖掘基礎知識                 2、機器學習基礎知識                 3、機器學習案例                 4、Mahout/Spark MLib 并行挖掘平臺中的關聯規則                 5、Mahout/Spark MLib 并行挖掘平臺中的預測協同過濾                 6、Mahout/Spark MLib 并行挖掘平臺中的推薦模型                 7、SparkMllib模型的原理                 8、SparkMllib模型的算法實現

SparkMllib算法實踐                 1、推薦分析模塊的深度剖析                 2、推薦分析算法MapReduce 并行實現及應用開發                 3、關聯規則挖掘算法MapReduce 并行實現及應用開發                 4、頻繁模式挖掘算法的 MapReduce 并行實現及應用開發                 5、回歸預測的 MapReduce 實現和 Spark 實現技術                 6、局部加權線性回歸預測算法 MapReduce、Spark實現技術

SparkGraphX核心原理                 1、SparkGraphX基礎原理                 2、SparkGraphX核心代碼剖析

SparkGraphX實踐                 1、SparkGraphX客戶端 API 介紹                 2、基于 Spark GraphX 實現圖數據的分析程序開發

第二十階段（大數據項目實戰）

電商數據離線分析平臺                 用SparkSQL、SparkStreaming，進行離線計算和實時計算業務模塊的開發。實現了用戶訪問session  分析、頁面單跳轉化率統計、熱門商品離線統計、廣告點擊流量實時統計4  個業務模塊。合理的將實際業務模塊進行技術整合與改造，項目完全涵蓋了Spark Core、Spark SQL和Spark  Streaming這三個技術框架中幾乎所有的功能點、知識點以及性能優化點

移動基站信號監測大數據                 移動通信基站信號數據采集，實時分析及移動信號監測系統。該系統利用移動與聯通兩家運營商的信令數據，通過對基站信號大數據的實時提取與分析，結合基站信號覆蓋模式、信號強弱、覆蓋區域等實際情況，實時動態采集及分析監測置信度較高、精度較高的移動基站信號監測系統。

運維大數據平臺                 銀行和金融服務行業相關系統每天產生數以 TB 計的交易、支付、渠道等各種日志數據。運維大數據平臺為迅速增長的海量數據建立全新的處理策略和維護能力，應對日趨復雜的管理需求。運維大數據通過海量日志數據分析，可以幫助銀行機構提高服務質量，占據競爭優勢。

輿情大數據平臺                 輿情大數據監測平臺系統是針對互聯網新興媒體，通過對海量網絡輿論信息進行實時的自動輿情采集，輿情分析，輿情匯總，輿情監視，并識別其中的關鍵輿情信息，及時通知到相關人員，從而第一時間應急響應，為正確輿論導向及收集網友意見提供直接支持的一套信息化平臺。