培訓受眾:
1.系統架構師、系統分析師、高級程序員、資深開發人員。
2.牽涉到大數據處理的數據中心運行、規劃、設計負責人。
3.政府機關.金融保險、移動和互聯網等大數據來源單位的負責人。
4.高校、科研院所牽涉到大數據與分布式數據處理的項目負責人。
課程收益:
1.全面了解大數據處理技術的相關知識。
2.學習Hadoop/Yarn/Spark的核心數據分析技術
3.深入學習Mahout/MLlib挖掘工具在大數據中的使用。
4.掌握Storm流處理技術和Docker等技術與大數據挖掘結合的方法。
培訓目標
1.全面了解大數據處理技術的相關知識。
2.學習Hadoop/Yarn/Spark的核心數據分析技術
3.深入學習Mahout/MLlib挖掘工具在大數據中的使用。
4.掌握Storm流處理技術和Docker等技術與大數據挖掘結合的方法。
學員基礎
1.對IT系統設計有一定的理論與實踐經驗。
2.數據倉庫與數據挖掘處理有一定的基礎知識。
3.對Hadoop/Yarn/Spark大數據技術有一定的了解。
培訓要點
本課程從大數據挖掘分析技術實戰的角度.結合理論和實踐.全方位地介紹Mahout和 MLlib等大數據挖掘工具的開發技巧。本課程涉及的主題包括：大數據挖掘及其背景.Mahout和 MLlib大數據挖掘工具.推薦系統及電影推薦案例.分類技術及聚類分析.以及與流挖掘和Docker技術的結合.分析了大數據挖掘前景分析。
本課程教學過程中還提供了案例分析來幫助學員了解如何用Mahout和 MLlib挖掘工具來解決具體的問題.并介紹了從大數據中挖掘出有價值的信息的關鍵。
本課程不是一個泛泛的理論性、概念性的介紹課程.而是針對問題討論Mahout和 MLlib解決方案的深入課程。對于上述領域有深入的理論研究與實踐經驗.在課程中將會針對這些問題與學員一起進行研究.在關鍵點上還會搭建實驗環境進行實踐研究.以加深對于這些解決方案的理解。通過本課程學習.希望推動大數據分析挖掘項目開發上升到一個新水平。
培訓內容
第一講大數據挖掘及其背景
1)數據挖掘定義
2)Hadoop相關技術
3)大數據挖掘知識點
第二講 MapReduce/DAG計算模式
1）分布式文件系統DFS
2）MapReduce計算模型介紹
3）使用MR進行算法設計
4）DAG及其算法設計
第三講 云挖掘工具Mahout/MLib
1）Hadoop中的Mahoutb介紹
2）Spark中的Mahout/MLib介紹
3）推薦系統及其Mahout實現方法
4）信息聚類及其MLlib實現方法
5）分類技術在Mahout/MLib中的實現方法
第四講 推薦系統及其應用開發
1）一個推薦系統的模型
2）基于內容的推薦
3）協同過濾
4）基于Mahout的電影推薦案例
第五講 分類技術及其應用
1）分類的定義
2）分類主要算法
3）Mahout分類過程
4）評估指標以及評測
5）貝葉斯算法新聞分類實例
第六講 聚類技術及其應用
1）聚類的定義
2）聚類的主要算法
3）K-Means、Canopy及其應用示例
4）Fuzzy K-Means、Dirichlet及其應用示例
5）基于MLlib的新聞聚類實例
第七講 關聯規則和相似項發現
1）購物籃模型
2）Apriori算法
3）抄襲文檔發現
4）近鄰搜索的應用
第八講 流數據挖掘相關技術
1）流數據挖掘及分析
2）Storm和流數據處理模型
3）流處理中的數據抽樣
4）流過濾和Bloom filter
第九講 云環境下大數據挖掘應用
1）與Hadoop/Yarn集群應用的協作
2）與Docker等其它云工具配合
3）大數據挖掘行業應用展望
