Python實現(xiàn)大數(shù)據(jù)挖掘技術培訓

【課程目標】

Python已經(jīng)成為數(shù)據(jù)分析和數(shù)據(jù)挖掘的首選語言，作為除了Java、C/C++/C#外最受歡迎的語言。

本課程基于Python工具來實現(xiàn)大數(shù)據(jù)的數(shù)據(jù)分析和數(shù)據(jù)挖掘項目。基于業(yè)務問題，在數(shù)據(jù)挖掘標準過程指導下，采用Python分析工具，實現(xiàn)數(shù)據(jù)挖掘項目的每一步操作，從數(shù)據(jù)預處理、數(shù)據(jù)建模、數(shù)據(jù)可視化，到最終數(shù)據(jù)挖掘結(jié)束，幫助學員掌握Python用于數(shù)據(jù)挖掘，提升學員的數(shù)據(jù)化運營及數(shù)據(jù)挖掘的能力。

通過本課程的學習，達到如下目的：

1、 全面掌握Python語言以及其編程思想。

2、 掌握常用擴展庫的使用，特別是數(shù)據(jù)挖掘相關庫的使用。

3、 學會使用Python完成數(shù)據(jù)挖掘項目整個過程。

4、 掌握利用Python實現(xiàn)可視化呈現(xiàn)。

5、 掌握數(shù)據(jù)挖掘常見算法在Python中的實現(xiàn)。

【授課時間】

2~5天時間

（全部模塊講完需要5天時間，可以根據(jù)時間需求拆分內(nèi)容模塊）。

【授課對象】

業(yè)務支持部、IT系統(tǒng)部、大數(shù)據(jù)系統(tǒng)開發(fā)部、大數(shù)據(jù)分析中心、網(wǎng)絡運維部等相關技術人員。

【學員要求】

課程為實戰(zhàn)課程，要求：

1、 每個學員自備一臺便攜機(必須)。

2、 便攜機中事先安裝好Python 3.6版本及以上。

注：講師現(xiàn)場提供開源的安裝程序、擴展庫，以及現(xiàn)場分析的數(shù)據(jù)源。

【授課方式】

語言基礎 + 挖掘模型 + 案例演練 + 開發(fā)實踐 + 可視化呈現(xiàn)

采用互動式教學，圍繞業(yè)務問題，展開數(shù)據(jù)分析過程，全過程演練操作，讓學員在分析、分享、講授、總結(jié)、自我實踐過程中獲得能力提升。

【課程大綱】

第一部分： Python語言基礎

目的：掌握基本的Python編程思想與編程語句，熟悉常用數(shù)據(jù)結(jié)構(gòu)的操作

1、 Python簡介

2、 開發(fā)環(huán)境搭建

? Python的安裝

? 擴展庫的安裝

3、 掌握Python的簡單數(shù)據(jù)類型

?  字符串的使用及操作

? 整數(shù)、浮點數(shù)

4、 掌握基本語句：

? if、while、for、print等

? 基本運算：

? 函數(shù)定義、參數(shù)傳遞、返回值

5、 掌握復雜的數(shù)據(jù)類型：列表/元組

? 列表操作：訪問、添加、修改、刪除、排序

? 列表切片、復制等

? 列表相關的函數(shù)、方法

? 元組的應用

6、 復雜數(shù)據(jù)類型：字典

? 創(chuàng)建、訪問、修改、刪除、遍歷

? 字典函數(shù)和方法

7、 復雜數(shù)據(jù)類型：集合

8、 掌握面向?qū)ο缶幊趟枷?/span>

? 創(chuàng)建類、繼承類

? 模塊

9、 函數(shù)定義、參數(shù)傳遞、返回值

10、 標準庫與擴展庫的導入

11、 異常處理:try-except塊

演練：基本的Python編程語句

第二部分： Python擴展庫

目的：掌握數(shù)據(jù)集結(jié)構(gòu)及基本處理方法，進一步鞏固Python語言

1、 數(shù)據(jù)挖掘常用擴展庫介紹

? Numpy數(shù)組處理支持

? Scipy矩陣計算模塊

? Matplotlib數(shù)據(jù)可視化工具庫

? Pandas數(shù)據(jù)分析和探索工具

? StatsModels統(tǒng)計建模庫

? Scikit-Learn機器學習庫

? Keras深度學習（神經(jīng)網(wǎng)絡）庫

? Gensim文本挖掘庫

2、 數(shù)據(jù)集讀取與操作：讀取、寫入

? 讀寫文本文件

? 讀寫CSV文件

? 讀寫Excel文件

? 從數(shù)據(jù)庫獲取數(shù)據(jù)集

3、 數(shù)據(jù)集的核心數(shù)據(jù)結(jié)構(gòu)（Pandas數(shù)據(jù)結(jié)構(gòu)）

? Dataframe對象及處理方法

? Series對象及處理方法

演練：用Python實現(xiàn)數(shù)據(jù)的基本統(tǒng)計分析功能

第三部分： 數(shù)據(jù)可視化處理

目的：掌握作圖擴展庫，實現(xiàn)數(shù)據(jù)可視化

1、 常用的Python作圖庫

? Matplotlib庫

? Pygal庫

2、 實現(xiàn)分類匯總

演練：按性別統(tǒng)計用戶人數(shù)

演練：按產(chǎn)品+日期統(tǒng)計各產(chǎn)品銷售金額

3、 各種圖形的畫法

? 直方圖

? 餅圖

? 折線圖

? 散點圖

4、 繪圖的美化技巧

演練：用Python庫作圖來實現(xiàn)產(chǎn)品銷量分析，并可視化

第四部分： 數(shù)據(jù)理解和數(shù)據(jù)準備

目的：掌握數(shù)據(jù)預處理的基本環(huán)節(jié)，以及Python的實現(xiàn)

1、 數(shù)據(jù)預處理

? 異常值處理：3σ準則，IQR準則

? 缺失值插補：均值、拉格朗日插補

? 數(shù)據(jù)篩選/抽樣

? 數(shù)據(jù)的離散化處理

? 變量變換、變量派生

2、 數(shù)據(jù)的基本分析

? 相關分析：原理、公式、應用

? 方差分析：原理、公式、應用

? 卡方分析：原理、公式、應用

? 主成分分析：降維

案例：用Python實現(xiàn)數(shù)據(jù)預處理及數(shù)據(jù)準備

第五部分： 分類預測模型實戰(zhàn)

1、 常見分類預測的模型與算法

2、 如何評估分類預測模型的質(zhì)量

? 查準率

? 查全率

? ROC曲線

3、 邏輯回歸分析模型

? 邏輯回歸的原理

? 邏輯回歸建模的步驟

? 邏輯回歸結(jié)果解讀

案例：用sklearn庫實現(xiàn)銀行貸款違約預測

4、 決策樹模型

? 決策樹分類的原理

? 決策樹的三個關鍵問題

? 決策樹算法與實現(xiàn)

案例：電力竊漏用戶自動識別

5、 決策樹算法

? 最優(yōu)屬性選擇算法：ID3、ID4.0、ID5.0

? 連續(xù)變量分割算法

? 樹剪枝：預剪枝、后剪枝

6、 人工神經(jīng)網(wǎng)絡模型（ANN）

? 神經(jīng)網(wǎng)絡概述

? 神經(jīng)元工作原理

? 常見神經(jīng)網(wǎng)絡算法（BP、LM、RBF、FNN等）

案例：神經(jīng)網(wǎng)絡預測產(chǎn)品銷量

7、 支持向量機（SVM）

? SVM基本原理

? 維災難與核心函數(shù)

案例：基于水質(zhì)圖像的水質(zhì)評價

8、 貝葉斯分析

? 條件概率

? 常見貝葉斯網(wǎng)絡

第六部分： 數(shù)值預測模型實戰(zhàn)

1、 常用數(shù)值預測的模型

? 通用預測模型：回歸模型

? 季節(jié)性預測模型：相加、相乘模型

? 新產(chǎn)品預測模型：珀爾曲線與龔鉑茲曲線

2、 回歸分析概念

3、 常見回歸分析類別

4、 回歸分析常見算法

? 梯度上升/下降法

? 普通最小二乘法OLS

? 局部加權(quán)線性回歸LWLR

? 嶺回歸（RR）

? 套索回歸Lasso

? ElasticNet回歸

第七部分： 聚類分析（客戶細分）實戰(zhàn)

1、 客戶細分常用方法

2、 聚類分析（Clustering）

? 聚類方法原理介紹及適用場景

? 常用聚類分析算法

? 聚類算法的評價

案例：使用SKLearn實現(xiàn)K均值聚類

案例：使用TSNE實現(xiàn)聚類可視化

3、 RFM模型分析

? RFM模型，更深入了解你的客戶價值

? RFM模型與市場策略

案例：航空公司客戶價值分析

第八部分： 關聯(lián)規(guī)則分析實戰(zhàn)

1、 關聯(lián)規(guī)則概述

2、 常用關聯(lián)規(guī)則算法

? Apriori算法

2 發(fā)現(xiàn)頻繁集

2 生成關聯(lián)規(guī)則

? FP-Growth算法

2 構(gòu)建FP樹

2 提取規(guī)則

3、 時間序列分析

案例：使用apriori庫實現(xiàn)關聯(lián)分析

案例：中醫(yī)證型關聯(lián)規(guī)則挖掘

第九部分： 案例實戰(zhàn)（學員主導，老師現(xiàn)場指導）

1、 電商用戶行為分析及服務推薦

2、 基于基站定位數(shù)據(jù)的商圈分析

結(jié)束：課程總結(jié)與問題答疑。