Python機(jī)器學(xué)習(xí)算法實(shí)戰(zhàn)

【課程目標(biāo)】

本課程為高級(jí)課程，專注于機(jī)器學(xué)習(xí)算法，原理，以及算法實(shí)現(xiàn)及優(yōu)化。

通過本課程的學(xué)習(xí)，達(dá)到如下目的：

1、 熟悉常見的機(jī)器學(xué)習(xí)的算法。

2、 掌握機(jī)器學(xué)習(xí)的算法原理，以及數(shù)據(jù)推導(dǎo)。

3、 學(xué)會(huì)使用Python來實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法，以及優(yōu)化算法。

4、 掌握scikit-learn擴(kuò)展庫來實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法。

【授課時(shí)間】

2-3天時(shí)間

【授課對(duì)象】

IT系統(tǒng)部、大數(shù)據(jù)系統(tǒng)開發(fā)部、大數(shù)據(jù)建模等IT技術(shù)人員。

【學(xué)員要求】

本課程只講算法實(shí)現(xiàn)，不涉及完整的數(shù)據(jù)建模和模型使用，所以要求學(xué)員之前已經(jīng)掌握數(shù)據(jù)建模基礎(chǔ)，熟悉建模過程。

1、 每個(gè)學(xué)員自備一臺(tái)便攜機(jī)(必須)。

2、 要求有Python開發(fā)基礎(chǔ)，事先安裝Python 3.9版本以上。

3、 要求有基本的數(shù)據(jù)分析和數(shù)據(jù)挖掘的知識(shí)。

注：講師現(xiàn)場提供開源的安裝程序、擴(kuò)展庫，以及現(xiàn)場分析的數(shù)據(jù)源。

【授課方式】

機(jī)器學(xué)習(xí)任務(wù) + 算法原理 + 數(shù)學(xué)推導(dǎo) + Python實(shí)現(xiàn)

從任務(wù)出發(fā)，了解算法原理，以及數(shù)學(xué)推導(dǎo)過程，全過程演練操作，讓學(xué)員在分析、分享、講授、總結(jié)、自我實(shí)踐過程中獲得能力提升。

【課程大綱】

第一部分： 機(jī)器學(xué)習(xí)基礎(chǔ)

1、 機(jī)器學(xué)習(xí)簡介

2、 機(jī)器學(xué)習(xí)的種類

? 監(jiān)督學(xué)習(xí)/無監(jiān)督學(xué)習(xí)/半監(jiān)督學(xué)習(xí)/強(qiáng)化學(xué)習(xí)

? 批量學(xué)習(xí)和在線學(xué)習(xí)

? 基于實(shí)例與基于模型

3、 機(jī)器學(xué)習(xí)的主要戰(zhàn)挑

? 數(shù)據(jù)量不足

? 數(shù)據(jù)質(zhì)量差

? 無關(guān)特征

? 過擬合/擬合不足

4、 機(jī)器學(xué)習(xí)任務(wù)

? 監(jiān)督：分類、回歸

? 無監(jiān)督：聚類、降維、關(guān)聯(lián)規(guī)則

5、 機(jī)器學(xué)習(xí)基本過程

6、 機(jī)器學(xué)習(xí)常用庫

第二部分： 回歸算法實(shí)現(xiàn)

1、 建模的本質(zhì)，其實(shí)是一個(gè)最優(yōu)化問題

2、 回歸模型的基礎(chǔ)

3、 基本概念：損失函數(shù)

4、 線性回歸常用算法

? 普通最小二乘法OLS

? 梯度下降算法

? 牛頓法/擬牛頓法

5、 最小二乘法

a) 數(shù)學(xué)推導(dǎo)

b) OLS存在的問題

6、 過擬合解決方法：正則化

? 嶺回歸（Ridge）

? 套索回歸Lasso

? ElasticNet回歸

? 各種算法的適用場景

7、 超大規(guī)模數(shù)據(jù)集的回歸模型：迭代算法

? 梯度概念

? 梯度下降/上升算法

? 批量梯度BGD/隨機(jī)梯度SGD/小批量梯度MBGD

? 學(xué)習(xí)率的影響

? 早期停止法

8、 梯度算法的關(guān)鍵問題

9、 牛頓法/擬牛頓法

? 泰勒公式(Taylor)

? 牛頓法(Newton)

? 擬牛頓法(Quasi-Newton)的優(yōu)化

2 DFP/BFGS/L-BFGS

10、 算法比較

第三部分： 邏輯回歸算法

1、 邏輯回歸基礎(chǔ)

2、 LR的常用算法

? 最大似然估計(jì)法

? 梯度算法

? 牛頓法

3、 最大似然估計(jì)法

? 似然函數(shù)/損失函數(shù)

? 數(shù)學(xué)推導(dǎo)

4、 模型優(yōu)化

? 迭代樣本的隨機(jī)選擇

? 變化的學(xué)習(xí)率

5、 邏輯回歸+正則項(xiàng)

6、 求解算法與懲罰項(xiàng)的關(guān)系

7、 多元邏輯回歸處理

? ovo

? ovr

? 優(yōu)缺點(diǎn)比較

8、 邏輯回歸建模實(shí)戰(zhàn)

案例：用sklearn庫實(shí)現(xiàn)銀行貸款違約預(yù)測

案例：訂閱者用戶的典型特征（二元邏輯回歸）

案例：通信套餐的用戶畫像（多元邏輯回歸）

第四部分： 決策樹算法

1、 決策樹簡介

演練：識(shí)別銀行欠貨風(fēng)險(xiǎn)，提取欠貸者的特征

2、 決策樹的三個(gè)關(guān)鍵問題

? 最優(yōu)屬性選擇

2 熵、基尼系數(shù)

2 信息增益、信息增益率

? 屬性最佳劃分

2 多元?jiǎng)澐峙c二元?jiǎng)澐?/span>

2 連續(xù)變量最優(yōu)劃分

? 決策樹修剪

2 剪枝原則

2 預(yù)剪枝與后剪枝

3、 構(gòu)建決策樹的算法

? ID3、C4.5、C5.0

? CART

4、 決策樹的超參優(yōu)化

5、 決策樹的解讀

6、 決策樹建模過程

案例：商場酸奶購買用戶特征提取

案例：客戶流失預(yù)警與客戶挽留

案例：識(shí)別拖欠銀行貨款者的特征，避免不良貨款

案例：識(shí)別電信詐騙者嘴臉，讓通信更安全

案例：電力竊漏用戶自動(dòng)識(shí)別

第五部分： 神經(jīng)網(wǎng)絡(luò)算法

1、 神經(jīng)網(wǎng)絡(luò)簡介（ANN）

2、 神經(jīng)元基本原理

? 加法器

? 激活函數(shù)

3、 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

? 隱藏層數(shù)量

? 神經(jīng)元個(gè)數(shù)

4、 神經(jīng)網(wǎng)絡(luò)的建立步驟

5、 神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題

6、 BP算法實(shí)現(xiàn)

7、 MLP多層神經(jīng)網(wǎng)絡(luò)

8、 學(xué)習(xí)率的設(shè)置

案例：評(píng)估銀行用戶拖欠貨款的概率

案例：神經(jīng)網(wǎng)絡(luò)預(yù)測產(chǎn)品銷量

第六部分： 線性判別算法

1、 判別分析簡介

2、 判別分析算法

? 中心和方差

? 類間散席Sb

? 類內(nèi)散席Sw

3、 特征值和特征向量

4、 多分類LDA算法

5、 算法實(shí)戰(zhàn)

案例：MBA學(xué)生錄取判別分析

案例：上市公司類別評(píng)估

第七部分： 最近鄰算法（KNN）

1、 KNN的基本原理

2、 K近鄰的關(guān)鍵問題

? 距離公式

? 投票機(jī)制

3、 KNN算法實(shí)現(xiàn)

? Brute（蠻力計(jì)算）

? Kd_tree（KD樹）

? Ball_tre（球樹）

4、 算法比較

第八部分： 貝葉斯算法（NBN）

1、 貝葉斯簡介

2、 貝葉斯分類原理

? 先驗(yàn)概率和后驗(yàn)概率

? 條件概率和類概率

3、 常見貝葉斯網(wǎng)絡(luò)

4、 計(jì)算類別屬性的條件概率

5、 估計(jì)連續(xù)屬性的條件概率

6、 預(yù)測分類概率（計(jì)算概率）

7、 拉普拉斯修正

案例：評(píng)估銀行用戶拖欠貨款的概率

第九部分： 支持向量機(jī)算法（SVM）

1、 支持向量機(jī)簡介

? 適用場景

2、 支持向量機(jī)原理

? 支持向量

? 最大邊界超平面

3、 線性不可分處理

? 松弛系數(shù)

4、 非線性SVM分類

5、 常用核函數(shù)

? 線性核函數(shù)

? 多項(xiàng)式核

? 高斯RBF核

? 核函數(shù)的選擇原則

6、 SMO算法

第十部分： 模型集成優(yōu)化篇

1、 模型的優(yōu)化思想

2、 集成模型的框架

? Bagging

? Boosting

? Stacking

3、 集成算法的關(guān)鍵過程

? 弱分類器如何構(gòu)建

? 組合策略：多個(gè)弱學(xué)習(xí)器如何形成強(qiáng)學(xué)習(xí)器

4、 Bagging集成算法

? 數(shù)據(jù)/屬性重抽樣

? 決策依據(jù)：少數(shù)服從多數(shù)

? 隨機(jī)森林RandomForest

5、 Boosting集成算法

? 基于誤分?jǐn)?shù)據(jù)建模

? 樣本選擇權(quán)重更新

? 決策依據(jù)：加權(quán)投票

? AdaBoost模型

6、 GBDT模型

7、 XGBoost模型

8、 LightGBM模型

第十一部分： 聚類分析（客戶細(xì)分）實(shí)戰(zhàn)

1、 聚類基本原理

2、 K均值聚類算法

? K均值算法

3、 距離計(jì)算公式

? 閔可夫斯基距離(Minkowski Distance)

? 曼哈頓距離(Manhattan Distance)

? 歐氏距離(Euclidean Distance)

? 切比雪夫距離(Chebyshev Distance)

? 余弦距離(Cosine)

? Pearson相似距離

? 馬哈拉諾比斯距離（Mahalanobis）

? 漢明距離(Hamming distance)

? 杰卡德相似系數(shù)(Jaccard similarity coefficient)

? 相對(duì)熵（K-L距離）

4、 K均值算法的關(guān)鍵問題

? 初始中心的選取方式

? 最優(yōu)K值的選取

5、 聚類算法的評(píng)價(jià)方法

? Elbow method（手肘法）

? Calinski-Harabasz Index（CH準(zhǔn)則法）

? Silhouette Coefficient（輪廓系數(shù)法）

? Gap Statistic（間隔統(tǒng)計(jì)量法）

? Canopy算法

6、 算法實(shí)戰(zhàn)

案例：使用SKLearn實(shí)現(xiàn)K均值聚類

第十二部分： 關(guān)聯(lián)規(guī)則算法

1、 關(guān)聯(lián)規(guī)則基本原理

2、 常用關(guān)聯(lián)規(guī)則算法

? Apriori算法

2 發(fā)現(xiàn)頻繁集

2 生成關(guān)聯(lián)規(guī)則

? FP-Growth算法

2 構(gòu)建FP樹

2 提取規(guī)則

3、 算法實(shí)戰(zhàn)

案例：使用apriori庫實(shí)現(xiàn)關(guān)聯(lián)分析

案例：中醫(yī)證型關(guān)聯(lián)規(guī)則挖掘

第十三部分： 協(xié)同過濾算法

1、 協(xié)同過濾基本原理

2、 協(xié)同過濾的兩各類型

? 基于用戶的協(xié)同過濾UserCF

? 基于物品的協(xié)同過濾ItemCF

3、 相似度評(píng)估常用公式

4、 UserCF算法實(shí)現(xiàn)

? 計(jì)算用戶間的興趣相似度

? 篩選前K個(gè)相似用戶

? 合并相似用戶購買過的物品集

? 剔除該用戶已經(jīng)購買過的產(chǎn)品，得到候選物品集

? 計(jì)算該用戶對(duì)物品的喜歡程度，物品集排序

? 優(yōu)先推薦前N個(gè)物品

5、 ItemCF算法實(shí)現(xiàn)

? 計(jì)算物品間的相似度

? 篩選前K個(gè)喜歡的物品

? 合并與前K個(gè)物品相似的前L個(gè)物品集

? 剔除該用戶已經(jīng)購買過的物品，得到候選物品集

? 計(jì)算該用戶到候選物品的喜愛程度，物品排序

? 優(yōu)先推薦前N個(gè)物品

6、 關(guān)于冷啟動(dòng)問題

7、 協(xié)同過濾算法比較

結(jié)束：課程總結(jié)與問題答疑。