進入大數(shù)據(jù)的真實世界-數(shù)據(jù)挖掘入門和應(yīng)用

課程背景

時移而勢變，互聯(lián)網(wǎng)帶來了“大數(shù)據(jù)（BigData）”的爆發(fā)，企業(yè)和個人被卷入了新的數(shù)字化洪流。你的客戶、你的員工已經(jīng)被悄無聲息的改變，工業(yè)時代的致勝秘籍和戰(zhàn)略空間已經(jīng)不再繼續(xù)有效，大數(shù)據(jù)給我們帶來了新的價值創(chuàng)造方式。

目前，市面上流行的大數(shù)據(jù)培訓(xùn)一部分側(cè)重于實現(xiàn)算法和公式推導(dǎo)，適合編程人士學(xué)習(xí)，但過于晦澀，需要較高的學(xué)歷基礎(chǔ)，另外一部分側(cè)重于創(chuàng)新理念和案例介紹，適合普及概念，但缺乏實戰(zhàn)性，不利于深度的理解和把握，無法為我所用。

為了彌補這些不足，融業(yè)務(wù)和技術(shù)創(chuàng)新于一體，林海老師根據(jù)長時間的理論和實踐經(jīng)驗，開發(fā)了本門課程，將會帶給學(xué)員全新的知識體驗，啟發(fā)自己的大數(shù)據(jù)思維，獲得大數(shù)據(jù)算法的框架和使用指引，可以在工作中靈活運用，幫助企業(yè)洞察問題、發(fā)現(xiàn)規(guī)律和改進方向，并能夠運用所學(xué)知識，結(jié)合公司實際情況，再造自己的數(shù)字化業(yè)務(wù)。

主要話題

數(shù)據(jù)分析思維的“破”與“立”

世界認知的重構(gòu)：數(shù)據(jù)分析的模型和算法

數(shù)據(jù)分析實戰(zhàn)：從代碼中觀測世界的變化

創(chuàng)新：“始”于問題，庖丁解牛、“終”于解決

課程大綱

第一單元 思維轉(zhuǎn)變：從報表統(tǒng)計思維進入數(shù)據(jù)分析思維

一、 入門：數(shù)據(jù)是對“事實”的觀測

二、 轉(zhuǎn)變：數(shù)據(jù)思維意味著什么

1、主動找數(shù)據(jù)變?yōu)楸粍油扑]

2、抽樣數(shù)據(jù)變?yōu)槿瘮?shù)據(jù)

3、要求精確變?yōu)闅g迎復(fù)雜

4、事后分析變?yōu)閷崟r監(jiān)控

5、專家分析變?yōu)闄C器學(xué)習(xí)

6、由流程為核心變?yōu)橐詳?shù)據(jù)為核心

7、由客戶分類變?yōu)閭€性化服務(wù)

8、由人與人連接變?yōu)槿伺c機器連接

第二單元 認知重構(gòu)：進入模型和算法統(tǒng)治的世界

一、數(shù)據(jù)分析三大核心模型

1、分類：真與假；好與壞；高、中、低。不會分類，就不會思考

2、預(yù)測：輸入變量，求得結(jié)果。代表了掌握規(guī)律的能力，生活是可預(yù)知的

3、相關(guān)性：模糊、近似、有關(guān)，是一種簡便的、粗略的全盤操控能力

二、五大初級算法

1、相關(guān)性分析：最入門、最常用、最剛需的分析方法

2、散點圖分析：最被忽略的探索性分析方法

3、概覽性分析：教科書上都不重視的全局總覽的分析方法

4、回歸分析：最容易理解的由x推導(dǎo)出y的方程式分析法

5、聚類分析：最粗暴的物以類聚人以群分的分析方法

三、六大中級算法

1、降維分析：數(shù)據(jù)太多，抓住主要數(shù)據(jù)的方法

2、決策樹分析：最容易理解的決策分析

3、關(guān)聯(lián)規(guī)則分析：貌似沒有規(guī)模，卻可以尋找一個規(guī)律

4、相似性分析：當(dāng)前最熱門的分析方法，如：人臉識別、指紋識別

5、可視化分析：河流圖、風(fēng)向圖、熱力圖等各種別具一格的數(shù)據(jù)呈現(xiàn)方式

6、文本分析：從大量的文字中快速提取關(guān)鍵信息

四、兩大大數(shù)據(jù)高級算法

1、神經(jīng)網(wǎng)絡(luò)算法：最牛逼的模擬大腦的算法，如埃爾法狗圍棋

2、支持向量機算法：實用性和準確性較強的一個機器學(xué)習(xí)算法

第三單元 操作實戰(zhàn)：從代碼中觀測到的“真實”世界

一、學(xué)會用數(shù)據(jù)分析創(chuàng)新性的解決問題

1、What：問題是什么

2、Judgement：能用數(shù)據(jù)分析解決嗎

3、Prerequisite：具備數(shù)據(jù)基礎(chǔ)嗎

4、ModelSelect：選擇哪個模型

5、Visualization：怎么呈現(xiàn)結(jié)果

6、Design：設(shè)計流程，形成文檔

二、學(xué)會用代碼去測試和逼近真相

1、數(shù)據(jù)獲取（導(dǎo)入數(shù)據(jù)、爬取數(shù)據(jù)）

2、數(shù)據(jù)探索分析、概覽分析

3、明確分析目的

4、選擇x和y

5、對格式進行轉(zhuǎn)換

6、選擇模型（模型選擇準則）

7、使用交叉驗證規(guī)則，切分數(shù)據(jù)

8、用模型進行訓(xùn)練

9、分析模型預(yù)測結(jié)果

10、確定最優(yōu)模型

11、使用和預(yù)測

12、報告和呈現(xiàn)