起點課堂會員權益
職業體系課特權
線下行業大會特權
個人IP打造特權
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導直播
12場專業技能直播
會員專屬社群
榮耀標識機器學習流程，以及實踐應用
編輯導語：?機器學習是一種數據分析技術，讓計算機執行人和動物與生俱來的活動：從經驗中學習，也被稱為預測分析；本文作者分享了關于機器學習的流程以及實踐應用，我們一起來看一下。
我所理解的機器學習是一種能夠實現人工智能的技術，建立能從經驗（數據）中進行學習的模型，從而使這個模型可以達到自行處理此類數據的能力。
也可以理解為：通過大量的數據，訓練出一個能處理此類數據的模型，使得這個模型可以根據已知的數據，準確率很高的判斷出未知的數據，從而使得人類能夠采取正確的方法去處理某些事情。
想要了解機器學習你需要知道以下幾點：
一、機器學習的流程
從實際的應用場景出發，要訓練出來一個能夠適應某場景的模型需要經過以下幾步：
1. 場景解析
場景解析就是將業務邏輯，抽象成為通過算法能夠解決的問題。
比如：做一個心臟病預測系統，那么就可以抽象為二分類問題——要么有心臟病，要么沒有；然后，根據已有的數據看看有沒有目標值，可以判斷出：是監督學習還是無監督學習，還是半監督學習；從而，選擇出能夠處理好此類數據的算法。
（不同場景采用的算法是不同的）高頻的有以下幾種類型的場景：
- 分類場景：廣告投放預測，網站用戶點擊預測。
- 聚類場景：人群劃分，產品種類劃分。
- 回歸場景：商品購買量預測和股票成交額預測。
- 文本分析類場景：新聞的標簽提取，文本自動分類和文本關鍵信息抽取。
- 關系圖算法：社交網絡關系，網絡關系挖掘和金融風險控制。
- 模式識別：語音識別，圖像識別和手寫文字識別。
2. 數據預處理
場景解析完，選擇適合處理此類數據的算法后，需要對數據進行預處理——就是對數據進行清洗工作，對空值、亂碼進行處理。
數據預處理的主要目的就是：減少噪音數據對訓練數據的影響。
3. 特征工程
特征工程是機器學習中最重要的一部分，因為根據已有的訓練數據，可選用的算法是有限的；那么在同樣的算法下特征的選取是不同的，100個人對一件事情會有100種看法，也就有100種特征，最后特征的質量決定模型的好壞。
特征工程需要做的包括：特征抽象、特征重要性的評估、特征衍生、特征降維。
4. 模擬訓練
在經過以上過成后，進入訓練模塊，生成模型。
5. 模型評估
對生成模型的成熟度進行評估。
6. 離線/在線服務
在實際運用過程中，需要配合調度系統來使用。
案例場景：每天將用戶當日新增的數據量流入數據庫表里，通過調度系統啟用離線訓練服務，生成最新的離線模型，然后通過在線預測服務進行實時預測。
二、數據源結構
結構化數據：機構化數據是指以矩陣結構儲存的數據。
數據庫里的數據就是以這種結構存在，可以通過二維結構來顯示，如下圖：
結構化數據中，有兩個重要的概念需要介紹一下：特征列和目標列。
上圖里age，sex，cp列都是特征列，ifhealth是目標列。
非結構化數據：典型的非結構化數據是圖像、文本、語音等文件；這些數據不能以矩陣的結構儲存，目前的做法也是通過把非結構化的數據轉化為二進制儲存格式。
半結構化數據：半結構化數據是指按照一定的結構儲存，但不一定是二維的數據庫行存儲形態的數據；還有一種是以二維數據形態儲存的，但某些字段是文本類型，某些字段是數值類型的，如下圖：
三、算法分類
監督學習：是指每個進入算法的訓練樣本數據都有對應的目標值。
如上圖2所示，Ifhealth為目標值。
常見的監督學習算法：
無監督學習：就是訓練樣本的數據里沒有目標列，不依賴于打標好的機器學習算法。
那么，這樣的數據可能對一些分類和回歸的場景就不太適合了。
無監督學習主要是來解決一些聚類場景的問題。
半監督學習：
通過上面的監督學習和無監督學習的概念，再來看半監督學習就比較好理解了。
也就是說，訓練數據里只有部分數據是打標的。目前，半監督學習的算法，都是監督學習算法的變形。
強化學習：
強化學習是一種比較復雜的機器學習種類。強調的是：系統與外界不斷的交換，獲得外界的反饋，然后決定自身的行為。
如：無人駕駛，阿爾法狗下圍棋就是強化學習的應用。
四、過擬合問題（欠擬合這里不做詳細的介紹）
過擬合是數據挖掘（通過大量數據，訓練模型的過程也稱為數據挖掘）領域中最常見的問題，是指：通過訓練集訓練了一個模型，這個模型對于訓練集的預測準確率很高，可以達到95%以上；但是換一份兒數據集進行預測，準確率大幅度下降。
出現這種情況的原因可能是：訓練的過擬合現象。
導致過擬合問題的原因有以下三種：
- 訓練數據集樣本單一。
- 訓練樣本噪音數據干擾過大。
- 模型過于復雜。
五、結果評估
機器學習最終的目的是生成模型。
模型生成后需要一些指標來評估這個模型的好壞。
常用到的概念有：精確率，召回率，F1值，ROC和AUC幾種。
首先介紹一下精確率，召回率和F1值，這3個指標是由：TP，TN，FP，FN這4個值計算而來的（這里不做解釋了）。
- 精確率=TP/（TP+FP）
- 召回率=TP/（TP+FN）
- F1=（2*精確率*召回率）/（精確率*召回率）
ROC曲線是常用的二分類場景的模型評估算法曲線，下圖齒狀弧形曲線就是ROC曲線。
如圖所示：
通過ROC曲線可以清晰的展示出來，只要模型曲線越來越接近左上角就說明模型的效果越好。
AUC的值是ROC與橫軸所圍起來的面積（圖中帶陰影的部分），這個AUC的值越大說明模型的效果越好。
AUC的值取0～1之間，通常大于0.5，當AUC的值大于0.9以上時，證明這個模型的效果比較好。
以上對機器學習的流程，和一些概念做了解釋，但距離真正可以上手操作還有很遠的距離；如非結構化數據和半結構化數據，如何轉化為結構化數據？特征抽象，特征衍生，特征降維如何操作？等等，實際的操作問題，還需要一定的篇幅來介紹。
本文由 @夢想在起飛 原創發布于人人都是產品經理，未經許可，禁止轉載
題圖來自 Unsplash，基于CC0協議。
厲害，學習了
可以轉截你這篇文章？
可以的，但需要標明原創作者，謝謝??