AI回歸模型評估指標:MSE、RMSE、MAE、R2
怎么評估AI回歸模型的預測結果,計算回歸模型預測值與真實值之間的差距?這篇文章里,作者介紹了常見指標的含義與計算方式,一起來看看吧。
上文介紹了如何利用混淆矩陣、KS和AUC等指標來評估分類模型的性能,今天我們來看一下如何評估回歸模型的預測結果。
不管是分類模型還是回歸模型的評估,其本質都是為了計算真實值和預測值之間的“差異”。
分類模型的“差異”體現在分類結果是否正確,而回歸模型的“差異”則體現在預測值與真實值有多大的差距。
那么如何計算回歸模型預測值與真實值的差距呢?常見的指標有MSE、RMSE、MAE、R2,我們來看看它們的計算方法。
一、MSE、RMSE、MAE的含義和計算
我們以一個預測氣溫的回歸模型為例,模型計算出未來15天的氣溫(預測值),15天過后我們可以得到每天的實際氣溫(實際值),我們以此數據為基礎,來計算該模型預測值與實際值的差異。
最直接的計算方式,就是計算每天氣溫的差值,并把差值相加即可。
但是有可能存在負數的差值,為避免正負數的差值互相抵消的情況,我們可以把每天的差值求平方之后,再相加,就可以得到一個表現差異的總數值。
因為天數是不固定的,天數越多,總差異值肯定就越大,所以我們需要再除以天數(15天),以得到一個更加通用的評估指標——MSE。
MSE(Mean Squared Error):均方誤差,就是求出每天真實值和預測值的差值平方,求和后再除以天數。
我們看到,MSE有一個求平方的過程,但是平方會導致誤差放大,并且使差值的量綱發生變化,為了統一量綱,我們再對MSE值求一個平方根,就是RMSE。
RMSE(Root Mean Squared Error):均方根誤差,是對MSE值求平方根之后的結果。
避免正負數的差值互相抵消的方式,除了平方之外,還可以求絕對值,我們將每天的差值求絕對值,再相加除以天數,就是MAE指標了。
MAE(Mean Absolute Error):平均絕對誤差,就是求出每天真實值和預測值差值的絕對值,求和后再除以天數。
整體來說,MSE會放大差異,更容易被發現,適合在開發過程中使用。MAE采用的是更簡潔的計算,最接近真實的誤差值,常用來作為實際評估指標。而RMSE經過了平方再開方,其數值會比MAE略大一點。
二、R2的含義和計算
我們已經可以利用MSE等指標計算模型預測值和實際值的差異了,看起來好像已經夠用了,但是我們得到的是個數值,這個數可能是50、100,也可能是一萬、八千,那么到底什么樣的數值才是合理的呢?
只看MSE等求和類的指標的話,就顯得不夠直觀了,我們需要想辦法得到一個“系數”,來直觀的表達模型預測結果的好壞,這個系數就是R2。
R2(R Squared 決定系數)= (TSS – RSS)/TSS,其中TSS為總離差平方和(實際值和實際值均值之間的差值平方和),RSS為殘差平方和(實際值和預測值之間的差值平方和)。
R2的值一般都在0-1的范圍內,越接近1,說明模型預測效果越好。
當然如果預測值非常離譜,導致RSS過大,超過TSS值的話,R2也可能是負值,說明模型預測效果非常差。
總結
本文我們介紹了回歸模型的評估指標,學習完這兩篇文章之后,我們就掌握了評估模型性能的基本方法。
下篇文章,我會再詳細介紹如何評估模型的穩定性,敬請期待。
本文由 @AI小當家 原創發布于人人都是產品經理,未經許可,禁止轉載
題圖來自 Unsplash,基于 CC0 協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
R2(R Squared 決定系數)= (TSS – RSS)/TSS,其中TSS為總離差平方和(實際值和實際值均值之間的差值平方和),RSS為殘差平方和(實際值和預測值之間的差值平方和)
請問這TSS中的實際值是指的某一天的實際值么?
對,準確的說應該是“每一天的實際值”和“所有天的實際值均值”之間的差值平方和
收到,感謝