大數(shù)據(jù)培訓_數(shù)據(jù)預(yù)處理之缺失值處理方法

1. 數(shù)據(jù)缺失原因

在實際業(yè)務(wù)中，不可避免的會出現(xiàn)數(shù)據(jù)缺失的現(xiàn)象，總結(jié)下來大致有如下幾種情形。

?人為疏忽、機器故障等客觀因素導致信息缺失。

?人為刻意隱瞞部分數(shù)據(jù)。比如在數(shù)據(jù)表中，有意將一列屬性視為空值，此時缺失值就可看作是一種特殊的特征值。

?數(shù)據(jù)本身不存在，比如銀行做用戶信息收集時，對學生群體來說工資這一屬性不存在，因此在數(shù)據(jù)表里顯示為空值。

?系統(tǒng)實時性能要求較高。

?歷史局限性導致數(shù)據(jù)收集不完整。

2. 數(shù)據(jù)缺失影響

機器學習里有一句名言：數(shù)據(jù)和特征決定了機器學習的上限，而模型和算法的應(yīng)用只是逼近這個上限。因此高質(zhì)量的數(shù)據(jù)對建立好的數(shù)據(jù)模型有著至關(guān)重要的作用。

數(shù)據(jù)集中缺少部分數(shù)據(jù)可以降低模型過擬合機率，但也存在模型偏差過大的風險，因為沒有正確地分析變量的行為和關(guān)系，從而導致錯誤的預(yù)測或分類。

3. 數(shù)據(jù)處理常見處理方式

數(shù)據(jù)缺失原因多種多樣，針對不同的缺失原因，數(shù)據(jù)缺失值的處理方式也各不相同。值得注意的是，有時屬性缺失并不意味著數(shù)據(jù)缺失，比如，銀行收集客戶信息時，學生在“工資”這一欄為空值。缺失本身是包含有價值的信息的。因此要結(jié)合具體業(yè)務(wù)場景、數(shù)據(jù)場景選擇合適的數(shù)據(jù)缺失值處理方式。

缺失值處理方法眾多，總結(jié)下來為三種：

?刪除

?填充

?不處理

刪除

填充

基于統(tǒng)計學原理，根據(jù)初始數(shù)據(jù)集中非缺失對象取值的分布情況來對一個缺失值進行填充。

填充方式包含人工填充、特殊值填充、平均值填充、熱卡填充、KNN、預(yù)測模型、組合完整化方法等。

本節(jié)只詳細介紹

n填充

nKNN

n回歸

n變量映射

n其他詳細信息見“更多信息”。

不處理

補齊的缺失值畢竟不是原始數(shù)據(jù)，不一定符合客觀事實。對數(shù)據(jù)的填充在一定程度上改變了數(shù)據(jù)的原始分布，也不排除加入了噪音節(jié)點的可能性。

因此，對于一些無法應(yīng)對缺失值的模型，可以用缺失值填充的方式補齊缺失數(shù)據(jù)。但有些模型本身可以容忍一定的數(shù)據(jù)缺失情況，此時可以選擇不處理的方式，比如Xgboost模型。