數(shù)據(jù)清洗怎么做（一）：準備工作

拿到數(shù)據(jù)表之后，先做這些準備工作，方便之后的數(shù)據(jù)清洗。

1. 給每一個sheet頁命名，方便尋找

2. 給每一個工作表加一列行號，方便后面改為原順序

3. 檢驗每一列的格式，做到每一列格式統(tǒng)一

4. 做數(shù)據(jù)源備份，防止處理錯誤需要參考原數(shù)據(jù)

5. 刪除不必要的空行、空列

數(shù)據(jù)清洗怎么做（二）：統(tǒng)一數(shù)值口徑

這是個無聊而必要的步驟。例如我們統(tǒng)計銷售任務(wù)指標，有時用合同金額有時用回款金額，口徑經(jīng)常不統(tǒng)一。統(tǒng)計起來就很麻煩。所以將不規(guī)范的數(shù)值改為規(guī)范這一步不可或缺。

數(shù)據(jù)清洗怎么做（三）：刪掉多余的空格

原始數(shù)據(jù)中如果夾雜著大量的空格，可能會在我們篩選數(shù)據(jù)或統(tǒng)計時帶來一定麻煩。如何去掉多余的空格，僅在字符間保留一個空格？

1. 手動刪除。如果只有三五個空格，這可能是最快的方式。

2. 函數(shù)法

在做數(shù)據(jù)清洗時，經(jīng)常需要去除數(shù)據(jù)兩端的空格，那么TRIM、LTRIM、RTRIM這3個函數(shù)就可以幫到你啦~

TRIM函數(shù)：主要是用來去除單元格內(nèi)容前后的空格，但不會去除字符之間的空格。表達式：=TRIM（文本）

數(shù)據(jù)清洗怎么做（四）：字段去重

強烈建議把去重放在去除空格之后，因為多個空格導(dǎo)致工具認為“顧納”和“顧 納”不是一個人，去重失敗。

按照“數(shù)據(jù)”-“刪除重復(fù)項”-選擇重復(fù)列步驟執(zhí)行即可。（單選一列表示此列數(shù)據(jù)重復(fù)即刪除，多選表示多個字段都重復(fù)才刪除。）

數(shù)據(jù)清洗怎么做（五）：填補缺失值

由于人工錄入或者數(shù)據(jù)爬蟲等多方面的原因，會出現(xiàn)缺失值的情況，這就需要我們尋找漏網(wǎng)之“數(shù)據(jù)”，填充空缺值。

如何統(tǒng)計有多少缺失值？先看ID唯一列有多少行數(shù)據(jù)，參考excel右下角的計數(shù)功能，對比就可以知道其他列缺失了多少數(shù)據(jù)。

如何定位到所有缺失值？Ctrl+G，選擇定位條件，然后選擇空值。

缺失值的處理方法：

1. 人工補全。適合數(shù)據(jù)量少的情況。

2. 刪除。適用于樣本較大的情況，樣本較小時，可能會影響最終的分析結(jié)果 。

3. 根據(jù)數(shù)據(jù)的分布情況，可以采用均值、中位數(shù)、或者眾數(shù)進行數(shù)據(jù)填充。數(shù)據(jù)均勻，均值法填充；數(shù)據(jù)分布傾斜，中位數(shù)填充。

數(shù)據(jù)清洗怎么做（六）： 用模型計算值來代替缺失值

回歸：基于完整的數(shù)據(jù)集，建立回歸方程。將已知屬性值代入方程來估計未知屬性值，以估計值來進行空值得填充。

極大似然估計：基于缺失類型為隨機缺失得條件下，假設(shè)模型對于完整的樣本是正確的，通過觀測數(shù)據(jù)的邊際分布可以對缺失數(shù)據(jù)進行極大似然估計。

數(shù)據(jù)清洗怎么做（七）：插補法

隨機插補法：從總體中隨機抽取某幾個樣本代替缺失樣本。

多重填補法：包含m個插補值的向量代替每一個缺失值的過程，要求m大于等于20。m個完整數(shù)據(jù)集合能從插補向量中創(chuàng)建。

數(shù)據(jù)清洗怎么做（八）：異常值處理

異常值：指一組測定值中與平均值的偏差超過兩倍標準差的測定值。

對異常值處理，需要具體情況具體分析，一般而言，異常值的處理方法常用有以下3種：

1. 不處理

2.用平均值替代：利用平均值來代替異常值，損失信息小，簡單高效。

視為缺失值：將異常值視為缺失值來處理，采用處理缺失值的方法來處理異常值。

數(shù)據(jù)清洗怎么做（九）：拆分單元格

按照以下步驟對合并單元格進行拆分并填充：

1. 點擊取消合并單元格

2. 空白單元格定位：點擊定位-選擇空白

3. 寫上=上個單元格

4. Ctrl+Enter

數(shù)據(jù)清洗怎么做（十）：分組計算

通過VLOOKUP函數(shù)將字段合在一起用于計算。

VLOOKUP（lookup_value，table_array，col_index_num，range_lookup）

以上是思邁特軟件Smartbi的分享，更多行業(yè)干貨可關(guān)注我們下一期的分享。思邁特軟件Smartbi是知名國產(chǎn)BI品牌，專注于商業(yè)智能BI與大數(shù)據(jù)BI分析平臺軟件產(chǎn)業(yè)的研發(fā)及服務(wù)。經(jīng)過多年持續(xù)自主研發(fā)，凝聚大量商業(yè)智能最佳實踐經(jīng)驗，整合了各行業(yè)的數(shù)據(jù)分析和決策支持的功能需求。滿足最終用戶在企業(yè)級報表、數(shù)據(jù)可視化分析、自助探索分析、數(shù)據(jù)挖掘建模、AI智能分析等大數(shù)據(jù)分析需求。

現(xiàn)個人版提供全模塊長期免費使用，有興趣的小伙伴可登陸官網(wǎng)免費試用。

責(zé)任編輯：tzh