Surat, Gujarat
6 hours ago

資料變黃金的關鍵 — 資料清理

9月 30, 2020

孫在陽老師在YouTube超過340萬人次看過他的課程 (關於孫在陽老師)

資料清理真的很重要

你知道拿到的數據有多「髒」嗎?如果這些髒的數據分析產生的結果,你相信正確性有多少?雖然數據不是分析資料者所有,但是當他人指出數據分析結果有錯誤時,幾乎都是由分析資料者承擔所有的責任,這不是公平的問題,這是專業的問題;只要在取得數據做資料清理,數據分析結果出錯的可能性會大符下降。

資料清理是什麼?

首先我們要知道什麼是資料清理。需要做資料清理分為數據分為二種,不正常數值、不合理數值。不正常數值,例如生日數據,大部份都是西元記年,小部份是民國記年,民國記年的生日數據就是不正常內容。高血壓數據,正常範圍是110–140之間,若數值350、400、450,甚至更高的數值,通常也種為異常值,我們可依數據分析目的,將這些不正常數值重新定義,決定是否要放在數據中統計分析。不合理數值,例如年齡數據是負值,銷售額數據是負數,研究日期範圍發生在1,900年前,諸如此類的數據,通常我們會使用負極值取代。在計算時,不合理值不應該加入計算。數據如此,文字類別資料也是有不正常與不合理二種情形。

如何做資料清理?

通常我們先清理不合理數值,再清理不正常數值。若是數據,不合理值可以使用負極值代替。例如血壓機可量測血壓為三位整數,所以不合理值可以用-999代替。使用IF函數,判斷數值大於999或小於0,即為不合理值,以-999代替,其他合理值以原數據代替。

資料分析變黃金

當數據沒有不合理值、不正常值,資料分析才可能得到正確結果,探究數據的真相,取得數據真實意義,精準抓住目標族群,掌握消費者需求,逐漸增高獲利。這個概念也可以說明資料探勘中「Garbage in, garbage out.」問題。

孫在陽老師於 MasterTalks 線上課程 開設的相關課程:

不懂程式也能用Excel做大數據分析


留個言

張貼前管理員會先審核您的留言


延伸閱讀

量化投資策略 — 如何實現超額收益
量化投資策略 — 如何實現超額收益

9月 30, 2020

投資專家Richard Tortoriello也寫了一本選股模型大作「Quantitative Strategies for Achieving Alpha」(中文書名:量化投資策略 — — 如何實現超額收益),結果顯示:單因子模型的超越大盤報酬率最高約6%,多因子模型最高約10%。
閱讀更多
逐筆交易5點散戶該知道的事
逐筆交易5點散戶該知道的事

9月 30, 2020

台股在2020年3月23日全面實施逐筆交易,而逐筆交易新制上路後你該注意哪5件事?
閱讀更多
逐筆交易全面上線-如何模擬下單?
逐筆交易全面上線-如何模擬下單?

9月 30, 2020

台股改為逐筆交易上線後,許多投資人因為不熟悉新的下單種類,像是ROD、IOC、FOK、市價單、限價單等等,擔心自己會下錯單,或是成交到不滿意的價格,但因此證交所推出的「逐筆交易擬真平台」,於2020年4月30日停止服務。
閱讀更多