什麼是資料探勘
資料探勘(Data mining) 也等於 資料庫之知識發掘(KDD, Knowledge Discovery in Databases)
就是要從資料庫中找出有用的知識(規則)。
這裡講的知識就好像是,如果吃布丁不舔布丁的膜,他一定是個財富自由的人,這個不舔布丁的膜就是個規則,財富自由就是前面的規則所推斷出來的知識。
要從那裡去探勘
答案就是資料庫,阿資料庫的資料呢?
資料的來源有很多,不管是網路,線上問卷調查,購買資訊..等等,都是可以取得資料的來源,這些未整理的資料被稱為raw data,經過處理後就會放入資料庫中,比較常聽到的大概是MySQL,Oracle資料庫,都是關聯式資料庫。
1.線上資料庫(on-line database)
2. 資料倉儲(data warehouse)
3.關聯式資料庫(Relational database)
4. 其他
資料探勘的目地
1.為了要賺更多的錢。
這裡指的賺錢是指觀察客戶的購買行為,而找出有可能的商品組合,就像你買一台PS5一定會買遊戲光碟,就會出現綑綁包,或是幾片遊戲多少錢的促銷。
2.預測天氣、股票、地震...等等。
蒐集以往舊有的資料,預測出有可能的結果。
資料探勘火了?
因為這三樣技術的進步所以火了。
1.蒐集資料
資料庫跟網路越來越發達,變得比以前更容易去獲得資料&整理。
2.硬體
設備越來越好,以前可能用到一半都會當機,現在可以越級打怪了。
3.軟體
資料探勘的演算法(統計學、機器學習...等等),經過時間的淬鍊,越來越強大了。
資料儲存的發展史
要開始講歷史了,就像吃千層蛋糕會一層一層的吃,吃銀絲卷會撕開一絲一絲的吃。
1.檔案系統(電腦...)
生於1960年, 歷史性的靜態資料 。從你出生到現在的這一段過程就是歷史,因為無法改變過去所以是靜態。
2.資料庫系統(階層、網路、關聯 資料庫...)
生於1970年, 即時性單層次的動態資料。 我可以很快阿,去找一個人打架,沒想到他偷襲,改變了我原本贏的局面。
3.資料倉儲系統(線上分析處理OLAP、多維度資料模型...)
生於1990年, 歷史性多層次。我的照片阿,都跟很多美女合照,不要瞎掰好嗎。
4.資料探勘系統(人工智慧、大量資料處理...)
生於現代, 預測未來。我就算餓死了也不會吃你一口東西,唉真香。
統整一下上面的系統所關注的資料。
檔案系統、資料庫系統 :活在過去,不整理。 (沒有未來)
資料倉儲系統: 只拿別人整理過的。 (厚顏無恥)
資料探勘系統: 拿別人整理過的去使用。 (卑鄙源之助)
絕望金字塔
每個人不管在哪個階層,都有他的道理所在,所以不管在哪裡保持開心還是最重要的。
留言列表