資料分析概論

本次社課很榮幸邀請到 NTU DAC Founder 之一的 Bryant 學長來向我們分享資料分析對於他的定義、資料分析的流程以及他在實務上實際應用的案例。


在這堂課結束後,你可以學到:

  • 什麼是資料分析

  • 資料分析流程及工具



資料分析是什麼?


Bryant 學長向我們分享,資料分析對他來說可以用三點簡單描述。

  • 數據驅動

  • 發現洞察,並且是與眾不同的洞察

  • 後續的行動 (Action)

  • 資料分析的核心是——藉由數字的力量,分析數字後產生洞察,並作出決策與行動



資料分析的流程


資料分析步驟


Phase 1. 資料蒐集

Step 1. 定義公司問題:在接到主管指派的任務時,不能僅僅是只看部門的問題,要仔細思考這套資料分析是否能夠為公司帶來正面影響。

  • 建議使用工具:議題樹(例如:畫出心智圖有助思考脈絡)、假說思考、金字塔原理


Step 2. 定義部門問題:定義所需的 data scope,在定義問題時也能應用議題樹、假說思考、金字塔原理幫助思考。


Step 3. 蒐集需要的資料

  • 外部資源:例如委託市調公司收集資料、自公開資訊站取得所需資料

  • 內部(利用SQL抓取內部資料、發問卷等)


Phase 2. 資料處理與分析:務必先清洗資料並作 EDA 分析,視需求決定是否建立模型

Step 4. data 清洗&處理

  • 建議使用工具:excel/python/R/SQL/BI tool(Tableau, power BI, google data studio...等)

  • 資料清洗:排除資料error、資料標準化


Step 5. EDA探索式資料分析

Bryant 學長提醒,在此階段不需要急著建model,

先稍微整理一下數據,探索式資料分析必須先行,才考慮建立模型!

  • 建議使用工具:excel/python/R/SQL/BI tool(Power BI,Tableau)


Step 6. 迭代/評估模型

  • 建議使用工具:python/R


Step 7. 選擇模型

  • 建議使用工具:python/R/google analytics/mix panel等


Phase 3. 資料呈現及影響決策:以適當的圖表表達立場、利用視覺化工具凸顯洞察,並說服利害關係人使用

Step 8. 得出insight/預測結果

  • 建議使用工具:excel/python/R/SQL/BI tool(Tableau, power BI, google data studio)


Step 9. 視覺化呈現並誘發行動

  • 建議使用工具:excel/python/R/SQL/BI tool(Tableau, power BI, google data studio)

  • 簡報技巧



商業分析常用的資料分析方法論及工具


  1. Excel / Google sheet

  2. A/B Testing

  3. RFM model:經常用在B2C產業的消費者分群模型

    • R (recency):最近一次消費。上次消費時間越近,用戶價值越大。

    • F (frequency):在一段時間內買了幾次。頻率越高,用戶價值越大。

    • M (monetary):顧客一共在產品花了多少錢。創造多少利潤,金額越高,用戶價值越大。

  4. Cohort Analysis:固定時間維度,比較不同客群的重點KPI

    • 不同獲客月份(Cohort)的單期累積消費 (Y軸表示時間維度,X軸表示客戶留存的時間長度)

-從垂直線來看:不同獲客月份的表現

-從水平線來看:同獲客月份的表現

-從斜對角來看:季節現象(seasonal effect)、行銷活動的表現

最後,Bryant 學長也提醒我們在資料分析上經常會出現的三大誤區。



小心不要犯的錯

  1. 邏輯誤區相關性,不能直接推論因果性

在判斷 A 和 B 有相關性的狀況下,要考慮以下邏輯上的五種可能,不能隨意做出結論。

  • A造成B

  • B造成A

  • A造成B,但C也會造成B (一果多因)

  • C造成A,同時C也會造成B(隱藏變因)

  • 純屬巧合


  1. 別把巧合當insight,善用統計理論檢驗顯著性,讓每個推論都信心十足。可以利用 P-value判讀、T檢定檢驗統計顯著,避免取到偏誤資料而作出錯誤推論的可能性。


  1. 數字本身沒有意義,要經過找到適當標的,經過合理比較後才有意義。

Bryant 在這裏舉了特斯拉、鮮乳坊兩者相比當例子。光是比較兩家企業同一年的營收,其實是沒有意義的,因為兩間企業的資本額、所處產業都不相同。


為什麼商業分析社要學資料分析?


資料分析能力已經成為商業分析師的大加分項,甚至是基本進入門檻,因此 Bryant 學長也提醒我們想要成為一名商業分析師,資料分析能力是必須具備的。


Bryant 學長也提到,為了成為一名商業分析師,在資料分析領域應該培養的能力有以下三點:

  • Business Intelligence 商業智慧:分析資料、從資料中得到 insight 並作出策略性決策。

  • Data visualization 資料視覺化:用圖表呈現數據,有效的圖表可以將繁雜的數據簡化成為易於吸收的內容。

  • Statistics 統計能力:有效判讀資料,不可少的是要有基本的統計觀念。


資料分析是一門數據驅動而造成 impact 的學問,相信在此堂課結束後,大家對資料分析都能掌握更清晰的輪廓。