A/Bテストのための因果推論プラットフォーム
Causal Inference
Bayesian Statistics
A/B Testing
Python
ベイズ分析とCausal MLでマーケティングキャンペーンの実際の影響を測定
背景と課題
ビジネス課題：メールキャンペーンのコンバージョンへの実際の影響は？
従来のA/Bテストは「違いがあるか？」に答えます。しかし意思決定者はより微妙な答えを必要としています：
- メールAがBより良い確率は？
- 介入が最も効果的な顧客セグメントは？
- 単なる相関ではなく、介入の因果効果は？
このプロジェクトでは、これらの質問に答える完全な因果推論プラットフォームを実装します。
データセット
Hillstrom Email Marketingデータセット（マーケティング分析の定番）：
- 64,000人のEコマース顧客
- 3グループ：Mens E-Mail、Womens E-Mail、No E-Mail（コントロール）
- メトリクス：訪問（はい/いいえ）、コンバージョン（はい/いいえ）、支出額
アプローチと方法論
1. ベイズA/Bテスト分析
単純な有意性検定（p値）ではなく、ベイズアプローチは以下を提供：
- リフトの95%信用区間
- 処置が優れている確率（P(Best)）
- 効果の完全な分布
2. Causal ML - 異質性効果（CATE）
平均効果はセグメント間の重要な変動を隠すことが多い。条件付き平均処置効果（CATE）は、介入に最もよく反応する人を特定します。
解釈のためにSHAPを使用したX-Learnerを使用。
3. 推薦API
顧客特徴に基づいてリアルタイム推薦を提供するFastAPI。
主要な結果
ベイズ分析
| グループ | コンバージョン率 | コントロール比リフト | P(Best) |
|---|---|---|---|
| コントロール | 約5.0% | - | 0.00 |
| Mens E-Mail | 約5.8% | +16% | 0.92 |
| Womens E-Mail | 約5.4% | +8% | 0.78 |
異質性効果
「Mens」メールから最も恩恵を受ける顧客：
- 購入履歴が多い（履歴 > $200）
- 最近の購入者（recency < 6ヶ月）
- すでに「mens」顧客（このカテゴリでの過去の購入）
ビジネス推奨
- 履歴が多い顧客をメールで優先的にターゲット
- 購入履歴に基づいてMens vs Womensをパーソナライズ
- 新規顧客へのメール送信を避ける（効果がほぼない）
デモ
テクノロジー
| コンポーネント | テクノロジー |
|---|---|
| ベイズモデリング | PyMC、ArviZ |
| Causal ML | CausalML (X-Learner) |
| 解釈可能性 | SHAP |
| API | FastAPI、Pydantic、Uvicorn |
| ダッシュボード | Streamlit |
学び
- ベイズ推論：点ではなく分布で考える
- 因果推論：相関と因果の違い
- Causal ML：X-Learnerで異質性効果を推定
- デプロイ：API経由でMLモデルを提供