實驗工具顯示變體,不代表分析系統知道使用者真的看見。若只在頁面載入時把所有 assignment 當 exposure,還未捲到模組的人也被計入;若 purchase 重複送出,某變體會因技術錯誤看起來更好。追蹤設計要先定義 assignment、exposure、outcome 和 analysis unit。
Google Analytics 需要第三方實驗工具或自建分流,GA4 負責收集與分析事件,不會替網站執行 A/B test。
定義 assignment 單位
決定以 user、device、session、cart 或 organization 分流。一般網站常用匿名 stable ID,登入後需處理 identity merge;B2B 同公司多位採購者可能要以 company 避免互相污染。記錄 experiment_id、variant_id、assignment_time 和 eligibility。
同一使用者在實驗期間保持變體,除非設計明確允許切換。Bot、員工、QA、無資格 market 和已進入其他互斥實驗者要排除。
Exposure 在真的看到時送出
頁面層實驗可在變體成功渲染後曝光;模組實驗則在進入 viewport 或可互動時送。只發一次,並記錄 page、component、item、locale 和版本。若變體載入失敗或 fallback 到 control,事件反映實際看到內容。
Assignment 人數與 exposure 人數分開報告,兩者差距可發現 rendering、targeting 或 tracking 問題。
Outcome 沿用標準 ecommerce events
Google Measure ecommerce涵蓋 view_item、add_to_cart、begin_checkout、purchase、refund 等。保留標準名稱與 items schema,再將 experiment context 作為事件或 user property 依治理加入。
Purchase 包含唯一 transaction_id、currency、value、tax、shipping、coupon 和 items。完成頁刷新、client/server 雙送與付款 callback 都需去重。Refund 也要回寫,避免只看下單忽略取消。
指標在實驗前鎖定
主要指標只選一個與假設最接近的商業結果,次要指標解釋機制,護欄包含 error、速度、退貨、毛利和客服。公式、window、分母、attribution 和排除條件寫入 experiment spec,看到結果後不換指標。
Event-scoped 和 item-scoped 指標不同。GA4 中一次 add_to_cart event 可包含多個 items,分析時要確認使用哪種 scope。
QA 使用固定測試矩陣
在 debug mode 確認 control/variant assignment、一次 exposure、各 ecommerce event、items、currency、transaction_id 和 consent;需要逐筆查看瀏覽器送出的事件時,可搭配 Google Analytics Debugger 檢查。測手機、桌面、登入、訪客、不同 market、返回、刷新、拒絕 consent 和付款失敗。
對帳 experiment tool、GA4、Shopify order 和 data warehouse。允許處理時間與歸因差異,但 exposure 缺漏、變體不平衡和 purchase 重複要在正式分析前修正。
監看 Sample Ratio Mismatch
預期 50/50 卻長期偏離,可能是 targeting、cache、render error 或 bot。先停止判讀結果,找出分流和曝光差異。也要比較各變體 device、market、source 和 performance,避免某變體只在部分環境失敗。
發布期間記錄 deployment、experiment config 和資料變更。中途修改 variant 就建立新版本或重新開始,不把不同內容混在同一 ID。
實驗結束也要保存資料
報告包含假設、版本、日期、樣本、曝光、主要結果、護欄、segments、資料品質與限制。關閉實驗時停止 assignment,但保留 ID 和程式移除 ticket;勝出變體正式化後仍跑 regression。
低流量情況可參考 A/B 測試樣本不足。無論方法,資料品質檢查要先於勝負判斷,否則更精密的統計只是在分析錯誤事件。