A/B test 需要足夠 exposure、轉換事件和觀察時間，才能分辨變體差異與隨機波動。低流量商店若每週測按鈕、提前停止或只看相對提升，結果很容易反覆。樣本不足不代表停止改善，而是要選更大的問題、不同證據和更克制的結論。
先估 baseline conversion、每週合格流量、預期最小效果、顯著水準、power 和完整商業週期，再決定是否適合隨機實驗。
只測值得看到的大效果
低流量不適合辨認 2% 的微小相對差異。優先處理付款失敗、variant 阻斷、運費不清、手機無法操作等可能帶來大效果的問題。明確 usability defect 可直接修正並做回歸，不需要用一半顧客繼續承受錯誤。
將假設寫成機制：誰遇到什麼問題、改動如何改變行為、主要指標和護欄。若說不出機制，增加樣本也不會讓實驗更有價值。
用質性研究找方向
進行 5–8 次任務測試、客服與退款分類、站內搜尋、exit survey 和訪談，找重複模式。質性證據不能估全體比例，能說明顧客在哪裡困惑、使用什麼語言和為何失敗。
Prototype test 可在開發前比較理解與操作。若參與者都無法選尺寸，先修資訊和控制，再用 production 指標確認錯誤下降。
使用時間序列要控制變化
單一商店可分階段發布，觀察改動前後的 funnel、error 和 guardrail。標記促銷、流量、庫存、價格、季節、App 和 tracking 變更；至少涵蓋完整週期。前後比較較弱，結論要保留外部因素。
Interrupted time series 或 matched product/market 能增加證據，但需事先定義，不在看到結果後挑對照。
將可逆變更先 pilot
先在一個 market、品類或可控 audience 推出，確認功能、內容和營運，再擴大。分群必須有商業理由且樣本仍可解讀，不能切到只剩幾筆轉換。設定停止與 rollback 條件，例如付款 error 上升或客服超過門檻。
Pilot 的目標可能是證明可行與沒有重大傷害，未必能證明 conversion uplift。
延長實驗也有上限
為累積樣本跑幾個月，期間 campaign、商品和顧客組成可能改變；使用者也可能跨變體。事先設定最長觀察與 novelty 風險。若達不到所需樣本，報告「無法辨認目標效果」，不要宣稱兩者相同。
不要每日查看就提前停。使用 sequential 方法時也需按設計規則與工具計算，不能用肉眼決定勝負。
使用更接近問題的指標
Purchase 很少時，可觀察已驗證的上游機制，如 variant error、payment success 或找到尺寸的任務成功；但它們不能自動替代商業結果。護欄仍看 purchase、毛利、退貨和客服。
Micro-conversion 必須和假設直接相關。頁面停留時間增加可能代表更有興趣，也可能更困惑。
建立證據組合
將 analytics、error logs、qualitative、可用性、pilot 和有限實驗放進同一決策表，標示強度與限制。多個獨立來源指向同一問題時，可以支持投入；不要把幾個弱相關數字加總成「統計顯著」。
降低同時變動的數量
低流量環境最怕同一週更換廣告、價格、首頁、運費與追蹤。即使無法完全停止營運，也要建立 change log，記錄發布時間、影響頁面、市場與預期機制。重要實驗期間，非必要改動延後；緊急修正則標記中斷，評估是否需重啟觀察。
一次大幅重設雖然較可能看見效果，卻難以知道是哪個部分發揮作用。可先把修正拆成「必須一起運作的最小方案」，例如尺寸資訊、選擇器狀態與錯誤提示；避免同時改品牌視覺和運費政策。這樣即使樣本有限，結果仍能回到具體機制。
事先寫決策規則
開始前定義三種結果：證據支持擴大、證據顯示傷害而回退、資料不足而維持或補充研究。各自列出主要指標、護欄、最短與最長觀察期。資料不足不是失敗，它代表目前無法用此方法回答問題。
報告同時列絕對數、比例、樣本與區間，不只寫「提升 20%」。例如從 10 筆到 12 筆訂單的相對變化很大，實際只差兩筆。把這些限制直接寫入決策，可以防止同一個不確定結果在簡報中被逐步放大。
每次決策以 CRO 月度循環留下假設、方法、樣本、變更與不確定性。低流量 CRO 的優勢是貼近真實顧客和營運，不是模仿大型網站的高頻測試數量。