개인 프로젝트 / 이커머스 · 2부
화장품 쇼핑몰 실험 설계와 가격 변경 효과
1부에서 제안한 "소액 장바구니 무료배송 안내"를 실제로 실험한다면 무엇을 먼저 확인해야 할지 순서대로 진행했습니다. A/A 테스트로 실험 시스템을 검증하고, 실제 트래픽으로 표본과 기간을 설계했습니다. 판촉 효과의 크기는 데이터 안에서 실제로 일어난 가격 변경 2,184건을 이중차분으로 비교해 측정했습니다.
01문제 정의
앞선 분석에서 장바구니 금액 10 미만 세션의 구매율이 10 이상 세션의 3분의 1이라는 걸 확인하고, 무료배송까지 남은 금액을 안내하자고 제안했습니다. 이 제안을 실제 A/B 테스트로 검증하려면 세 가지가 먼저 필요합니다.
- 이 데이터로 실험을 돌리면 결과를 믿을 수 있는가 (실험 시스템 검증)
- 몇 명을 며칠 동안 실험해야 하는가 (표본과 기간)
- 가격 혜택에 고객이 실제로 얼마나 반응하는가 (기대 효과의 크기)
무작위 실험 기록이 없는 데이터라 세 번째는 실험 대신 데이터 안에서 실제로 일어난 가격 변경을 같은 카테고리의 가격 고정 상품과 비교하는 준실험으로 측정했습니다.
02A/A 테스트: 실험 시스템 검증
2020년 1~2월에 방문한 고객 736,224명을 고객 ID 해시로 A/B에 200번 다시 나눴습니다. 두 그룹은 똑같은 경험을 했으니, 5% 유의수준이면 200번 중 약 10번만 우연히 "차이 있음"이 나와야 정상입니다.
| 점검 | 결과 | 판정 |
|---|---|---|
| 배정 비율 (SRM, χ² p < 0.001이면 이상) | 200번 모두 A 비율 49.9~50.2%, 이상 0번 | 정상 |
| 구매 전환율 위양성 | 200번 중 6번 (3.0%) | 정상 (기대 4~16번) |
| 고객당 매출 위양성 | 200번 중 14번 (7.0%) | 정상 (기대 4~16번) |
| p값 분포 | 균등분포와 차이 없음 (KS p = 0.33, 0.24) | 검정이 치우치지 않음 |
| 계산한 표준오차 vs 실제 흔들림 | 전환율 0.058%p vs 0.054%p, 매출 0.051 vs 0.053 | 오차 공식이 실제와 맞음 |
분산 줄이기(CUPED)는 기대보다 작았다
실험 전 3개월(10~12월) 행동으로 실험 지표의 잡음을 줄이면 필요한 표본이 매출은 15%, 전환율은 5%만 줄었습니다. 1~2월 방문자 상당수가 10~12월 기록이 없는 신규 고객이라, 과거 행동으로 설명되는 부분이 적기 때문입니다. 신규 유입이 많은 서비스에서는 CUPED보다 실험 기간과 지표 선택이 더 중요합니다.
03실험 설계: 몇 명을 며칠 동안
최근 두 달(1~2월)을 지금의 트래픽으로 보고 계산했습니다. 장바구니 금액 10 미만 세션이 있었던 고객은 84,029명, 이런 세션은 170,849개이고 구매율은 7.11%입니다. 유의수준 5%, 검정력 80% 기준입니다.
| 목표 개선 | 구매율 | 필요 고객 (A+B) | 기간 |
|---|---|---|---|
| +5% | 7.11% → 7.46% | 97,080 | 두 달로도 부족 |
| +10% | 7.11% → 7.82% | 24,270 | 약 17일 → 3주로 운영 |
| +15% | 7.11% → 8.17% | 10,787 | 약 8일 → 2주로 운영 |
| +20% | 7.11% → 8.53% | 6,068 | 약 5일 → 최소 1주 |
- 배정은 고객, 지표는 세션: 고객 한 명에게 이런 세션이 평균 2.03번 있어서, 세션을 독립으로 보고 계산하면 필요 표본을 약 20% 적게 잡습니다(설계 효과 1.20). 고객 단위 분산을 델타 방법으로 계산했습니다.
- 기간은 주 단위로 반올림: 요일별 쇼핑 패턴이 두 그룹에 고르게 섞이도록 3주로 정했습니다.
- 판정 규칙은 시작 전에 고정: 주 지표는 소액 장바구니 세션 구매율, 보조 지표는 객단가가 떨어지지 않는지입니다. 3주가 끝나기 전에는 결과를 보고 멈추지 않습니다.
04가격 변경 효과: 실제로 일어난 판촉을 비교
무료배송 안내가 얼마나 효과가 있을지 미리 가늠하려면, 이 쇼핑몰 고객이 가격 혜택에 얼마나 반응하는지 알아야 합니다. 데이터 안에서 실제로 가격이 바뀐 상품을 찾아 비교했습니다.
- 실험군: 2주 이상 가격이 안정적(변동 2% 이내)이다가 하루에 10% 이상 바뀌고, 그 뒤 2주도 안정적인 상품. 인하 1,285개(평균 −16%), 인상 899개(평균 +33%)
- 대조군: 같은 카테고리에서 5개월 내내 가격이 거의 그대로인 상품, 같은 날짜 기준
- 신뢰구간: 같은 날 여러 상품의 가격이 한꺼번에 바뀐 경우가 많아, 변경일 단위로 묶어 부트스트랩
처음 계산: 변경 전 2주 vs 후 2주
| 대조군 대비 변화 | 가격 인하 | 가격 인상 |
|---|---|---|
| 조회 | +40% [+4, +56] | −35% [−46, −17] |
| 장바구니 담기 | +55% [+7, +83] | −46% [−57, −29] |
| 구매 | +71% [+24, +102] | −48% [−58, −35] |
블랙프라이데이 전후를 빼거나 조회 상위 1% 상품을 빼도 방향과 크기가 비슷했습니다. 하지만 이 숫자를 결론으로 쓰기 전에, 변경 전에 두 그룹이 나란히 움직였는지 확인했습니다.
05평행 추세 점검: 구매 효과는 과대추정이었다
- 조회는 평행 추세가 성립합니다. 변경 전 2주 동안 두 선 모두 100 근처였고, 변경일에 계단처럼 바뀌었습니다. 인하하면 당일 +96%로 뛰었다가 2주 뒤 +17%로 줄었고, 인상하면 −44% 수준으로 떨어진 채 회복하지 않았습니다.
- 구매는 평행 추세가 깨져 있었습니다. 인하한 상품은 변경 전부터 구매가 하루 약 6%씩 늘고 있었고, 인상한 상품은 하루 약 6%씩 줄고 있었습니다. 가격을 판매 흐름에 맞춰 바꾼 것으로 보이고, 2주 합계 비교(+71%, −48%)는 이 흐름까지 효과로 셌습니다.
- 그래서 구매 효과는 변경 직전 3일과 직후 3일만 비교하고, 기존 추세만큼을 빼서 다시 계산했습니다.
| 구매, 대조군 대비 | 2주 합계 (처음) | 직전 3일 vs 직후 3일 | 여기서 기존 추세를 빼면 |
|---|---|---|---|
| 가격 인하 | +71% | +72% | +44%, 2주 뒤에는 변경 전 1주 평균 수준 |
| 가격 인상 | −48% | −21% | −6%, 기존 하락과 구분 어려움 |
06의사결정
- 무료배송 안내 실험은 +10% 개선을 목표로 3주 동안, 고객 단위로 배정해 진행합니다. 가격 인하가 구매를 단기적으로 40% 넘게 움직이는 쇼핑몰이라, 혜택 안내로 10% 개선은 현실적인 목표입니다.
- 할인은 짧게: 효과가 첫 3일에 몰리므로 2주 할인보다 3일 플래시 할인이 비용 대비 효율적일 가능성이 큽니다. 할인 기간 3일과 7일을 A/B로 비교해 확인합니다.
- 가격 인상은 노출 손실까지 계산: 인상 후 조회가 회복하지 않으므로, 인상 대상은 검색·목록 노출에 덜 의존하는 재구매 상품부터 고릅니다.
- 판촉 효과 보고는 변경 전 추세부터 확인: 판매가 이미 오르던 상품에 할인을 거는 경우가 많아, 전후 합계만 보면 효과가 부풀려집니다.
07한계
- 가격 변경 효과는 무작위 실험이 아닌 준실험이라, 가격과 함께 바뀐 노출(할인 목록, 정렬)의 효과를 분리하지 못했습니다. 측정한 것은 "가격과 노출 변화를 합친 효과"입니다.
- 구매 효과의 추세 보정은 변경 직전 2주의 추세가 이어진다고 가정한 계산이라, 범위(+44~+72%)로 보는 것이 맞습니다.
- 대조군을 같은 카테고리의 가격 고정 상품으로 잡아서, 할인 상품이 대조군의 조회를 끌어왔다면 효과가 실제보다 크게 잡혔을 수 있습니다. 다른 카테고리를 대조군으로 쓴 결과와 비교하는 것이 다음 과제입니다.
- 상품 하나의 2주 조회는 중앙값 11~18건으로 적어, 상품별 효과가 아니라 전체를 합친 효과만 말할 수 있습니다.
- 실험 설계는 1~2월 트래픽 기준이라, 성수기에는 기간이 더 짧아질 수 있습니다.