← 포트폴리오KIM SEONGMIN

개인 프로젝트 / 이커머스 · 2부

화장품 쇼핑몰 실험 설계와 가격 변경 효과

1부에서 제안한 "소액 장바구니 무료배송 안내"를 실제로 실험한다면 무엇을 먼저 확인해야 할지 순서대로 진행했습니다. A/A 테스트로 실험 시스템을 검증하고, 실제 트래픽으로 표본과 기간을 설계했습니다. 판촉 효과의 크기는 데이터 안에서 실제로 일어난 가격 변경 2,184건을 이중차분으로 비교해 측정했습니다.

데이터
화장품 쇼핑몰 이벤트 로그, 정제 후 1,925만 건 (2019.10~2020.02, BigQuery)
도구
SQL (BigQuery), Python (pandas, scipy, numpy)
3.0%A/A 테스트 200번 중 전환율이 "유의"로 나온 비율. 기대 범위 2~8% 안
3주무료배송 안내 실험 기간. 구매율 +10% 효과를 보려면 고객 24,270명
+96%가격 인하 당일 조회, 대조군 대비. 2주 뒤에는 +17%
−44%가격 인상 후 2주 차 조회, 대조군 대비. 회복하지 않음

01문제 정의

앞선 분석에서 장바구니 금액 10 미만 세션의 구매율이 10 이상 세션의 3분의 1이라는 걸 확인하고, 무료배송까지 남은 금액을 안내하자고 제안했습니다. 이 제안을 실제 A/B 테스트로 검증하려면 세 가지가 먼저 필요합니다.

  1. 이 데이터로 실험을 돌리면 결과를 믿을 수 있는가 (실험 시스템 검증)
  2. 몇 명을 며칠 동안 실험해야 하는가 (표본과 기간)
  3. 가격 혜택에 고객이 실제로 얼마나 반응하는가 (기대 효과의 크기)

무작위 실험 기록이 없는 데이터라 세 번째는 실험 대신 데이터 안에서 실제로 일어난 가격 변경을 같은 카테고리의 가격 고정 상품과 비교하는 준실험으로 측정했습니다.

02A/A 테스트: 실험 시스템 검증

2020년 1~2월에 방문한 고객 736,224명을 고객 ID 해시로 A/B에 200번 다시 나눴습니다. 두 그룹은 똑같은 경험을 했으니, 5% 유의수준이면 200번 중 약 10번만 우연히 "차이 있음"이 나와야 정상입니다.

점검결과판정
배정 비율 (SRM, χ² p < 0.001이면 이상)200번 모두 A 비율 49.9~50.2%, 이상 0번정상
구매 전환율 위양성200번 중 6번 (3.0%)정상 (기대 4~16번)
고객당 매출 위양성200번 중 14번 (7.0%)정상 (기대 4~16번)
p값 분포균등분포와 차이 없음 (KS p = 0.33, 0.24)검정이 치우치지 않음
계산한 표준오차 vs 실제 흔들림전환율 0.058%p vs 0.054%p, 매출 0.051 vs 0.053오차 공식이 실제와 맞음

분산 줄이기(CUPED)는 기대보다 작았다

실험 전 3개월(10~12월) 행동으로 실험 지표의 잡음을 줄이면 필요한 표본이 매출은 15%, 전환율은 5%만 줄었습니다. 1~2월 방문자 상당수가 10~12월 기록이 없는 신규 고객이라, 과거 행동으로 설명되는 부분이 적기 때문입니다. 신규 유입이 많은 서비스에서는 CUPED보다 실험 기간과 지표 선택이 더 중요합니다.

03실험 설계: 몇 명을 며칠 동안

최근 두 달(1~2월)을 지금의 트래픽으로 보고 계산했습니다. 장바구니 금액 10 미만 세션이 있었던 고객은 84,029명, 이런 세션은 170,849개이고 구매율은 7.11%입니다. 유의수준 5%, 검정력 80% 기준입니다.

목표 개선구매율필요 고객 (A+B)기간
+5%7.11% → 7.46%97,080두 달로도 부족
+10%7.11% → 7.82%24,270약 17일 → 3주로 운영
+15%7.11% → 8.17%10,787약 8일 → 2주로 운영
+20%7.11% → 8.53%6,068약 5일 → 최소 1주

04가격 변경 효과: 실제로 일어난 판촉을 비교

무료배송 안내가 얼마나 효과가 있을지 미리 가늠하려면, 이 쇼핑몰 고객이 가격 혜택에 얼마나 반응하는지 알아야 합니다. 데이터 안에서 실제로 가격이 바뀐 상품을 찾아 비교했습니다.

처음 계산: 변경 전 2주 vs 후 2주

대조군 대비 변화가격 인하가격 인상
조회+40% [+4, +56]−35% [−46, −17]
장바구니 담기+55% [+7, +83]−46% [−57, −29]
구매+71% [+24, +102]−48% [−58, −35]

블랙프라이데이 전후를 빼거나 조회 상위 1% 상품을 빼도 방향과 크기가 비슷했습니다. 하지만 이 숫자를 결론으로 쓰기 전에, 변경 전에 두 그룹이 나란히 움직였는지 확인했습니다.

05평행 추세 점검: 구매 효과는 과대추정이었다

조회, 대조군 대비 지수변경 전 1주 평균 = 100. 0일이 가격 변경일, 회색은 변경 후
가격 인하가격 인상
구매, 대조군 대비 지수변경 전 1주 평균 = 100
가격 인하가격 인상
구매, 대조군 대비2주 합계 (처음)직전 3일 vs 직후 3일여기서 기존 추세를 빼면
가격 인하+71%+72%+44%, 2주 뒤에는 변경 전 1주 평균 수준
가격 인상−48%−21%−6%, 기존 하락과 구분 어려움
결론할인은 조회와 구매를 즉시 끌어올리지만 효과는 첫 며칠에 몰리고 2주면 대부분 사라집니다. 인상은 노출을 지속적으로 절반 가까이 줄입니다. 2주 합계만 봤다면 할인 효과를 실제보다 크게 보고했을 것입니다.

06의사결정

07한계