스타벅스 버디패스 첫 구독을 drive 하기위해 A/B 실험을 설계한다면?

이번에 데이터리안을 읽으면서 구독 기반 서비스들은 어떤 지표를 올릴려고 하고, 어떤 지표를 가드레일 지표(영향 받지 말아야하는 지표)로 설정할지 궁금했다. buddy pass 라는 새로운 구독 서비스를 런칭한 스타벅스!

내부 실제 데이터는 모르지만, A/B 테스트를 내가 직접 설계한다면 어떻게 실험군, 대조군을 비교할지 고민했다.

구독 유도 화면은 언제, 어떤 구성으로 화면을 띄워야할까?

문제

기존 유저와 신규 유저 모두 구독전환율이 충분하지 않다고 가정하자. 내부에서 달성해야할 구독자 1명당 매출 금액이 도달하지 못하고 있고, PM 들은 퍼널 전환을 통해 지표를 올려하는 상황이다. 현재 스타벅스 구독 유도 화면과 flow 에서 분석한 문제는 표면상으로 2가지가 있다.

1. 구독을 유도하는 화면에서 고객이 후킹되는 '가치 소구'가 명확하지 않다.

2. 구독을 유도하는 화면이 인지도가 낮다. 뎁스가 너무 들어간 시점에 고객은 버디패스에 대한 제대로된 인지를 할 수 있다.

현재 Home 에서 보이는 배너형식 buddy pass 에 대한 내용은 고객들이 그냥 지나치기 쉽다. 모바일 화면에 1/3만 차지하는 듯해, 위계 질서에서 제대로 조명받지 못하다고 있다. 또한 Entry nudge처럼 모바일 화면에 2/3 을 차지하는 화면에서는 30%의 혜택 라이팅이 강조되어 있다. 30%은 도저히 와닿지 않은 라이팅인데, 이유는 % 보다 고객은 실제 원화가치를 지불하고 몇 원의 혜택을 볼 지가 궁금할 것이기 때문!

실험

화두로 삼은 것은 구독 유도화면을 (1)언제, (2) 어떤 가치 소구를 할 것인지가 궁금한 것이므로 2개가 변수여야했다.

A & B 는 (1) 언제 -> 화면을 노출 시점에 차이를 두고
B & B' 는 (2) 어떤 가치 소구-> 30% 과 4000원 -> 3000원 할인 둘 중 어떤 것이 효과적인 것일까를 차이를 둔다.

물론 스타벅스에서 실험은 못하지만, 이 테스트의 성과분석은 아래와 같이 할 수 있겠다.
배포자체는 모든 유저 (기존, 신규유저) 들을 랜덤으로 표본 추출한다고 가정할 수 있겠다.

성과 분석

1) 확인 지표 : 배포 전과 후의 기존 유저들의 구독 전환율
2) 가드레일 지표
- 기존 유저의 리텐션
- 신규유저의 탐색 체류 시간 or 구매/주문 전환율

신규 유저들은 앱 실행 하자마자 구독 유도 화면을 보면 노이즈처럼 느낄 수도 있다. 기존 유저도 노이즈처럼 느낀다면 재방문율에 타격이 갈 수 있다. 마지노선은 지표를 어떻게 산출할지는 고려해봐야겠지만, 아래와 같은 성과를 냈을 때 후속 실험을 설계하고자 한다.

몇가지 가정으로 후속실험을 설계해보자

B' 의 압도적인 구독 전환 상승률. B' 는 아래와 같은 특징을 가지고 있다.

화면 구성 : 가치소구는 %가 아닌 3,150원이라는 원화가치 표현
화면 시점 : 앱 실행 직후

신규 유저의 구독 전환 상승 (min)60% ~ (max)80%
기존 유저의 리텐션 2.2% ~ 8% 하락

신규 유저가 구독 전환율을 압도적으로 상승 시켰지만, 리텐션을 하락시켜 위너로 선정할 지 고민이다. A VS B' 중에 즉, 구독 전환율 상승과 리텐션 하락 중 trade off 를 해야할 것 같은데, 이때 위너의 기준을 정할 수 있다면 다른 데이터가 필요하다.

구독 전환 1% 의 객단가 (원) vs 리텐션 1% 의 객단가 (원)

둘 중에 비즈니스적으로 가장 높은 원화가치를 가질 수 있는 지표를 선택한다. 이때, 구독 전환율의 고객이 더 비싸다면 당연히 리텐션을 우선순위로 미룰 수 있다. 후속 글은 핵클이나 다른 기능을 탐색 후 작성해봐야겠다.

번외

잠깐 A/B 테스트를 위해 설치한 앱이 이렇게나 회원탈퇴가 어려웠다니…이런건 다크패턴 아닌가?

선불충전 카드 몽땅 해지, 탈퇴 시 본인인증, 탈퇴 여정 중 가장 마지막화면에서 조차 오류 발생. 실망이 크다, 투썸으로 갈아탈 예정