A/B 테스트 사례를 통해 인사이트 얻기 : 강남언니, Bear Mattress

✅ 국내서비스 선정 사례 : 강남언니의 실패로 배우는 A/B 테스트

---

 

 

 

 

 

 

A/B테스트에 대한 사례를 찾던 도중 강남언니라는 성형/정보 제공 어플의 PM이 직접 올린 A/B 테스트 회고록을 발견했습니다. 이 회고록을 통해서 실제로 PM이 A/B테스트를 진행하면서 겪는 자세한 과정과 시행착오를 발견할 수 있어 이번 주제로 선정하게 됐습니다.

 

 

 

실패를 통해 배우는 AB테스트

 

 

 

강남언니는 회원가입 페이지 개선을 통해 가입 전환율을 20%를 상승시켰습니다.

---

강남언니는 성형/정보 제공 어플 서비스를 국내에 서비스하면서 많은 고객들에게 좋은 평가를 받았습니다. 뿐만 아니라 일본에서 한국으로의 성형 관광의 성행함에 따라 일본인 유저를 위한 서비스도 출시했는데요, 일본 유저가 사용하는 로그인 화면에서 회원가입창에서의 이탈이 많아지자(개선포인트) A/B테스트를 통해 개선을 시도했습니다. 

 

 

1차 테스트 실패

---

 

출처: 강남언니 공식 블로그 [실패를 통해 배우는 AB테스트] by Ally

 

 

 

강남언니는 일본 유저들은 액션을 취하려면 정보가 필요하다.라는 가설과 버튼이 많아서 로그인 전환이 힘들었을 것이다.라는 가설을 바탕으로 테스트를 진행했습니다. 회원가입 단계에서 앱 기능강조 안(A), 이벤트 강조 안(B), 앱 내용 보여주기 안(C)을 각각 만들고 공통적으로 일본인이 가장 많이 사용하는 LINE의 시작하기 버튼만 강조하고 나머지 버튼을 시각적 중요도를 낮추는 디자인개선을 통해 3가지의 테스트 안을 만들었습니다.

 

 

결과는 망했습니다. 3가지 테스트 안 모두 기존안보다 낮은 결과물이 나온 것입니다. 강남언니는 해당 A/B테스트를 회고하면서 다음과 같이 문제점을 정리했습니다.

 

 

 

❗ 변수가 너무 많았다.

➡️ 이 A/B테스트는 가설이 2가지였는데 각각 가설을 적용하면서 테스트 안의 변수가 다양해지고 통제 변수가 명확하지 않아 무엇이 차이점을 만드는지 결론을 내기 어려웠습니다.

 

 

❗ 적은 모수와 긴 시간에 너무 많은 시안을 테스트했다.

➡️ 일본 서비스 초창기라 유저 유입이 적어 테스트 가능한 최소 모수를 모으는데 2달이나 걸렸고 성과를 빠르게 측정하기 위해 2~3개의 시안을 테스트했습니다.

 

 

❗ 가설이 틀렸을 가능성

➡️ 유저 인터뷰를 통해 소셜로그인을 하면 성형 관련 어플을 사용한다는 것이 드러날까 봐 거부감을 느낀다는 정보를 새로 파악했습니다. 이를 토대로 "유저는 소셜로그인 버튼이 부담스러웠을 수 있다"라는 새로운 가설을 정립했습니다.

 

 

2차 테스트 성공

---

강남언니는 1차 테스트를 통해 문제점을 복기하면서 2차 테스트를 진행했습니다. " 일본 유저들은 액션을 취하려면 정보가 필요하다 "라는 기존 가설과 새로운 가설 "유저는 소셜로그인 버튼이 부담스럽다"라는 가설을 토대로 디자인을 개선해 테스트를 진행했습니다.

 

 

 

 

출처: 강남언니 공식 블로그 [실패를 통해 배우는 AB테스트] by Ally

 

 

 

 

이번 테스트에서는 최대한 변수(버튼 개수, 위치, 문구)를 제한하고 메인 콘텐츠에서 보여주는 내용만 이벤트 강조 안(A) 앱 내용 보여주기 안(B)으로 줄여 테스트했습니다. 또한 실험 기간을 60일에서 3주로 줄이고 빠르고 정확하게 실험하려고 시도했습니다. 또한 새로운 가설을 바탕으로 콘텐츠 하단에 'SNS에 공유되지 않으니 안심하세요'라는 문구를 추가했습니다.

 

 

 

 

 

 

 

 

결과는 A/B테스트를 통해 유의미한 결론을 내릴 수 있었습니다. 테스트 결과 이벤트 강조 안(A)이 기존 그룹보다 3.58% 높은 전환율이 나타난 것입니다. 이후 시행착오를 겪은 A/B테스트의 경험을 바탕으로 여러 테스트를 통해 1년 동안 개선한 결과 20%가 상승한 회원가입 전환율을 기록할 수 있었습니다.

 

 

 

💡생각해 볼 인사이트💡

---

✔️ 가설을 명확히 검증하려면 확실한 변수통제가 필요하다.

 

➡️ 어떤 변수가 차이점을 만들어내는지 알기 위해 제한변수를 확실하게 통제한 후 A/B테스트를 진행해야 가설을 검증할 수 있습니다. 변수가 통제되지 않는다면 어떤 변수가 차이점을 만들어내는지 명확하게 드러나지 않기 때문입니다.

 

 

✔️ 기능적인 가설보단 심리적인 가설이 좋다.

 

➡️ 버튼 크기를 줄이자 혹은 버튼의 색깔을 바꿔 전환율을 높이자보다는 고객의 심리를 파악하여 SNS로 로그인을 해도 사생활이 노출되지 않는 안정감을 주자와 같은 심리적인 가설이 더 좋다고 느꼈습니다. 기능적인 가설은 일회성일 가능성이 높지만 심리적인 가설은 향후 비슷한 개선포인트를 발견한다면 다양하게 적용할 수 있기 때문입니다.

 

실제 호텔 예약을 예를 들어 "곧 호텔방이 매진이 될 수 있으니 빨리 사지 않으면 방을 구할 수 없다"와 같은 심리적인 가설을 바탕으로 "곧 매진됩니다 남은 방수 1개" 혹은 "지금 N명이 이 방을 보고 있습니다."와 같은 메시지가 더 높은 전환율을 가져올 수 있다고 생각합니다.

 

 

 

 

 

🔆 내가 강남언니의 PM이라면 어떤 A/B테스트를 진행해 볼 수 있을까?

---

 

 

 

어떤 부위가 고민인지 관심 부위를 설정하고있습니다.(좌측) 선택한 부위에 맞는 시술 TOP9나 지역 이벤트를 노출하고 있습니다.(우측)

 

 

개선포인트 & 가설 : 관심 있는 부위를 우선 노출하면 어플을 계속 사용할 것이다.

---

강남언니를 처음 사용하는 고객들은 이미 특정 부위에 대한 특정 시술을 마음속으로 결정하고 성형병원에 대한 정보를 얻거나 후기를 통해 허위광고, 성형실패에 대한 두려움을 해결하고자 강남언니를 사용하기 시작합니다. 따라서 강남언니도 어플을 처음 실행하면 회원가입을 완료하고 관심 있는 부위와 지역에 대해 설정하고 그 부위와 시설에 대한 이벤트, 후기, 시술평가등을 차례로 노출시켜 정보를 제공하는 UI를 제공하고 있죠.

 

하지만 처음 실행했을 때 관심 있는 부위를 선택한 것이 무색하게 메인에 배치된 카테고리는 고정된 순서로 노출하고 있습니다.( 아마 가장 많이 선호하는 부위를 나열한 것 같습니다 ) 이미 메인에서 다양한 카테고리와 정보와 광고로 인해 UI가 포화 상태인데 이로 인해 고객 이탈이 일어난다고 가정하고 ( 내부데이터를 확인할 수 없어 관찰을 통한 가정입니다 ) 조금 더 고객 중심적으로 UX / UI를 변경해 첫 사용자가 회원가입 이후 어플을 처음 사용할 때의 이탈을 방지하고 본인이 원하는 정보를 바로 찾을 수 있게 개선해 보는 방안을 만들어보겠습니다. 즉, 관심 있는 부위를 카테고리로 우선 노출하면 어플을 계속 사용할 것이다라는 가설을 중심으로 A/B 테스트를 진행해 보겠습니다.

 

 

 

 

A/B 테스트 진행하기 : 관심 부위 우선 노출 OR ONLY 관심 부위 노출

---

 

 

 

 

(A) 안은 기존페이지와 큰 UX/UI를 수정하지 않았지만 단지 우선순위로 선택한 2개의 카테고리만 앞으로 당겨오는 시스템입니다. 큰 틀에서 벗어나지 않으면서 기존페이지에서는 노출되지 않는 자신의 관심 시술 카테고리가 (A)에서는 전면에 노출되어 빠른 전환율을 유도했습니다.

 

(B) 안은 보다 공격적으로 관심부위만 노출시키는 개선안입니다. 헤어나 제모와 관련된 시술을 받고자 마음먹은 고객이 본인과 전혀 관련 없는 다른 카테고리에는 큰 관심이 없을 것입니다. 오로지 고객에게 맞는 카테고리만 노출시켜 빠른 전환율을 유도하는 개선안입니다.

 

 

각각의 개선안을 어플을 처음 사용하는 고객들에게 같은 비율로 배정하여 테스트하고 3주간 최대한 많은 모수를 수집합니다. 이후 각 개선안마다 회원가입 후 바로 종료하지 않고 얼마나 어플을 사용을 지속하는지, (전환율, 이탈률) 회원가입 초기 설정한 관심 부위로 얼마나 빠른 시간 안에 찾아가는지 (전환율), 확인 후 어떤 개선안, 혹은 기존 개선안이 더 나은 고객 경험을 제공하는지 가설을 검증해 볼 수 있겠습니다.

 

 

 

---

 

 

 

 

✅ 해외서비스 선정 사례 : Bear Mattress의 크로스셀 전환율 개선하기

---

 

 

 

 

 

 

 

Beer Mattress는 미국 뉴저지에 기반을 둔 침대 매트리스 판매업체입니다. Beer Mattress는 수익 증대를 목표로 웹사이트 개선을 VWO라는 전문 외주업체에 의뢰했는데 아무래도 전문업체라서 그런지 디테일한 문제점을 A/B테스트를 통해 개선하는 과정이 잘 드러나서 해외서비스 선정 사례로 선정하게 되었습니다.

 

 

Bear Mattress Improved Revenue by 16% | VWO Success Stories

 

 

 

 

Bear Mattress는 크로스셀 페이지 개선을 통해 수익률을 16% 증가시켰습니다.

---

Bear Mattress가 판매하는 매트리스는 좋은 기술력으로 많은 사람들에게 판매되었지만 매트리스 판매량에 비해  "매트리스와 함께 자주 구매하는 항목"에서 같이 판매하는 크로스셀 유형의 제품( 프로텍터, 파운데이션, 프레임 )들은 판매가 저조하였습니다. 이를 확인한 VWO 직원들은 관찰을 통해 " 매트리스와 함께 자주 구매하는 항목"이 너무 제품 중심으로 설계되어 방문자 간 상호작용이 불가능하다는 문제점을 발견했습니다. 이를 바탕으로 고객 중심으로 페이지를 개선하여 "고객 중심의 페이지는 더 많은 상호작용을 가져오고 판매로 이어진다"라는 가설을 세우고 A/B 테스트를 진행했습니다.

 

 

 

문제점 파악 : 너무 제품 중심으로 설계되어 방문자 간 상호작용이 불가능하다

---

 

 

 

변경전 UX/UI 출처 : VWO Success story [How Bear Mattress Leveraged Cross-sell Opportunities with VWO and Increased Revenue]

 

 

 

 

 우선 기존의 "매트리스와 함께 자주 구매하는 항목"에서의 고객행동을 분석해 본 결과 전환율이 거의 제로에 가까웠으며 해당 항목에서의 클릭수도 다른 항목에 비해 현저히 낮았습니다. 또한 크로스셀 제품 리스트에는 클릭하지 않는 이상 썸네일 이미지도 없었으며 클릭했을 때 제품 이미지와 함께 보여주는 카피라이팅도 제품에 대한 설명만 나와있을 뿐 고객의 관심을 불러오거나 고객이 구매를 고려할 만한 내용이 전무했습니다.

 

 

 

 

 

 

개선안 : 고객 중심의 페이지는 더 많은 상호작용을 가져오고 판매로 이어진다

---

 

 

 

 

변경 후 UX/UI 출처 : VWO Success story [How Bear Mattress Leveraged Cross-sell Opportunities with VWO and Increased Revenue]

 

 

 

 

크로스셀 제품 리스트에 썸네일 이미지를 추가하고, 프레임을 파운데이션을 선택했을 때만 노출하게 변경( ❗파운데이션을 구매해야 프레임도 사용할 수 있다고 합니다 ) 했습니다. 그리고 오로지 매트리스만을 구매하고자 하는 고객에게도 구매 행동을 유도하기 위한 카피라이팅 삽입했습니다. 또한 크로스셀 제품 설명이 아닌 프로텍터가 왜 필요할까요? or 오래된 박스스프링을 사용해도 되나요? 와 같은 질문형으로 좀 더 고객 중심으로 카피라이팅을 구성했습니다. 좀 더 "매트리스와 함께 자주 구매하는 항목"에서 고객들이 상호작용하도록 재편한 것이죠. 이렇게 두 페이지를 바탕으로 A/B 테스트를 19일 동안 진행했습니다. 그 결과 다음과 같은 차이가 발견되었습니다.

 

 

 

➡️ 프로덱터 장바구니 전환율 51.75% 증가

➡️ 파운데이션 장바구니 전환율 73% 증가

➡️ 프레임 장바구니 전환률 36.06% 증가

 

 

 

이렇게 크로스셀 페이지를 개선하자 장바구니로의 전환을 이어졌고 실제 구매로도 성공적으로 전환되어 구매율 24.18% 증가, 수익률 16.21% 증가라는 결과를 가져왔습니다.

 

 

 

 

💡생각해 볼 인사이트💡

 

 

 

 

✔️ 다시 한번 명심 :  고객 중심

 

➡️ 온라인 쇼핑몰에서 제품에 대해 자세히 설명하고 얼마나 제품이 뛰어난지 정보를 제공하는 것도 중요하지만 이 제품이 고객에게 필요한가?라는 질문이 최우선 되어야 한다고 다시 한번 깨달았습니다. 아무리 물건이 좋아도 고객이 필요 없으면 쓸모없는 정 보일 테니까요. 따라서 이 물건이 당신에게 왜 필요한지, 지금 필요한 물건인지 다시 한번 생각해 보게 유도하는 고객 중심의 UX/UI를 항상 염두에 두어야 한다고 생각합니다.

 

 

 

 

 

🔆 내가 Bear Mattress의 PM이라면 어떤 A/B테스트를 진행해 볼 수 있을까?

---

현재 Bear Mattress의 파격적인 할인혜택, 35%할인에 배게까지 꽁짜로 준대요..

 

 

 

 

 

 

개선포인트 & 가설 : 곧 할인 혜택을 받지 못할 것이라는 긴장감을 높여주면 구매 확률이 올라갈 것이다.

---

만약 제가 Bear Mattress의 PM이라면 Bear Mattress에서 다양하게 진행하고 있는 할인 혜택으로 많은 고객들이 유입되는 현 상황에서 구매 확률을 극대화하는 방법에 대해 고민할 것 같습니다. 다양한 마케팅과 파격적인 할인 혜택으로 유입된 많은 고객들이 매트리스 구입에 관심을 가지는 상황에서 구매로 전환시키는 확률을 높인다면 큰 매출로 이어지기 때문이죠.

 

앞선 강남언니 A/B테스트 사례에서 개인적으로 느꼈던 인사이트인 기능적인 가설보다 심리적인 가설이 더 효과가 좋다는 걸 포인트로 삼아 곧 할인 혜택을 받지 못할 것이라는 긴장감을 높여주면 구매 확률이 올라갈 것이다.라는 가설을 설정하고 A/B 테스트를 진행해 보겠습니다. 앞서 강남언니에서는 조금 고객 중심으로 A/B테스트를 진행했다면 Bear Mattress에서는 조금 더 사업가치를 중점에 두고 테스트해보겠습니다.

.

 

 

 

 

 

 

 

 

 

 

 

(A) 안은 세일이 마감된다는 안내문과 함께 마감 시간도 같이 안내하는 방식으로 UX Writing을 추가했습니다. 구매를 고민하는 고객들에게 이 안내문을 보고 빠른 의사 결정을 유도해서 전환율 상승을 유도하는 개선안입니다.

 

(B) 안은마감 시간은 알려주지 않고 간단하게 곧 마감된다는 텍스트로 안내하는 UX Writing입니다. 시간이 나와 있지 않아 심리적으로 더 조급함을 느끼게 해 구매를 유도하는 개선안입니다. 하지만 흔한 쇼핑몰 웹사이트에 등장하는 마케팅문구 같이 느껴져서 실제로 고객이 거부감을 느낄 확률도 있다고 생각합니다.

 

 

각각의 개선안을 해당 상품 페이지를 접속한 고객들에게 같은 비율로 배정하여 테스트하고 7일간 테스트합니다. ( 개선안 A의 시간도 알맞게 수정 ) 이후 각각 개선안마다 실제로 제품구매가 얼마나 발생했는지 혹은 오히려 거부감으로 인해 이탈하지 않았는지 전환율과 이탈률을 비교해 보고 어떤 개선안, 혹은 기존 개선안이 더 나은 판매량을 기록하는지 가설을 검증해 볼 수 있겠습니다.