스타트업의 핵심은 리소스 절감을 통한 빠른 성장아닐까요? 게임듀오가 Firebase, 인하우스 A/B 테스트를 진행하다 핵클을 도입한 이유를 알아보세요.
'게임듀오'는 2019년 설립된 만 3년차 게임 스타트업. ‘매드탱크'를 시작으로 '아처 키우기' ‘닌자대전'등 다양한 장르의 게임을 개발했습니다. 최재원, 송승준 공동대표는 고등학생 동창으로 만나 ‘게임을 만드는 것이 즐거운 사람들'을 모토로 게임듀오를 설립했습니다.
최재원) 안녕하세요 게임듀오 대표 최재원입니다. 게임듀오는 2021년 직원 12명, 매출 100억원에서 올해 직원 51명, 매출 400억(목표)로 매년 평균 570% 가파르게 성장한 게임 스타트업입니다. 현재 저는 ‘팀원이 어떻게 일을 재밌게 할 수 있을까?’하는 환경조성에 관심을 기울이고 있어요. 회사가 갑자기 성장하다보니 한 달 전의 제 역할과 지금의 역할이 다른데, 챌린징한 시기가 2년 동안 계속 되고 있답니다.
최윤성) 현재까지는 게임듀오의 유일한 데이터분석가로 일하고 있는 최윤성입니다. 데이터 분석이 필요한 모든 업무들을 관여하고 있습니다. 자체 데이터베이스에 저장된 데이터나 로그 데이터를 분석할 수 있는 쿼리를 작성하거나, 이를 팀원들이 볼 수 있도록 대시보드 설계하는 일을 하고 있어요. 핵클에서 진행하는 A/B 테스트 설계와 관리하는 업무와 데이터 설계가 부족한 게임들은 초반 이벤트 설계까지도 담당하고 있습니다.
최재원) 창업 초기부터 지금까지 변치 않는 신념은 ‘게임 개발은 축복받는 일’이라는 것입니다. 게임 개발 자체를 즐겁게 할 때, 게임이 잘 나오는 것 같아요. 게임듀오의 멤버들은 게임을 하는 것도 즐기지만, 개발하는 것을 좋아하는 사람들이 모였다고 할 수 있습니다. 일을 즐기는 사람이 모인 것이 회사의 빠른 성장의 원동력이 아닐까요?
최재원) 데이터 분석가인 윤성님이 오시기 전에, Firebase를 사용해서 A/B 테스트를 진행한 적이 있어요. 당시 DB상의 데이터와 Firebase 제공 데이터간의 상이함이 있었는데요. 1%의 오차도 가져가고 싶지 않아서, 자체 DB로 A/B 테스트를 진행할 수 있겠다고 판단해 인하우스 A/B 테스트를 진행하기로 결정했었죠.
최윤성) 인하우스 A/B 테스트를 할 때는 P-value 분석까지는 하지 않았지만, 핵심 목표 지표인 ARPU와 리텐션은 자체 쿼리를 통해 확인했습니다.
최윤성) 크게 3가지였는데요.
핵클은 최소 1시간마다 업데이트를 해주고, 일자별로 추이 확인이 가능한데요. 버전 관리 기능을 통해 신규 고객을 대상으로 테스트를 한 뒤, 앱 배포 전에도 전체 고객에게 적용할 수 있어서 좋았어요! 인하우스 A/B 테스트를 하면서 겪었던 불편함들이 해결되었죠.
최재원) 스타트업이 가진 최대 강점은 속도라고 생각해요. 게임듀오에서는 매주 수요일마다 차주에 이루어진 실험 결과와 다음주에 진행 할 실험에 대한 공유하는 실험 회의를 진행하고 있어요. 이 때, 윤성님께서 핵클을 사용해보자고 제안해주셨고, 회의 종료 후 당일 도입을 결정하고, 배포를 준비했었던 걸로 기억해요. 최초 도입 논의 시에는 Unity SDK가 없어서 기각되었는데, 그 다음주 회의 때 보니 Unity SDK가 출시되어있더라구요! 엄청난 우연이었죠.
최윤성) 핵클 데이터 사이언티스트 Jen님이 진행하신 <데이터 잘 보기, 첫걸음>웨비나에 참여하면서 핵클을 알게됐어요. [👉🏻웨비나 다시보기]
최윤성) 실험결과에 대한 신뢰도가 높아졌어요! 게임듀오는 하나의 게임을 여러가지 서버, 국가에서 운영하고 있는데요. 특정 국가 가입이나 구매가 많아지면, 이에 따른 실험 결과가 많이 달라지기도 했습니다. 핵클의 대시보드에서 데이터 상세분석, 실험 지표 추이 변화를 보면서, 이 실험이 우리가 의도한대로 잘 진행되고 있는지 확인할 수 있습니다.
최재원) 시간과 노력의 리소스도 많이 줄었다고 느껴요. 이전에는, 윤성님이 분석하고, 전달하고, 다른 팀원들이 그걸 보고 의사결정을 진행했었는데, 이 모든 과정이 매우 빨라졌어요. 실험을 진행하게 되면 하루 단위로 실험결과를 공유하더라도 보고하는데 리소스가 많이 들었습니다. 특히, 여러 개의 실험이 진행 됐을 때는 관리가 어려웠는데, 현재는 실험 결과 공유가 실시간으로 가능해졌어요.
최재원) 다른 모바일 게임 회사에도 A/B 테스트 툴의 중요성을 알리고 싶어요. 소규모 게임업체 중에는 A/B테스트를 진행하는 곳이 많이 없습니다. A/B 테스트를 진행하면서 가장 큰 인사이트는, 개발자의 관점과 유저의 관점은 굉장히 다르다는 것인데요. 도움이 된다면, 저희 회사의 사례들도 최대한 공유해드리려고 해요! 더 많은 게임 기업에서 데이터 기반으로 의사결정을 진행한다면, 모바일 게임 시장자체가 변화할 수 있다고 생각하거든요. [👉🏻게임듀오의 A/B 테스트 사례 보러 가기]
A/B 테스트를 진행할 때 가장 중요한 것은 ‘좋은 테스트 아이디어를 도출해내는 것'이라고 생각합니다. 사람이다보니 직관에 따라 업데이트를 하다보면, 결과가 더 안 좋아서 기존 그룹을 선택하는 것이 낫겠다는 선택을 할 수도 있습니다. 그런 경우가 최소화 돼야 합니다. 테스트를 준비하고, 개발에 들어가는 것도 리소스를 쓰는 것이기 때문에, 좋은 아이디어를 기획하는 것이 테스트를 하는 것만큼 중요합니다. 무작정 A/B 테스트를 많이 한다고 좋은 것이 아니라 하나의 A/B 테스트를 하더라도 팀원들의 많은 의견을 받고, 좋은 아이디어를 도출하는 것이 가장 빠르게 성장할 수 있는 방법이라고 생각해요.
저희가 많이 저질렀던 오류(실수) 중에 하나는 테스트 결과를 주관적으로 해석하는 것이었어요. 게임개발자의 특징은 본인의 게임을 너무 사랑해요. 저 또한 마찬가지예요. 누가 제 게임을 비판하면 정당한 비판이라도 기분이 나빠지고, 부정적인 수치가 나오면 좋은 수치만 찾아보려고 하죠. 그럼에도, A/B 테스트에 한해서는 철저히 객관적이어야한다고 생각합니다. 그러기 위해서는 기준을 명확하게 세우는 것이 좋은 것 같아요. 저희는 P-value 0.05 이하일때만 신뢰하자라는 기준이 있습니다. (의사결정 Framework) 이전에는 베이지안도 많이 봤었는데, 아무래도 모수가 적을 때는 과장된 결과가 나오는 경우가 있어서 P-value를 보고 의사결정하는 편입니다.
.png)
.png)