치즈: 안녕하세요. <래토칼립스>를 개발 중인 치즈입니다.
이번 편은 12월에 프로토타입 테스트 과정에 있었던 작업과정과 테스트 후기가 주된 내용입니다. 다만 이번 글의 중반부부터는 개인적인 분석이 중심이 됩니다.
테스트 과정 자체에 관심이 있으신 분들께는 도움이 되겠지만, 그렇지 않은 분들께는 다소 길게 느껴질 수 있습니다. 😅
스팀 페이지 제작
이번 테스트는 지인 테스트와 유저 테스트로 두 차례 나누어 진행되었습니다.
그 중 유저 테스트는 참여자분들의 접근성을 높이기 위해 Steam Playtest 기능을 활용하기로 결정했습니다.
스팀 페이지를 통해 테스트를 진행하면 참여 전에 게임에 대한 간략한 정보를 쉽게 확인할 수 있을 뿐만 아니라,
별도의 과정 없이 “테스트 참여” 버튼을 누르는 것으로 설치 및 플레이가 가능했기 때문입니다.
이러한 이유로 이번 테스트에는 Steam Playtest 기능이 적합하다고 판단했습니다.
테스트 기간에는 위와같이 참가버튼이 활성화되어 표시됩니다.
다만 이렇게 조기에 게임 페이지를 Steam에 개설할 계획은 없었기에 게임의 타이틀 및 로고 이미지 등 필요한 에셋을 빠듯한 시간안에 작업해야 했습니다.
비록 매우 짧은 기간이었지만, 아트팀의 노고 덕에 멋진 이미지가 나올 수 있었습니다.
막상 Steam페이지까지 개설하고 나니, 간단한 티저영상이라도 같이 올려두고 싶다는 욕심이 생겼고,
급하게나마 티저 영상 역시 제작해 올려주고 Steam페이지 개설을 마무리하였습니다.
지인 테스트 진행
유저 테스트에 앞서 지인 테스트를 먼저 진행한 것은 한 차례 기초적인 수정사항을 정리하고, 일부 개선된 버전으로 유저 테스트를 진행하고자 했기 때문입니다.
지인 테스트는 감사하게도 생각보다 많은 지인분들이 참여해주셔서 총 31개의 다양한 피드백을 얻을 수 있었습니다.
(설문결과 일부) 처음으로 현재작품에 대한 의견을 처음으로 확인해볼 수 있었습니다.
위와 같이 수집된 피드백을 바탕으로 단기간에 수정할 수 있는 아래와 같은 항목들을 선정해 유저테스트 버전에대한 패치를 진행했습니다.
- 전투 배속시스템 추가
- 룬 관련 건조물 시작건조물로 변경
- 게임분위기에 맞지않는 임시 캐릭터보이스 제거 및 교체
- 스킬 단축키 시스템 추가
- 일부 튜토리얼 보충
지인 테스트를 마치고 나니 생각지 못한 고민사항들이 생겨났습니다.
이미 지인설문을 통해 다량의 피드백과 의견들을 받았고, 수정하고 싶은 다양한 항목들을 정리해 볼 수 있었는데,
이러한 부분들을 개선하지 못한 상태에서 바로 유저 테스트를 진행하는 것이 적절한가에 대한 고민이 그것이었습니다.
고민 끝에, 지인분들과 유저분들의 피드백은 관점과 경험 등에 있어 차이가 있을 수 있다 생각되었고, 원래의 계획대로 유저 테스트를 진행해보기로 하였습니다.
유저테스트 진행 및 분석
지인 테스트를 마친 후 2주간의 수정 기간을 가진 후에, 이번 유저 테스트를 진행하였습니다.
유저 모집을 위해서 인디게임 관련 커뮤니티 위주로 홍보를 진행하였고, 테스트 기간은 12월 15일부터 28일까지 약 2주간이었습니다.
유저 테스트를 마친 후, 앞서 진행한 지인 테스트의 결과와 유저 테스트의 결과를 종합하여 분석해보는 시간을 가졌습니다.
총 31명이 설문에 참여해주신 지인 테스트의 플레이타임 응답
평소 지인분들이 즐겨하시는 게임 장르
먼저 지인 테스트의 경우 플레이시간 비율은 고르게 분포되어있다는 점에서 수집된 데이터는 전반적으로 특정 구간에 치우치지 않은, 안정적인 분포를 보였습니다.
약 20%정도 지인분께서는 4시간 이상 테스트에 참여해 주셨지만 그 외에는 본인 흥미도에 따라 적절한 플레이 시간을 진행 후 설문에 참여해주신 것이라 생각합니다.
유저테스트의 경우 외국유저분 까지 합치면 설문에 17명이 참여해주셨습니다.
설문에 응답해주신 유저님들이 평소에 즐겨하시는 게임 장르
오픈 테스트 방식에 가까운 테스트 방식을 취했던만큼 더 많은 설문응답이 수집되기를 기대했지만, 설문 참여율 자체는 예상보다 낮은 편이었습니다.
다만 과거 진행했던 테스트에서는 보지 못한 흥미로운 부분을 확인할 수 있었는데요,
일반적인 경우 경품 테스트를 진행할 시, 설문 응답자의 비율은 1~2시간이내로 짧게 플레이 한 유저 비율이 높게 나오고,
그 외 긴 시간 플레이한 응답이 상대적으로 낮게 나오는 경우가 많습니다.
하지만 재미있게도, 이번엔 설문에 참여해 주신 분들의 70% 가량이 2시간~4시간이상으로 분포되어 있었습니다.
(스팀통계데이터) 분포가 양끝단, 평균시간과 중앙값 차이가 꽤 벌어져있는 모습
설문지 외에도 스팀을 통해 기초적인 통계자료를 받아볼 수 있었습니다. 수집된 데이터를 적극적으로 활용해보기 위해,
주관적인 해석과 GPT를 이용해 설문 및 스팀 통계데이터를 분석해보았고, 다음과 같이 정리할 수 있었습니다.
1. 지인 테스트의 경우 턴제/전략 팬층 비율이 50%정도인데 반해, 유저테스트의 경우 턴제/전략 팬층 비율이 90%정도입니다.
두 설문 집단의 플레이타임과 대조해 보았을 때, 해당 장르에 익숙한 유저는 긴 시간 플레이를 하는 경향을 보였고,
익숙치 않은 유저님들은 빠르게 이탈했음을 확인케 해줍니다.
2. 테스트 버전의 플레이타임 분포는 양극화되기 마련이나, 이번 테스트는 그 경향이 다소 강했습니다.
이를 통해 본 작품이 취향을 강하게 타는 것을 재차 확인할 수 있었고, 게임의 진입장벽이 예상치를 웃돈다는 사실을 알 수 있었습니다.
특히 초반부 설명과 몰입, 동기 부여 측면에서 추가적인 보완이 필요하다는 점을 확인할 수 있었습니다.
3. 게임을 플레이 해 주신 유저님들 수에 비해 설문 참여 수가 지나치게 적었습니다.
이와 같은 오픈 테스트를 처음 진행하다보니 지나치게 많은 참여자분들이 모일 것을 대비해 답례전달 기준을 높여두었었는데요,
답례품을 목적으로 하는 참여자가 과도해질까봐 우려한 조치였지만, 반대로 짧게 플레이하신분들에게는 설문참여 동기를 약화시킨 측면도 있었을 것 같습니다.
동시에, 설문조사 참여 버튼을 조금 더 노출되는 위치에 배치해야 할 필요성을 느꼈습니다.
영어버전 제공전 스크린샷을 AI번역하며 플레이 해주시는 영어권 유저분들
이 외에도 원래 이번 테스트는 국내유저님들만을 대상으로 기획한 행사인데,
외국유저분들께서 참여해 AI로 게임화면을 번역해가며 어렵게 플레이를 하시며 피드백을 주시곤 하였습니다.
사실 이번 테스트 기간동안 추가 언어를 지원할 생각이 없었으나, 이로 인해 테스트 1주 차에 급하게 영어 지원을 추가했습니다.
돌이켜보면, 일정을 조금 늦추더라도 미리 다른 언어를 준비하여 처음부터 해외의 유저님들이 참여할 수 있도록 홍보했으면 좋았겠다는 아쉬움이 남습니다.
후기
이번 테스트를 통해 정량적인 분석외에도 게임내에 어떤 개선점을 적용하면 좋을지 생각해볼 수 있었습니다.
특히 유저테스트를 통해 게임을 오래 플레이 해 주신 유저 분들이 다량의 의견들을 전달해주시면서, 이 장르의 팬층에게는 어떤점이 어필되어야 하고,
그렇기에 어떤 부분이 개선되어야 하는지 등에 대한 정보를 얻을 수 있었습니다.
향후 방향성을 정리하는 데 많은 인사이트를 얻을 수 있는 계기가 되었습니다.
위처럼 개별 의견을 항목별로 정리해두고 있습니다.
작품이 장르에 대한 팬 분들께 긴 시간 놀거리를 제공한다는 점을 확인한 것은 좋았습니다.
하지만, 앞으로 장르의 팬이 아닌 분들을 위해 초반 진입장벽을 낮추고, 게임에 대한 몰입도를 높이기 위한 장치들을 계속해서 고민해봐야 할 것 같습니다.
<래토칼립스>는 2026년에도 비슷한 테스트 행사를 추가적으로 계획하고 있습니다.
관련된 소식 받아보시길 원하시는 분들은 저희 디스코드 채널에 합류해주시길 바랍니다.
다시 한 번 테스트에 참여해주신 모든 분들께 감사의 말씀을 드립니다.
모두 새해 복 많이 받으시길 바라며, 이번 개발일지는 여기서 마치겠습니다.
페이스북: https://www.facebook.com/CasselGames/
X: https://x.com/CasselGames
치즈: 안녕하세요. <래토칼립스>를 개발 중인 치즈입니다.
이번 편은 12월에 프로토타입 테스트 과정에 있었던 작업과정과 테스트 후기가 주된 내용입니다. 다만 이번 글의 중반부부터는 개인적인 분석이 중심이 됩니다.
테스트 과정 자체에 관심이 있으신 분들께는 도움이 되겠지만, 그렇지 않은 분들께는 다소 길게 느껴질 수 있습니다. 😅
스팀 페이지 제작
이번 테스트는 지인 테스트와 유저 테스트로 두 차례 나누어 진행되었습니다.
그 중 유저 테스트는 참여자분들의 접근성을 높이기 위해 Steam Playtest 기능을 활용하기로 결정했습니다.
스팀 페이지를 통해 테스트를 진행하면 참여 전에 게임에 대한 간략한 정보를 쉽게 확인할 수 있을 뿐만 아니라,
별도의 과정 없이 “테스트 참여” 버튼을 누르는 것으로 설치 및 플레이가 가능했기 때문입니다.
이러한 이유로 이번 테스트에는 Steam Playtest 기능이 적합하다고 판단했습니다.
테스트 기간에는 위와같이 참가버튼이 활성화되어 표시됩니다.
다만 이렇게 조기에 게임 페이지를 Steam에 개설할 계획은 없었기에 게임의 타이틀 및 로고 이미지 등 필요한 에셋을 빠듯한 시간안에 작업해야 했습니다.
비록 매우 짧은 기간이었지만, 아트팀의 노고 덕에 멋진 이미지가 나올 수 있었습니다.
막상 Steam페이지까지 개설하고 나니, 간단한 티저영상이라도 같이 올려두고 싶다는 욕심이 생겼고,
급하게나마 티저 영상 역시 제작해 올려주고 Steam페이지 개설을 마무리하였습니다.
지인 테스트 진행
유저 테스트에 앞서 지인 테스트를 먼저 진행한 것은 한 차례 기초적인 수정사항을 정리하고, 일부 개선된 버전으로 유저 테스트를 진행하고자 했기 때문입니다.
지인 테스트는 감사하게도 생각보다 많은 지인분들이 참여해주셔서 총 31개의 다양한 피드백을 얻을 수 있었습니다.
(설문결과 일부) 처음으로 현재작품에 대한 의견을 처음으로 확인해볼 수 있었습니다.
위와 같이 수집된 피드백을 바탕으로 단기간에 수정할 수 있는 아래와 같은 항목들을 선정해 유저테스트 버전에대한 패치를 진행했습니다.
- 전투 배속시스템 추가
- 룬 관련 건조물 시작건조물로 변경
- 게임분위기에 맞지않는 임시 캐릭터보이스 제거 및 교체
- 스킬 단축키 시스템 추가
- 일부 튜토리얼 보충
지인 테스트를 마치고 나니 생각지 못한 고민사항들이 생겨났습니다.
이미 지인설문을 통해 다량의 피드백과 의견들을 받았고, 수정하고 싶은 다양한 항목들을 정리해 볼 수 있었는데,
이러한 부분들을 개선하지 못한 상태에서 바로 유저 테스트를 진행하는 것이 적절한가에 대한 고민이 그것이었습니다.
고민 끝에, 지인분들과 유저분들의 피드백은 관점과 경험 등에 있어 차이가 있을 수 있다 생각되었고, 원래의 계획대로 유저 테스트를 진행해보기로 하였습니다.
유저테스트 진행 및 분석
지인 테스트를 마친 후 2주간의 수정 기간을 가진 후에, 이번 유저 테스트를 진행하였습니다.
유저 모집을 위해서 인디게임 관련 커뮤니티 위주로 홍보를 진행하였고, 테스트 기간은 12월 15일부터 28일까지 약 2주간이었습니다.
유저 테스트를 마친 후, 앞서 진행한 지인 테스트의 결과와 유저 테스트의 결과를 종합하여 분석해보는 시간을 가졌습니다.
총 31명이 설문에 참여해주신 지인 테스트의 플레이타임 응답
먼저 지인 테스트의 경우 플레이시간 비율은 고르게 분포되어있다는 점에서 수집된 데이터는 전반적으로 특정 구간에 치우치지 않은, 안정적인 분포를 보였습니다.
약 20%정도 지인분께서는 4시간 이상 테스트에 참여해 주셨지만 그 외에는 본인 흥미도에 따라 적절한 플레이 시간을 진행 후 설문에 참여해주신 것이라 생각합니다.
유저테스트의 경우 외국유저분 까지 합치면 설문에 17명이 참여해주셨습니다.
설문에 응답해주신 유저님들이 평소에 즐겨하시는 게임 장르
오픈 테스트 방식에 가까운 테스트 방식을 취했던만큼 더 많은 설문응답이 수집되기를 기대했지만, 설문 참여율 자체는 예상보다 낮은 편이었습니다.
다만 과거 진행했던 테스트에서는 보지 못한 흥미로운 부분을 확인할 수 있었는데요,
일반적인 경우 경품 테스트를 진행할 시, 설문 응답자의 비율은 1~2시간이내로 짧게 플레이 한 유저 비율이 높게 나오고,
그 외 긴 시간 플레이한 응답이 상대적으로 낮게 나오는 경우가 많습니다.
하지만 재미있게도, 이번엔 설문에 참여해 주신 분들의 70% 가량이 2시간~4시간이상으로 분포되어 있었습니다.
(스팀통계데이터) 분포가 양끝단, 평균시간과 중앙값 차이가 꽤 벌어져있는 모습
설문지 외에도 스팀을 통해 기초적인 통계자료를 받아볼 수 있었습니다. 수집된 데이터를 적극적으로 활용해보기 위해,
주관적인 해석과 GPT를 이용해 설문 및 스팀 통계데이터를 분석해보았고, 다음과 같이 정리할 수 있었습니다.
1. 지인 테스트의 경우 턴제/전략 팬층 비율이 50%정도인데 반해, 유저테스트의 경우 턴제/전략 팬층 비율이 90%정도입니다.
두 설문 집단의 플레이타임과 대조해 보았을 때, 해당 장르에 익숙한 유저는 긴 시간 플레이를 하는 경향을 보였고,
익숙치 않은 유저님들은 빠르게 이탈했음을 확인케 해줍니다.
2. 테스트 버전의 플레이타임 분포는 양극화되기 마련이나, 이번 테스트는 그 경향이 다소 강했습니다.
이를 통해 본 작품이 취향을 강하게 타는 것을 재차 확인할 수 있었고, 게임의 진입장벽이 예상치를 웃돈다는 사실을 알 수 있었습니다.
특히 초반부 설명과 몰입, 동기 부여 측면에서 추가적인 보완이 필요하다는 점을 확인할 수 있었습니다.
3. 게임을 플레이 해 주신 유저님들 수에 비해 설문 참여 수가 지나치게 적었습니다.
이와 같은 오픈 테스트를 처음 진행하다보니 지나치게 많은 참여자분들이 모일 것을 대비해 답례전달 기준을 높여두었었는데요,
답례품을 목적으로 하는 참여자가 과도해질까봐 우려한 조치였지만, 반대로 짧게 플레이하신분들에게는 설문참여 동기를 약화시킨 측면도 있었을 것 같습니다.
동시에, 설문조사 참여 버튼을 조금 더 노출되는 위치에 배치해야 할 필요성을 느꼈습니다.
영어버전 제공전 스크린샷을 AI번역하며 플레이 해주시는 영어권 유저분들
이 외에도 원래 이번 테스트는 국내유저님들만을 대상으로 기획한 행사인데,
외국유저분들께서 참여해 AI로 게임화면을 번역해가며 어렵게 플레이를 하시며 피드백을 주시곤 하였습니다.
사실 이번 테스트 기간동안 추가 언어를 지원할 생각이 없었으나, 이로 인해 테스트 1주 차에 급하게 영어 지원을 추가했습니다.
돌이켜보면, 일정을 조금 늦추더라도 미리 다른 언어를 준비하여 처음부터 해외의 유저님들이 참여할 수 있도록 홍보했으면 좋았겠다는 아쉬움이 남습니다.
후기
이번 테스트를 통해 정량적인 분석외에도 게임내에 어떤 개선점을 적용하면 좋을지 생각해볼 수 있었습니다.
특히 유저테스트를 통해 게임을 오래 플레이 해 주신 유저 분들이 다량의 의견들을 전달해주시면서, 이 장르의 팬층에게는 어떤점이 어필되어야 하고,
그렇기에 어떤 부분이 개선되어야 하는지 등에 대한 정보를 얻을 수 있었습니다.
향후 방향성을 정리하는 데 많은 인사이트를 얻을 수 있는 계기가 되었습니다.
위처럼 개별 의견을 항목별로 정리해두고 있습니다.
작품이 장르에 대한 팬 분들께 긴 시간 놀거리를 제공한다는 점을 확인한 것은 좋았습니다.
하지만, 앞으로 장르의 팬이 아닌 분들을 위해 초반 진입장벽을 낮추고, 게임에 대한 몰입도를 높이기 위한 장치들을 계속해서 고민해봐야 할 것 같습니다.
<래토칼립스>는 2026년에도 비슷한 테스트 행사를 추가적으로 계획하고 있습니다.
관련된 소식 받아보시길 원하시는 분들은 저희 디스코드 채널에 합류해주시길 바랍니다.
다시 한 번 테스트에 참여해주신 모든 분들께 감사의 말씀을 드립니다.
모두 새해 복 많이 받으시길 바라며, 이번 개발일지는 여기서 마치겠습니다.
페이스북: https://www.facebook.com/CasselGames/
X: https://x.com/CasselGames