2007년 Nate Bolt가 Remote Research란 책을 펴낸 이래, 원격 테스트(또는 원격 리서치) 툴들은 급격한 발전을 이뤄왔습니다. 가장 흔하게 사용되는 Google Website Optimizer와 같은 A/B 테스트 툴로부터 UserTesting.com이나 uTest와 같은 패널진행형 테스트 툴에 이르기까지 종류도 다양해지고 각 툴들의 전문성도 대폭 강화되고 있는 추세입니다.

최근 들어서는 원격테스트 툴들을 이용하여 필드리서치를 대체하는 경향이 늘어나고 있습니다. 에스노그래퍼들이 들으면 대노(大怒)할 일이지만, 저희가 봤을 때는 나름 유용함이 여실합니다. 덮어놓고 말도 안된다고 하기에는 매력적인 면이 많다는 얘기입니다.

<Navflow는 네비게이션을 전문적으로 테스트하는 툴입니다. 테스트 사이트로 사용자들을 초대한 다음, 테스트를 통해 그들이 어떻게 네비게이션을 효과적으로 이용하는 지를 다음과 같이 파악할 수 있습니다.>

물론 효과적으로 원격 테스트 툴을 활용하기 위해서는 사용성 테스트에 대한 기본적인 지식과 경험이 갖춰져 있는 것이 좋습니다. 테스트가 UX 프로세스 가운데 가장 진입장벽이 낮은 것은 사실이지만, 덮어놓고 테스트를 하려고 든다면 좋은 결과를 얻지못할 가능성이 높습니다. 원격 테스트는 얼핏보면 비용과 시간을 줄일 수 있는 매력적인 방법으로 들리지만 현장의 생생한 목소리를 직접 얻을 수 없다는 단점과 더불어 자신이 마음대로 테스트 진행을 할 수 없기 때문에 초기에 주도면밀한 계획을 세우지 않으면 하나마나한 결과를 얻을 수도 있습니다.

성공적인 원격 테스트 진행을 위해서는 다음 사항들을 명심해야 합니다.

• 테스트를 통해서 얻고자 하는 목표를 명확하게 세웁니다. 두 개 이상의 안(variable)들을 비교하게 할 것인지, 현재 운영중인 서비스에 대한 문제점을 찾아보려는 것인지 등
• 테스트의 목표가 명확하다면 어떤 툴을 이용해서 테스트를 진행하는 게 가장 좋을 지 결정합니다. 또한 우리가 직접 툴을 이용해서 진행할 것인지, 외부의 전문 테스트 서비스 회사를 고용해서 진행할 것인지 선택합니다.

원격 테스트는 특성상 사용자를 직접 만나서 진행하는 게 아니라 비대면으로 (때로는 아예 누가 참여하는지조차 알 수 없는 방법으로) 진행하기 때문에 그 결과를 취합하는 데 있어서 주의를 기울여야 합니다. 어떤 서비스를 이용하던지 간에 다음과 같은 결과를 반드시 받아볼 수 있어야 합니다.

• 의도했던 목표 대비 테스트 결과의 신뢰도
• 참여한 테스터들의 유형 및 테스트 참여방식
• 전환율(Conversion rate), 테스크 성공율, 테스크 수행시간 등 세부적인 정량적 수치가 포함된 테스트 결과 리포트
• 테스트를 진행한 비디오나 오디오와 같은 구체적인 리포팅 결과

원격 테스트 결과에 있어서 전환율과 같은 통계 결과도 중요하지만, 개별 테스터들의 다음과 같은 결과가 더 중요한 의미를 시사할 때가 많습니다.(Source : How Usability Testing Drastically Improved My Client’s App – Joshua Gross,)

• 테스크 수행시 잠시 머뭇거리거나 무엇을 선택해야 좋을지 망설이는 행동 및 표정
• 왔던 경로를 되돌아가거나 되돌이키기(undo)를 하는 행동
• 한숨이나 투덜거림과 같이 소리를 통해 불만을 표시하는 것
• 테스크를 수행하는 데 예상했던 것보다 훨씬 긴 경로를 거치는 것
• 테스크의 완전한 실패

– UX1 컨설팅그룹