UX리서처 Elizabeth Ferrall의 글을 공유드립니다.

(원문 : Improve your startup’s surveys and get even better data, 출처 : Elizabeth Ferrall-Nunge / UX Researcher, Twitter )

서베이가 필요한 상황

■ 시간을 두고 결과를 분석하고자 할 때– 이전 서베이 결과와의 변화가 중요한 시사점을 전달해줄 수 있습니다.
■ 사용자 리서치에서의 이슈들을 정량화하고자 할 때 – 문제가 무엇인지는 알겠는데, 그게 얼만큼의 비중을 갖는지를 정량적으로 파악할 수 있습니다.
■ 사용자들의 태도, 의도, 특정 테스크에 대한 성공율 등을 측정하고자 할 때

서베이가 불필요한 상황

■ 사용자들의 숨겨진 니즈와 동기를 찾고자 할 때 – 인터뷰나 관찰조사가 필요합니다
■ 사용자들이 제품을 잘 사용할 수 있는 지를 파악하고자 할 때 – 위와 동일
■ 실제 사용자들의 행위와 습관을 파악할고자 할 때 – 사용자들은 스스로의 행위, 습관을 말하는 데 서툴기 때문에 통계 분석이나 필드 리서치가 더 적합합니다.

Survey basics

■ 반드시 알고자 하는 것들만 간결하게 묻습니다. ‘알면 좋은 질문＇들은 피합니다. 또한 실제 디자인에 영향을 미칠 질문들을 묻습니다. 짧고 간결하게 구성합니다.
■ 처음에는 넓은 범위에서 질문을 했다가 점차 구체적이고 민감한 이슈로 들어갑니다.
■ 관련된 질문은 그룹핑을 통해 연이어서 묻습니다.
■ 답변 보기를 다양하게 섞어서 보기 순서에 따른 답변율 영향 효과를 최소화합니다.
■ 이미지는 사용자들의 답변에 영향을 미칠 수 있기 때문에 꼭 필요할 때만 제한적으로 사용합니다.
■ 일단 몇몇 사람들을 대상으로 서베이를 테스트해보고 문제가 발견되면 보완해서 본격적인 서베이를 실시합니다.

주의를 기울여야 할 함정들

■ 사용자들의 답변을 유도하는 질문(leading questions)은 피해야 합니다. ‘이번에 향상된 웹사이트를 사용해보셨습니까?’라는 질문은 이미 ‘향상된＇이라는 어감이 사용자에게 전달되어서 좋은 답변을 유도하기 어렵습니다. ‘통로가 덜 복잡해지면 우리 마트를 더 좋아하시겠습니까?’와 같은 질문은 사용자들이 싫어할 수 밖에 없는 ‘복잡한’이라는 전제가 밑에 깔려 있어서 좋은 질문이 될 수 없습니다.
■ 천편일률적인 보기는 피해야 합니다. 대신에 질문에 특화된 보기를 던집니다. (선호도를 어떤 질문에서는 5점 척도로 묻고, 다른 질문에서는 4점 척도로 물어보는 등)
■ 두 가지 질문을 동시에 던지지 않습니다. ‘A와 B 기능에 대해서 어떻게 생각하십니까?’라는 질문은 두 기능에 대한 만족도가 다를 경우, 사용자의 답변을 망설이게 만들 것입니다.
■ 동기를 묻기 위해서 ‘왜?’라는 질문을 하는 것을 피합니다. 사람들은 자신의 행위를 합리적으로 설명하기 어려워하기 때문에 서베이를 통해서 그들의 동기를 찾아내려고 하는 것은 바람직하지 않습니다.
■ 전문적이거나 모호한 용어를 피합니다. ‘Q1에 얼마나 마트를 자주 가셨습니까?’라는 질문에서 사용자들은 Q1이 1분기를 뜻하는지 모를 수 있다. 쉽고 상식적인 용어들로 서베이 질문을 구성해야 합니다.
■ 가정법을 사용한 질문은 피해야 합니다. ‘우리가 A라는 기능을 만들면 쓰시겠습니까?’라는 질문은 실제 사용자들이 써보지도 않고 답변하기에 무리가 있는 질문입니다. 설사 답변이 수집된다고 하더라도 신뢰할 수 없습니다.
■ 비교를 하는 질문은 피해야 합니다. 두 제품을 비교하기 위한 목적이라면 차라리 두번의 서베이를 각각 진행하는 것이 낫습니다.
■ 너무 광범위한 질문은 피해야 합니다.
■ 모든 답변 보기에 정확한 레이블이 붙어야 하고, 각 보기는 상호 균등해야 합니다.
■ ‘매우불만족에서 매우만족’까지 이르는 Bipolar 보기와 ‘0에서 매우 중요’까지 이르는 unipolar 보기를 질문에 맞게 사용합니다.

– UX1 컨설팅그룹