2부에서는 1부에 이어 Dark Patterns 사용자 실험을 위한 측정 도구를 구성하고, 실험을 수행하기 전 연구의 구조와 가설을 수립한 후, 이를 바탕으로 구체적인 사용자 실험을 설계한 과정을 나눕니다.

2편 1부
1. 연구대상 선정
2. 실험물 제작

2편 2부
3. 측정도구의 구성
4. 연구의 구조 및 가설
5. 실험 설계

 기억이 잘 나지 않으시거나 처음오신 분들은 우선 여기를 다녀오세요 !

[환히 보이는 Dark Patterns of UXD 1-1] – https://blog.rightbrain.co.kr/?p=11615[환히 보이는 Dark Patterns of UXD 1-2] – https://blog.rightbrain.co.kr/?p=11658
[환히 보이는 Dark Patterns of UXD 2-1] – https://blog.rightbrain.co.kr/?p=12100

3. 측정 도구의 구성

상기와 같은 실험물을 바탕으로 사용자 경험을 총 6개의 종속변인을 기준으로 양적으로 측정하고 수집하기 위해 측정 도구를 구성하였습니다. 먼저 종속변인은 측정하는 방식에 따라 연구자인 제가 측정하는 총 2개의 ‘연구자 측정’ 종속변인과, 사용자가 직접 측정하는 총 4개의 ‘사용자 측정’ 종속변인을 두었습니다.

‘연구자 측정’ 종속변인의 경우, 사용자가 실험 과업을 수행하는 동안 제가 ‘과업수행 완료여부’와 그에 따른 ‘경과시간’을 사용자 몰래 블라인드로 측정해보기로 했습니다. 제가 무언가를 측정하고 있다는 것을 사용자가 알게 되면 그 부담감이 실험에 영향을 미칠 수도 있기 때문이죠(실험 심리학에서는 이를 ‘호손효과’라고 부릅니다).

‘사용자 측정’ 종속변인의 경우, 사용자가 각 Dark Patterns 유형이 담긴 실험물을 통해 과업을 수행한 뒤 자신의 경험을 바탕으로 ‘시각적 경험’, ‘과정적 경험’, ‘감정적 경험’, 그리고 ‘재구매 의도’에 대해 직접 측정하는 것으로 구성했습니다.

경험요소에 따라 각각의 하위문항을 두어 총 11개의 측정문항을 설정하였고, 모든 문항에서 5점 리커트 척도(1점 : 전혀 그렇지 않다 ~ 5점 : 매우 그렇다)로 측정하되, Dark Patterns 다섯 가지 유형의 측정도구를 한 페이지 안에 구성하여 사용자가 자신의 응답을 유형별로 비교측정할 수 있도록 하였습니다.

* 출처 : Youtube : 셜록 추리 명장면 하이라이트 (시즌 1)

(a) 과업수행 완료여부  

연구자는 사용자가 목표로 한 해지 및 환불 과업을 수행 완료하였는지를 ’완료/미완료’로 체크합니다. 과업은 그 범위에 따라 모바일 서비스 안에 한정되는 경우-반복간섭형, 경로방해형, 화면조작형-와 모바일 서비스 밖으로 확장되는 경우-규정은닉형, 행동강제형-으로 나뉩니다.
이때, ‘미완료’는 사용자가 과업을 수행하는 도중 포기 의사를 밝히는 경우에 해당합니다. 다만 규정은닉형의 경우, 환불에 대한 규정을 인지하지 못하였고, 평소에도 규정 및 약관을 잘 확인하지 않는다고 대답한 경우 ‘미완료’로 판단합니다.

(b) 과업수행 경과시간 

연구자는 사용자가 과업을 수행하는 동안 스톱워치로 과업 수행에 걸리는 시간을 측정합니다. 이는 각 실험물의 유형별로 모바일 내에서 수행할 수 있는 과업을 모두 수행하는 데 걸리는 시간을 기준으로 합니다. 이 역시 앞서 말했던 호손효과에 따른 혼입을 막기 위해 사용자에게는 알리지 않고 블라인드로 측정합니다. 과업 수행 완료 이후에도 측정된 시간은 사용자에게 알리지 않아 이후 경험에 대한 답변에 영향을 주지 않도록 하였습니다.

(c) 사용자 경험요소 : 시각적 경험 

시각적 경험은 사용자가 주어진 해지 및 환불 과업을 수행하면서 시각적으로 어떠한 경험을 하였는지에 대한 것입니다. 본 실험에서는 과업의 최종 목적 달성을 막는 시각적 기만요소에 대한 사용자 경험을 측정합니다. 이를 위하여 모바일 UI 디자인의 시각적 요소에 대한 선행연구들을 참고하여 측정항목을 구성하였습니다.

(d) 사용자 경험요소 : 과정적 경험 

과정적 경험은 사용자가 주어진 해지 및 환불 과업을 수행하는 과정 상의 경험에 대한 것입니다. 이는 과업의 최종 목적 달성을 막는 기만적인 Flow와 Depth에 대한 사용자 경험을 측정합니다. 이를 위하여 행동경제학에 대한 선행연구들을 참고하여 측정항목을 구성하였습니다.

(e) 사용자 경험요소 : 감정적 경험 

감정적 경험은 사용자가 주어진 해지 및 환불 과업을 수행하며 느낀 감정적 경험에 대한 것입니다. 이는 과업의 최종 목적 달성을 막는 기만적인 모든 요소를 경험한 사용자의 감정적 반응을 측정합니다. 이를 위하여 디지털 음원 서비스 사용의도에 미치는 영향에 대한 선행연구들을 참고하여 측정항목을 구성하였습니다.

(f) 사용자 경험요소 : 재구매 의도 

재구매 의도는 사용자가 주어진 해지 및 환불 과업을 모두 수행한 이후, 해당 서비스를 재구매할 것인지, 혹은 타인에게 추천할 것인지 여부입니다. 단, 가격과 평소 사용성은 고려하지 않고 오로지 실험을 통해 경험한 해지 및 환불 방식에만 기인하여 평가한다는 단서를 두었습니다. 이는 앞서 경험한 모든 기만적 경험요소들이 사용자의 재구매 의도에 영향을 미칠 것인지를 측정합니다. 이를 위하여 서비스 전환의도에 미치는 영향들에 대한 선행연구들을 참고하여 측정항목을 구성하였습니다.

4. 연구의 구조 및 가설

Dark Patterns 유형(독립변인)에 따라 사용자 경험(종속변인) 상의 차이가 발생하는지, 또한 각 사용자 경험요소(종속변인) 사이에서 관계성과 영향력이 나타나는지를 알아보기 위한 실험을 진행하였습니다. 독립변인은 앞서 소개한 실험물이 설계된 콜린 그레이의 분류를 따라 5개로 설정되었고, 종속변인의 사용자 경험 요소는 측정된 방식에 따라 연구자인 제가 측정하는 총 2개의 ‘연구자 측정’ 종속변인과 사용자가 직접 측정하는 총 4개의 ‘사용자 측정’ 종속변인을 두었습니다. 아래는 상기의 내용을 정리한 연구의 개념적 틀(Research Framework)입니다.

2편에서는 이제 사례 수집과 소개를 넘어서 본격적으로, 사용자들에게 Dark Patterns를 경험시킬 준비 과정을 소개드릴까 합니다. 수집된 사례는 많은데, 이 사례들에 대한 각각의 사용자 경험이 어떻다는 아직 밝혀진 바가 없습니다. 이에 1편의 선행연구에서 분류된 Dark Patterns의 유형 간에 사용자 경험 상의 차이가 나타나는지, 나타난다면 어떠한 차이가 나타나는지 한번 실험해보기로 했습니다. 다 나쁜 놈들이지만 그중에서도 사용자가 생각하기에 가장 나쁜 놈이 누구일지 궁금하지 않으신가요? 알고 보면 피식할 정도의 귀여운 좀도둑부터 어쩌면 당한 줄도 모르게 우리를 속여넘기는 교활한 전문루팡의 정체까지 함께 밝혀봅시다!

설정된 연구의 개념적 틀을 바탕으로 아래와 같이 총 3가지의 연구문제와 그에 따른 가설을 수립하였습니다.

연구문제 1

Dark Patterns 유형에 따라 사용자 경험은 차이가 있을 것인가

가설 1-1 | Dark Patterns 유형에 따라 과업수행 완료여부(a)는 차이가 있을 것이다.
가설 1-2 | Dark Patterns 유형에 따라 과업수행 경과시간(b)은 차이가 있을 것이다.
가설 1-3 | Dark Patterns 유형에 따라 사용자의 시각적 경험(c)은 차이가 있을 것이다.
가설 1-4 | Dark Patterns 유형에 따라 사용자의 과정적 경험(d)은 차이가 있을 것이다.
가설 1-5 | Dark Patterns 유형에 따라 사용자의 감정적 경험(e)은 차이가 있을 것이다.
가설 1-6 | Dark Patterns 유형에 따라 사용자의 재구매 의도(f)는 차이가 있을 것이다.

연구문제 2

각 Dark Patterns 유형의 사용자 경험 간에는 유의미한 상관관계가 있을 것인가

가설 2-1 | 반복간섭형의 경우 사용자의 시각적 경험(c), 과정적 경험(d), 감정적 경험(e), 재구매 의도(f)는 유의미한 상관관계가 있을 것이다.
가설 2-2 | 경로방해형의 경우 사용자의 시각적 경험(c), 과정적 경험(d), 감정적 경험(e), 재구매 의도(f)는 유의미한 상관관계가 있을 것이다.
가설 2-3 | 화면조작형의 경우 사용자의 시각적 경험(c), 과정적 경험(d), 감정적 경험(e), 재구매 의도(f)는 유의미한 상관관계가 있을 것이다.
가설 2-4 | 규정은닉형의 경우 사용자의 시각적 경험(c), 과정적 경험(d), 감정적 경험(e), 재구매 의도(f)는 유의미한 상관관계가 있을 것이다.
가설 2-5 | 행동강제형의 경우 사용자의 시각적 경험(c), 과정적 경험(d), 감정적 경험(e), 재구매 의도(f)는 유의미한 상관관계가 있을 것이다.

연구문제 3

각 Dark Patterns 유형의 사용자 경험요소가 재구매 의도에 유의미한 영향을 미칠 것인가

가설 3-1 | Dark Patterns 유형에 따라 사용자의 시각적 경험(c)은 재구매 의도(f)에 유의미한 영향을
미칠 것이다.
가설 3-2 | Dark Patterns 유형에 따라 사용자의 과정적 경험(d)은 재구매 의도(f)에 유의미한 영향을
미칠 것이다.
가설 3-3 | Dark Patterns 유형에 따라 사용자의 감정적 경험(e)은 재구매 의도(f)에 유의미한 영향을
미칠 것이다.

5. 실험 설계

자, 이제 모든 준비가 끝나고 사용자들에게 Dark UX를 경험시킬 일만 남았습니다. 실험은 총 5단계로 이루어졌으며 20~40대 남녀사용자 100명으로 대상으로한 대면실험으로 진행되었습니다(실험 진행 시기는 코로나 시국 이전이었거든요..ㅠㅠ). 실험에 소요되는 시간은 응답시간을 포함해 총 15분~20분 정도가 되도록 구성하였습니다. 실험의 세부 내용은 다음과 같습니다.

1단계로 사용자에게 연구와 실험에 대해 간략하게 소개합니다. 이때 사용자가 실험에 대한 선입견이나 편견을 갖지 않도록 하기 위하여 Dark UX에 관한 연구임을 밝히지 않고, 디지털 음원 서비스의 해지 및 환불 과정에 관한 경험연구이며 이에 대한 실험을 진행할 것으로 설명합니다.

2단계에서는 실험 동기부여를 위하여 실험 상황에 대해 가정해 보았어요. 사용자 본인이 평소 사용하는 디지털 음원 서비스에서 허락없이 정기결제가 이루어진 이용권에 대해 이를 해지하고 환불받으려는 분노상황임을 설명해주었습니다. 그리고 실제로 이런 상황에 처했다는 것을 가정하고 이제 실험을 시작합니다.

3단계에서 사용자는 사전에 제작된 실험물을 통해 디지털 음원 서비스 이용권 해지 및 환불 과업을 수행하며 Dark Patterns 각 유형들을 경험하게 됩니다. 측정하고자 하는 사항과 관련없는 가외변인(extraneous variable)을 최대한 통제하기 위해 실험물은 사용자 자신이 사용하던 모바일 디바이스를 통해 프로토타입으로 경험하도록 합니다. 사용자가 과업을 수행하는 동안 연구자인 저는 과업수행 경과시간과 함께 과업수행 완료여부를 블라인드로 측정합니다.

한 유형에 대한 경험을 마친 뒤 4단계에서 사용자는 구조회된 설문지에 5점 리커트 척도(Likert Scale)로 자신의 경험에 대해 체크합니다. 3단계와 4단계를 반복하며 5가지 Dark Patterns 유형을 경험하게 되는데, 이때 학습효과와 순서효과에 따른 혼입을 막기 위하여 유형별 실험물 경험 순서를 사용자마다 무작위로 구성하여 실험을 진행합니다.

실험물 경험을 다 마친 후 마지막 5단계에서는 인구통계학적 조사와 디지털 음원 서비스 기존 사용 경험에 대한 조사를 위한 공통설문을 진행합니다. 이때 사용자에게 앞서 경험했던 다섯 가지의 유형 중 감정적으로 가장 불쾌함을 느꼈던 유형을 순서대로 나열하게 합니다. 사용자가 나열을 마치면 그 이유에 대해 간략한 인터뷰를 진행하여 경험의 질적 측면에 대해 살펴봅니다.

실험 전과정에 대한 마무리로 사용자에게 본 실험이 Dark UX에 관한 목적으로 이루어지고 있음에 대해 밝히고, Dark Patterns의 개념과 실제 사례들을 간략히 소개함으로써 이에 대한 사용자 인지도를 확산하며 사용자 인터뷰를 마쳤습니다

* 실제 사용자 실험 현장 모음.zip

나가며

사용자의 경험이 최대한 정확하게 발견되어질 수 있도록 촘촘하게 실험을 설계하며, ‘과연 이 연구를 통해 의미있는 메세지를 담은 결과를 얻을 수 있을까’, 하는 의심과 회의라는 녀석들과 가장 많이 싸웠던 것 같습니다.  100명의 사용자들과 함께한 나름 긴 실험의 여정은 다행히 성공적으로 마쳐졌고, 사용자들은 제가 예상했던 것보다 훨씬 더 드라마틱한 반응들을 보여주었습니다. 이 과정은 결과를 보기 전 티저쯤으로 즐겨주시고, 저는 그럼 괴도 루팡의 정체를 들고 3편으로 꼭 돌아오겠습니다 !

– 가치UX그룹 강하영

참고문헌
본 연구는 홍익대학교 시각디자인학과 석사학위논문 『사용자 기만 디자인이 사용자 경험과 재구매 의도에 미치는 영향 : 디지털 음원 서비스의 모바일 내 해지 및 환불 과정을 중심으로』, 2020을 바탕으로 작성되었습니다.동 제목의 한국디자인학회 Archives of Design Research 135호(Vol.33 No.3)저널을 통해서도 요약본을 확인하실 수 있습니다.