AI 스피커가 내 말을 못 알아들었을 때, 어떻게 하면 화가 조금 덜 날까요?

최근 큰 화두가 되고 있는 AI 기술이 접목된 대표적인 서비스로 AI 스피커를 들 수 있습니다. 시장조사기관 S&P글로벌마켓인텔리전스에 따르면 2017년 기준 AI 스피커 시장 규모는 25억2000만달러(약 3조원)였고, 2022년엔 87억1000만달러(약 10조4000억원)로 세 배 이상 성장할 전망이라고 합니다. 하지만 이렇게 성장이 가속화되고 있고 많은 기업에서 심혈을 기울여 기술을 개발하고 있지만, 상용화가 된 지 6년이 지난 지금 시점에도 여전히 사용자들의 불만은 많은 상태입니다.

한국소비자원의 조사에 따르면 이용자들이 AI 스피커 제품을 구매하기 전 가장 기대했던 기능은 ‘쉽고 편한 음성 인식’(46.3%)이라고 합니다. 가장 기대했던 부분의 기능이 잘 구현되지 않기 때문에 잘 작동되는 부분이 있음에도 오류가 발생했을 때의 상황들이 사용자의 사용 경험에 큰 영향을 미쳐 사용자의 만족도가 높아지지 않는 것입니다.

제품이나 서비스를 이용할 때, 사람들은 긍정적인 경험은 당연시하면서 부정적인 경험은 크게 인식하는 경향이 있습니다. 인간이 본래 긍정적인 경험보다 부정적인 경험에 더 민감하게 반응하는 존재이기 때문입니다. (Amos Tversky, Daniel Kahneman, 1991) 그러므로 제품이나 서비스를 좋게 만드는 것도 중요하지만, 문제, 좌절, 혐오의 감정을 겪지 않게 하는 것이 더욱더 중요합니다. 그렇기 때문에 오류 상황을 잘 해결하는 것에 대한 깊은 고민이 필요한 것입니다. 기술적인 한계와 기능의 제약이 존재하는 한 어쩔 수 없이 겪게 되는 오류 상황을 조금 덜 부정적으로 느끼게 할 순 없을까요?

* 이미지 출처 : https://www.cnet.com

이런 고민을 안고, 오류가 발생하는 상황에서 기존의 인터랙션 방식 중 어떤 요소를 개선할 때 부정적인 감정을 감소시킬 수 있을지 찾기 시작하였습니다. 현재 출시된 대부분의 AI 스피커들은 시각적인 그래픽, 청각적인 시그널 사운드, 물리적인 버튼, 대화형 음성 인터페이스(Voice User Interface, 이하 VUI)의 인터랙션 요소들을 지니고 있습니다. 최근 출시되는 기기들에는 스크린이 장착되어 있어 터치 인터랙션이 가능하기도 하지요. 이처럼 다양한 인터랙션 요소들이 있지만, 이들 중 AI 스피커의 사용 경험에 가장 큰 영향을 끼치는 요소는 사용자와 가장 많은 빈도로 인터랙션 하는 VUI라 할 수 있습니다.

VUI의 세부요소를 살펴보면 음성의 성별, 억양, 말투, 어휘, 속도, 화법, 메시지 내용 등이 있습니다. 각각의 세부요소 모두 사용 경험에 중요한 영향을 미치지만, 성별은 남자, 여자 혹은 중성 등의 개선할 수 있는 옵션이 적고, 억양, 말투, 어휘, 속도 역시 개선의 폭이 크지 않거나 서비스에 맞는 캐릭터에 의해 결정되는 경우가 많습니다. 그러나 동일한 상황에서 어떻게 설명하고, 얼마나 설명할지에 관련된 화법을 포함한 메시지 내용의 변화는 성별이나 억양에 상관없이 적용 가능하며, 좀 더 세밀한 감정의 변화를 발생시킬 수 있다고 생각했습니다. 이 같은 이유로 기존의 응답 메시지의 내용에서 부족한 부분들을 점검하여 개선된 메시지의 유형들을 만들어 실제로 어떤 효과가 있는지 실험해보았습니다.

 

먼저 발생할 수 있는 오류 상황의 유형을 분석해 보았습니다. 이와 관련된 선행 연구인 ‘대화형 음성 인터페이스의 인터랙션 오류 상황에 대한 사용자 발화 패턴 분석(천재민, 한성호, 조영석, 박원규, 김종서, 2006)’에서는 인터랙션 오류 상황이 발생하는 원인을 사용자 발화와 시스템 답변 두 가지로 구분하였는데, 이를 참고하여 본 연구에서는 오류의 주체를 사용자와 시스템으로 구분하여 오류 상황을 구체화하였습니다.

사용자가 오류의 주체인 경우란, 현재의 기술적인 한계 또는 사용자의 발음 또는 문법 오류 등으로 인해 시스템이 사용자의 발화를 제대로 인식하지 못한 경우를 말합니다. 시스템이 오류의 주체인 경우는, AI 스피커 시스템이 사용자의 발화를 인식은 했으나 데이터베이스 또는 알고리즘에 해당 질문에 대한 반응이 설계되어 있지 않은 경우입니다. [표 1] 참고.

[표 1] 발생 원인에 따른 오류 상황 유형

 

발생 원인에 따른 오류 상황 유형을 분석한 후 각 오류 상세유형에 대해 AI 스피커가 대응할 답변을 매칭하여 그룹핑해 보았습니다. [표 2] 참고. 예를 들어, 발생 원인이 어휘이면 오류의 주체가 사용자이든 시스템이든 모두 대응내용은 해당 단어가 시스템에 등록되지 않았음을 안내하는 것입니다. 이런 방식으로 6개의 오류 대응유형을 설계한 뒤, 실험에 사용할 대표 상황을 선정하였습니다. [표 3] 참고.

[표 2] 오류 상세유형 별 대응유형

[표 3] 6가지 오류 대응유형 별 오류 상황

이후 현재 사용되고 있는 AI 스피커의 응답을 조사하여 기존 메시지를 선정하고, 에러메시지의 4H(Ben Rowe, 2012)와 에러페이지의 구성 및 활용에 관한 문서(ZAGMASTER, 2019)를 참고하여 개선 메시지 프레임워크를 제작하였습니다. [표 4] 참고

에러메시지의 4H란 Human, Helpful, Humorous, Humble입니다. 즉, 시스템에서 에러가 발생했을 시 인간적이며, 실질적인 도움을 제공하고, 약간의 유머가 포함되며, 겸손한 태도로 메시지를 전달해야 한다는 것입니다(Ben Rowe, 2012). 이렇게 에러 메시지의 4H 특성에 맞게 에러 페이지의 구성 및 활용 방식을 매칭하여 제작한 이 프레임워크를 기반으로 개선 메시지를 결정한 뒤, 동일한 오류 상황에 대한 메시지 별 사용자의 감성 평가를 진행하였습니다. [표 5] 참고.

[표 5] 오류 상황 별 메시지 설계

평가는 유능성, 편리함, 친절함, 종결성 4가지 항목으로 구성하였습니다. 오류 상황에 대해 얼마나 정확하게 이해하여 잘 대처하였는지에 대한 유능성, 오류 상황이 해결되어 느껴진 편리함, 오류 상황 해결 과정에서 느껴진 친절함, 오류 상황이 얼마나 신속하게 해결되었는지에 대한 종결성 – 여기서 신속한 해결이란, 오류가 실제로 사라진 것이 아니라 오류 상황이 사용자에게 이해되어서 더 이상 해당 오류에 대해 의구심을 품지 않게 되는 상태를 말합니다. 이 4가지 평가 항목에 대해 메시지 별로 리쿼트 5점 척도로 평가를 진행하였습니다. 평가에 참여한 참가자는 총 55명으로, 남자 23명, 여자 32명으로 구성되었고, 연령대는 10대부터 70대까지 다양하게 모집하여 평가를 진행하였습니다. [그림 1] 참고.

[그림 1] 온라인 평가지 일부

과연 어떤 결과가 나왔을까요?

 

분석결과, 참가자들은 모든 오류 상황에서 AI 스피커가 기존 메시지로 응답한 것보다 개선 메시지로 응답한 것에 대해 유능성, 편리함, 친절함, 종결성을 높게 평가하였습니다. [그림 2] 참고. 즉, 모두 기존의 응답 메시지보다 개선 메시지가 오류 상황에 더 적절히 대처하였고(유능성), 오류 상황이 해결되어 더 편리함을 느꼈으며(편리함), 오류 상황을 해결하는 과정에서 더 친절함을 느꼈고(친절함), 오류 상황에 대한 남겨진 의문점이 더 없었다(종결성)는 것입니다. 이러한 결과는 메시지의 개선만으로도 사용자들에게 긍정적인 감정을 이끌어낼 수 있음을 보여줍니다.

[그림 2] 측정변수 전체에 대한 개선 효과(좌) / 오류 대응유형과 개선 여부의 상호작용(우)

또한, 오류 대응유형 B(시스템에 등록되지 않은 단어)와 C(질문이 복잡하여 인식 불가능) 유형은 D(질문한 문장이 문법에 맞지 않음)와 E(수행 불가능함) 유형 보다 개선 메시지에 대한 효과가 크게 나타났습니다. [그림 3] 참고. 위와 같은 결과가 중요한 것은 이를 통해 실제로 사용자 경험을 개선해야 하는 현장의 업무에서 오류 상황 별 개선의 우선순위를 파악할 수 있기 때문입니다. 즉, B와 C 오류 대응유형이 메시지의 개선을 통해 사용자에게 가장 큰 긍정적 반응을 이끌어낼 수 있다는 것입니다. 이것은 제한된 시간과 예산 안에서 가장 효율적인 사용자 경험을 기획하고 설계하는 데 중요한 가이드라인이 될 수 있습니다.

[그림 3] 오류 대응유형별 측정변수 전체 개선 폭

지금까지 AI 스피커 사용 중 발생하는 오류 상황에서 사용자들이 겪는 부정적인 감정을 줄일 수 있는 방법으로 응답 메시지 개선에 대한 연구를 살펴보았습니다. 결과적으로 개선된 메시지가 사용자들에게 조금 더 긍정적인 사용자 경험을 제공할 수 있음이 증명되었습니다. 이러한 개선 메시지 가이드라인은 빠른 성장과 보급을 진행하고 있는 AI 스피커의 사용자 경험을 높이는 것에 바로 활용할 수 있으며, 더 나아가 AI 스피커뿐만 아니라 계속해서 그 범위를 확장하고 있는 대화형 음성 인터페이스 시장에서 출시되는 다양한 디바이스들에도 위와 같은 결과를 참고할 수 있을 것이라 기대합니다.

 

– UX1 컨설팅그룹 이지연

 

타이틀이미지 출처 : https://www.techradar.com