UX 기획 및 리서치 강의 5주차 숙제 및 내용 정리

5-1, 5-2 내용 정리

사용성 테스트(Usability Test; UT) : 프로토타입이 있다면 제품 개발 단계 중 언제든 활용할 수 있다.

• 유저가 서비스를 사용할 때 의도한 시나리오에 따라 테스크를 수행하는지, 문제점은 없는지 관찰하기 위해 진행한다.
• 사용성 테스트를 통해 유저가 어떤 생각을 가지고 어떤 혼란을 겪는지 파악할 수 있다.
• 제품 개선 전 진행 시 유저가 불편하게 생각하는 부분을 파악할 수 있다.
• 제품 개선 후 진행하면 유저가 실제 어떻게 사용하는지 파악할 수 있다.
• 사용자 =/ 나
• 우리는 프로젝트에 대해 너무 많은 정보를 알고 있다. 그렇기에 유저가 화면을 직접 조작하며 마주치는 문제를 식별할 수 없다. 사용성 테스트를 통해 유저 중심으로 개선이 가능하다.

 

1. 사용성 테스트 구성 요소

• 진행자(Moderator)
  • 참가자에게 어떤 절차와 목적에 의해서 테스트가 진행이 되는지 알려준다.
  • 참가자가 자유롭게 의견을 전달하는 분위기를 조성하는 역할을 맡는다.
• 테스크(Task)
  • 진행자가 참가자에게 테스크 과정을 소리 내서 읽어 달라고 요청하기도 한다.
    • 참가자가 테스크 내용을 숙지할 수 있다.
    • 나중에 추가 될 관찰자들이 참가자가 어떤 테스크를 수행하고 있는지 파악하는데 도움을 준다.
• 참가자(Participant)
  • 유저들을 대표할 수 있어야 하기에 유저와 유사한 특성을 가지고 있어야 한다.
  • 이미 출시된 서비스의 경우, 서비스를 사용해본 유저를 모집하는것이 좋다.
  • 출시전인 서비스의 경우, 설정한 페르소나와 최대한 부합하는 참가자를 선정하는것이 좋다.
  • 내부에서 참가자를 선정할 경우 같은 팀 내에서는 선정하지 않는것이 좋다. (하지만 페르소나와 부합해야 함)
• 관찰자(Observer)
  • 테스트 진행 중의 참가자의 행동과 반응을 관찰하고 기록한다.
  • 테스트가 진행되는 방에 직접 들어가서 기록하기도 하고 원격으로 실시간 관찰하며 기록하기도 한다.

 

 

2. 사용성 테스트 공간 환경 구성

• 테스트 공간에서 참가자와 진행자가 테스트를 진행한다.
• 관찰 공간에서 관찰자들이 테스트 공간에서 일어나는 일들을 실시간으로 관찰하고 기록한다.
• 참가자의 얼굴과 화면이 보여야 한다. 관찰자들은 참가자가 어떤 말을 하면서 화면을 조작하는지 알 수 있어야 하기 때문
• 테스트 공간이 따로 있는 조직의 경우 단방향 거울을 활용하기도 한다. (취조실에 있는 한쪽에서만 보이는 그런 거울!)
• 줌과 구글밋 등을 활용하여 원격에서 사용성 테스트를 진행하기도 한다. (마찬가지로 실시간 참가자의 얼굴, 조작하는 화면을 보며 진행자가 질문을 한다.)
• 별도의 관찰 공간이 없는 경우 테스트 공간에 진행자와 서기 담당 관찰자 1명이 들어가기도 한다.
• 캐쥬얼하게 카페에서 1:1로 하기도 함!

 

 

3. 사용성 테스트

• 사용성 테스트 목적 설정
  • 사용성 테스트를 통해 확인하고 싶은 사항을 정한다.
• 참여자 리크루팅 & 스크리닝
  • 사용성 테스트의 목적, 방식, 일정, 보상 등 정보가 포함된 공지를 한다.
  • 필요 시 지원자의 적합 여부를 사전 질문 등을 통해 스크리닝한다.
  • 실제 인터뷰와 마찬가지로 5명의 참여자를 테스트하면 85% 정도의 사용성 문제를 발굴할수 있다.
• 테스크 선정
  • 유저가 수행할 수 있는 현실적인 테스크를 선정해야 한다.
  • 테스크 : 유저에게 주어지는 미션
  • 예시 1) 이전에 구매한 상품의 리뷰를 작성해보세요.
  • 예시 2) 장바구니에 담겨 있는 상품을 결제해보세요.
• 사용성 테스트 시나리오 작성
  • 선정 된 여러 개의 테스크들을 모아 사용성 테스트 시나리오를 구성한다.
  • 테스크의 수행 요청 순서, 후속 질문 리스트 등의 내용이 담겨진다.
• 파일럿 테스트
  • 실제 테스트 환경과 동일한 환경에서 사전 테스트를 진행해 보는 것
  • 예상치 못한 현장 변수를 미리 확인할 수 있다. (소리가 안나온다거나, 화면이 안 뜬다거나 등)
  • 제 3자 입장에서 질문 관련 피드백을 받을 수 있다. (전문 용어나, 내부에서만 사용하는 용어가 섞이지 않았는지 확인)
  • 사용성 테스크 총 소요 시간을 확인 할 수 있다.

 

 

3. 사용성 테스트 시나리오

• 분위기를 편안하게 만들기 위해 아이스브레이킹 질문을 한 후 테스트 하는 것을 추천한다.
• 테스크 수행 순서는 참가자가 순서대로 진행하기 용이한 순서대로 구성하는 것을 추천한다.
• 참가자에세 미리 공유된 시간 내에 마무리할 수 있도록 시간을 고려하며 테스크와 질문을 구성해야 한다.

 

 

5-3 내용 정리

1. 사용성 테스트 실행 과정

사용성 테스트는 총 1시간 내외로 구성하는 것이 좋다.

관찰자로 참여하는 사람도 테스트 전 사용성 테스트 시나리오를 숙지하고 있는것이 바람직하다.

• 사용성 테스트 안내
  • 사용성 테스트의 목적, 진행 방법, 주의 사항에 대해 안내한다.
  • 영상/사진 촬영 동의 여부를 체크한다.
  • 기밀 프로젝트인 경우 보안 서약서를 작성한다.
• a. 테스크 안내
  • 참가자가 수행해야 할 테스크를 알려준다.
• b. 테스크 수행 & Think Aloud
  • 참가자는 안내받은 테스크를 수행한다.
  • 진행자는 참가자에게 Think Aloud를 요청한다.
    • 테스크를 수행할 때 자신의 생각과 감정을 말로 표현해줄 것을 요청하는 것
• c. 사후 인터뷰
  • 이용 만족도를 측정한다.
  • 테스크 수행 전 기대했던 것과 수행 후 비교했을 때 어느 정도 차이가 있는지 확인한다.
  • 불편하게 하는 오류 요인이 무엇이 있었는지 파악한다.
• 마무리
  • 테스트 종료를 알리고 참여 보상을 증정한다.

 

 

2. Think Aloud

• 테스크를 수행하며 머릿속에 어떤 생각이 드는 지 말로 표현하도록 하는 방법
• Think Aloud를 통해 얻을 수 있는 정보
  • 유저가 메뉴나 버튼, 아이콘을 클릭한 의도
  • 어떤 행동을 했을 때 기대하는 결과값
  • 테스크 수행 중 유저가 겪는 어려움
  • 테스크 수행 중 유저가 실수를 한 이유
• 유저의 실제 의도와 인지 과정을 이해하고 설계에 반영할 수 있다는 장점!
• 편안한 분위기에서 자연스럽게 생각을 말할 수 있는 분위기를 조성하는 것이 중요하다.
• 2가지의 진행 방법
  • A. Think Aloud 테스크 수행과 동시에 진행한다.
    • 장점 : 정보를 찾고자 할 때 참가자의 의도를 명확히 파악할 수 있다.
    • 단점 : 말과 행동을 동시에 하려다보니 수행 집중력이 떨어질 수 있다. 진행자가 능숙하지 않다면 실수로 참가자에게 다음 행동을 암시하는 힌트를 줄 수 있다.
    • 유의사항
      • 중간에 참가자가 질문을 할 때 최대한 답변을 주지 않아야 한다. 참가자가 요구사항 진행을 못하면 일정 시간 이후 테스크를 종료한다. (테스크 이후 경로가 어려웠는지, 화면 구성이 헷갈렸는지 등 원인을 함께 파악한다.)
      • 테스트 중에는 참가자가 말을 많이 하도록 유도해야 한다.
      • 중간에 참가자가 실수를 해도 힌트를 주거나 고치려고 하지 말아야 한다.
      • "왜 그렇게 생각하세요?", "어떻게 해야할 것 같으세요?" 등의 열린 질문으로 참가자의 생각을 알아보는 것이 바람직하다.
  • B. Retrospective Think Aloud 테스크 종료 후 기억을 되살리며 진행한다.
    • 장점 : 테스크 수행 중에는 테스크에만 집중할 수 있다.
    • 단점 : 이전에 한 행위를 기억 못 할 수 있다. 사소한 오류에 대해 적극적으로 표현하지 않으려는 경향이 있다.
  • 보통은 테스크 수행과 Think Aloud를 동시에 진행하는 첫 번째 방식을 이용한다.

 

5-4 내용 정리

 

1. 사용성 테스트 결과 정리하기

• 문제점 도출 -> 원인 도출 -> 개선 방향 도출
• 문제점 도출
  • 참가자의 생각과 행동에 대한 기록을 종합하여 문제점을 파악한다.
  • 진행자가 관찰자의 기록을 종합하여 문제점을 파악한다.
• 원인 도출
  • 유저가 예상하고 기대하는 바가 실제와 어떻게 달랐는지 확인한다. (내용, 경험)
• 개선 방향 도출
  • 테스크별로 개선이 필요한 부분을 리스트업한다.
  • 정보 구조 관점에서 개선이 필요한 부분을 리스트업한다.
• TIP : 팀에 테스트 결과 공유 시 문서로만 공유하는 것보다 실제 참가자 영상을 함께 공유하는것이 더 효과적이다.

 

2. 사용성 테스트 결과 우선순위 논의

• 유저의 이용 만족도와 행동 데이터를 수집하여 우선순위 논의 시 의사 결정 근거로 활용하기도 한다.
• a. 테스크 수행 후 참가자의 이용 만족도를 측정한다.
  • 예시) 우체국 예약 수행의 난이도는 어땠나요? 그리고 그 이유를 알려주세요.
    • (1. 매우 쉬웠다. 2. 쉬웠다. 3.보통이다. 4.어려웠다. 5.매우 어려웠다)
• b. 참가자의 테스크 성공/실패 여부를 측정한다. (특정 테스크가 유독 실패 비율이 높다면 이용에 불편함이 있다고 볼 수 있다.)
  • 참가자가 테스크를 수행하는 과정을 진행자 혹은 관찰자가 테스크 성공/실패 여부에 따라 점수를 부여한다.
    • 점수 산정 기준은 성공(S), 부분 성공(P1, P2), 실패(F)로 정의할 수 있다.

성공/실패 여부	표기	점수	평가 방법
완전 성공	S	100점	테스크 수행에 어려움이나 망설임 없이 쉽게 성공한 경우
부분 성공	P1	75점	관련 메뉴가 테스크에 대한 결정적 힌트를 진행자가 알려준 후에 테스크 수행을 성공한 경우
부분 성공	P2	50점	테스크를 수행했으나 수행 과정에서 중요 오류 요인 등을 접한 경우 ex) 테스크 수행과 관련없는 메뉴를 두 번 이상 클릭한 경우 ex) 메뉴나 관련 정보를 찾기 위해 사이트 맵을 열어본 경우 ex) 테스크 수행 중 현재 위치를 파악하지 못한 경우
실패	F	0점	테스크를 수행하지 못하거나 치명적인 오류 때문에 과제를 포기한 경우
제외	E	제외	테스크 의도와 상관없이 테스크를 수행한 경우

•  c. 참가자가 테스크를 쉽게 달성할 수 있었는지 측정한다. (참가자의 이동 동선을 살펴본다)
  • 과제별 평균 소요 시간
    • Think Aloud, 사후 인터뷰 진행한 시간을 제외하고 측정한다.
    • 테스크 마다 목표, 난이도, 설정시간이 다르기 때문에 테스크 간에는 비교하지 않는다.
    • 동일 테스크 간에 사용자들이 얼마나 소요 시간을 사용했는지 측정한다.
  • 페이지 이동 횟수
    • 페이지 수 측정 공식 = 예상 경로 페이지 수 / 이동한 전체 페이지 수
    • 예상 경로 페이지보다 더 많은 페이지를 이동하거나 동일 페이지를 여러 번 방문했다면 장애 요인을 확인해야 한다.
  • 클릭 및 커서 횟수
    • 메뉴명이 명확하지 않으면 사용자가 클릭 후 되돌아가거나 커서를 댔다가 클릭하지 않는 행위를 반복할 수 있다.
    • 참가자가 원하는 메뉴를 찾기 어려웠다는 의미이기 때문에 메뉴 개선을 고려할 수 있다.
  • 이동 동선 
    • 참가자가 클릭하여 이동한 동선(화면) 분석을 통해 주요 장애 요인을 한 눈에 파악할 수 있다.
    • 개별 참가자를 각각 뜯어보여 예상 동선에서 벗어난 경우 그 원인이 무엇이고, 어떻게 대처하는지 살펴볼 수 있다.

 

 

5-5 내용 정리

1. 휴리스틱 평가(Heuristic Evaluation) : 전문가가 인터페이스를 검토하여 사용자 인터페이스의 문제점을 발견하는 방법

• 사용성 테스트와 달리 유저를 대상으로 하지 않고, 디자이너나 사용자 경험 전문가가 특정 휴리스틱을 기반으로 평가한다.
• 장점 : 디자인 초기 단계에서 비교적 쉽고 빠르게 적용해볼수 있다.
• 단점 : 전문가 중심의 평가이기 때문에 실제 유저의 경험을 완벽하게 대변하지 못한다는 단점이 있다.

 

2. 제이콥 닐슨의 10가지 휴리스틱 평가 항목

• 휴리스틱 평가 중 닐슨 노먼 그룹의 제이콥 닐슨이 1994년 개정한 10가지 휴리스틱 평가(10 Usavility Heuristics)가 제일 대중적으로 활용되고 있다.
• 1. 시스템 상대 가시성
  • 유저가 현재 무엇을 하고 있는지 정확한 상태를 보여주고 있는가?
  • 예시) 텍스트 필드의 focused 상태
• 2. 시스템과 실제 세상 매칭
  • 사용되고 있는 아이콘, 문구, 메뉴명이 실제 생활에서도 사용되고 있는 것으로 제공되고 있는가?
  • 예시) 친숙한 메타포의 아이콘과 메뉴명 ('Food' 카테고리 명과 '음식' 아이콘)
• 3. 유저의 선택권 및 자유도
  • 유저가 서비스를 자유롭게 조작할 수 있는가?
  • 예시) 실행 취소 기능(Undo)
• 4. 일관성과 규정
  • 여러 개의 화면에서도 일관성있게 제공하고 있는가?
  • 예시) 일관성을 유지하는 디자인 시스템
• 5. 에러 방지
  • 사용하면서 실수를 최대한 하지 않도록 하고 있는가?
  • 예시) 명확한 터치 영역
• 6. 기억보다는 인지
  • 서비스를 사용할 때 학습을 하거나 별도의 기억을 하지 않아도 직관적으로 사용할 수 있는가?
  • 예시) 상품을 찾고 장바구니에 담는 과정
• 7. 유연성과 효율성
  • 서비스 대상 모두가 사용할 수 있게 제공되고 있는가?
  • 예시) 스포티파이의 이퀄라이저 개인화 및 자동차 모드 On/Off 기능 (입문자, 숙련자 모두에게 편하게 사용할 수 있는 기능)
• 8. 심미적이고 미니멀한 디자인
  • 최소한의 디자인을 통해 심미성을 잘 느낄 수 있게 제공되고 있는가?
  • 예시) 최소한의 디자인 요소로 필수 정보만 들어가 있는 에어비앤비 숙소 리스트 화면
• 9. 유저가 에러를 전달할 때 상황, 이유, 해결책을 말하기
  • 에러가 발생했을 때, 유저가 잘 인지하고 스스로 해결할 수 있게 도와주고 있는가?
  • 예시) 회원가입 시 비밀번호 설정 가이드 문구
• 10. 문제 해결과 문서화
  • 유저에게 충분한 도움말을 제공하고 있는가?
  • 예시) 고객센터의 FAQ

 

그 외 추가 내용

• 멘탈 모델 : 어떤 개념이나, 아이디어, 사물, 사건, 현상 등에 대해 개인이 가지고 있는 이해의 틀 혹은 모델을 말한다. 쉽게 말해 머리속에 있는 생각의 패턴!
• 아이스브레이킹 : 진행자가 느끼는 선에서도 아이스브레이킹이 되는 내용을 선별하는것이 좋다.
• 인터뷰어 (Interviewer) : 질문을 하는 사람
• 인터뷰이 (Interviewee) : 질문을 받는 사람

 

숙제

• 과제 설명 : 커머스 서비스 로그인/회원가입 과정의 사용성 테스트에서 참여자가 수행할 테스트 선정
• 사용성 테스트의 목적 : 신규 가입 유저가 로그인/회원가입을 할 때 겪는 문제점을 찾아내고자 한다.
• 참여자 정보 : 주 2회 이상 커머스 서비스를 사용하지만, 자사 서비스를 사용해본 경험을 없는 유저
• 요구사항 : 테스크 7개 선정하기

선정 어플 : 랭킹닭컴

테스크 1 : 네이버로 소셜 로그인해보세요.

테스크 2 : 애플 아이디로 로그인해보세요.

테스크 3 : 카카오 소셜 로그인해조세요.

테스크 4 : 회원가입 해보세요.

테스크 5 : 아이디 찾기 해보세요.

테스크 6 : 비밀번호 찾기 해보세요.

테스크 7 : 비밀번호 재설정 해보세요.