UX-Messung

Workshop „UX-Messung“
GfK SirValUse Consulting

25.05.2011 Workshop „UX Messung“

SirValUse berichtet über Erfahrungen zum Thema UX-Messung
Topics

» UX-Messungs-Historie (aus SirValUse-Perspektive)

» Kundennutzen, Kundenprojekte, Anwendungsfälle, …

» UX-Modelle

» Methodische Fragestellungen

» Exemplarisches Vorgehen für eine Studie zur Definition eines UX-Messinstruments

» UX-Messinstrument: Ideales Tool / Ideales Setting

2


UX-Messungs-Historie (aus SirValUse-Perspektive)

» 2001/2002: Erstes Projekt zur Pre-/Post-Messung von „Usability“

» 2002: Einführung der „UX Bench“ (SirValUse intern)

» Seit 2003 „UX-Tracker“ bei einem unserer Kunden
» Alle 6 Monate alle strategisch wichtigen Produkte
» Kombination von Messung und Befragung (objektive und subjektive Daten)
» Entwicklung der Messung von „Usability“ zu „User Experience“

» Seit 2005 diverse Kundenprojekte zur (mehr oder weniger regelmäßigen) Messung von UX
» Vor/Nach einem Relaunch
» Im Vergleich zum Wettbewerb

» Seit 2008/2009 Gespräche mit der GfK
» Zusammenführung von User Research/Usability Testing & Marktforschung
» Etablierung einer internationalen UX-Unit innerhalb der GfK
» Messung des ROI (Impact von UX auf Brand & Sales)

3


Kundennutzen, Kundenprojekte, Anwendungsfälle, …

» Regelmäßige Messung: Tantiemen, Etablierung von UX im Unternehmen, Steuerung
(Priorisierung) der UX-Aktivitäten

» Pre-/Post-Messung: Hat sich der Relaunch / die Entwicklung des neuen Produkts gelohnt?

» Benchmarking: Wie stehen wir im Vergleich zum Wettbewerb da? Was können wir vom
Wettbewerb lernen?

» ROI: Welchen Impact hat UX auf die Marke? Auf Kundenloyalität/-zufriedenheit? (Auf Sales?)

» Treiberanalyse: Wo genau muss ich die UX meiner Produkte optimieren, um deren Performance
zu verbessern?

» Vorhersagen: Rückschlüsse von der Bewertung des Konzepts auf die spätere Performance des
Produkts sollen möglich sein

4


UX Bench

» UX Bench is a Benchmark database that SirValUse uses since 2001 to benchmark all test stimuli:
» Websites
» CE
» Devices

» The core version of UX Bench consists of 23 items that reflect five User Experience dimensions .
» Not all items suit every study.

» Currently there is data available from more than 700 studies with over 75.000 users.

5


UX Bench

Usability Brand
Got my bearings quickly Suits the brand
Easy to understand I recognized the provider quickly
Clear and concise The ads are integrated well
Gut used to it quickly
Product is suitable for novices Design
Good visual design
Utility I like the colours
Meets my requirements
Product is helpful
Product is up-to-date Emotion
Good cost/performance ratio Communicates positive mood
Surpasses my expectations No worry about personal data
Is of high quality Product is reliable
Got all necessary product Arouses my curiosity
information Fun using the product

6


UX Bench

Overall satisfaction
-------------------------- Total
Got my bearings quickly (N=30)
Easy to understand
Benchmark
Usability Clear and concicse
Got used to it quickly from 18 E-
Suitable for novices Commerce
-------------------------- Live-Websites
Up-to-date (lab based UX-
Helpful Test) (N=93-
All necessary product information 493)
Utility High quality
Good cost/performance ratio
Meets requirements
Surpasses expectations
--------------------------
Reliable
No worry about personal data
Communicates positive mood
Emotion Arouses my curiosity
Had fun using the product
--------------------------
Good visual desing
Design Like the colours
--------------------------
Recognised the provider quickly
Suits the brand
Brand Ads are integrated well

7


Kundenprojekt

» Regelmäßig Messung der UX
» Vergleich zunächst longitudinal, künftig auch mit Wettbewerbern

» Methodik:
» Standardisiertes Setting im Lab: Bearbeitung von Kernaufgaben zu Produkten
» Messung von Time-on-Task, Problemen, Task Completion
» Subjektive Bewertung des Produktes nach der Aufgabenbearbeitung
» Quantitative Messung und qualitative Bewertung gleichzeitig

» Einschätzung:
» Sehr stabil & sensitiv über die Zeit (=hohe Reliabilität des Instruments)
» Bewertungsniveau ist Aufgaben-abhängig
» Sehr zeit- und kostenintensiv

8


UX-Modelle

» Literaturliste / Recherche
» Keine etablierte Mess-Methodik
» Vermengung von „Messung“ und „Erklärung“
» Teilweise Anwendbarkeit nicht gegeben (Quotenvorgaben)
» Viele Skalen mit einem Fokus auf „Usability“
» Einige Skalen mit einem Fokus auf „Erlebnis“
» Wenige Skalen, die systematisch beide Komponenten kombinieren
» Keine Berücksichtigung „objektiver“ Faktoren / Messungen

» Leitlinien für das neue Modell
» Komponente „Qualität“ (Produkt), Komponente „Erlebnis“ (Nutzer)
» Trennung von Messung und Erklärung
» Anwendbarkeit muss gegeben sein

9


UX-Modelle

SirValUse alt
» Usability, Utility, Emotion, Design, Brand

Kunde alt (z.B.)
» Satisfaction, Usability, Utility, Joy of Use, Design, Brand

Kunde neu (z.B.)
» Usability, Emotions, Attraktivität (Satisfacton und Usefulness als abhängige Variablen, Brand
ausgeklammert, mehr Fokus auf „Erlebnis“)
» Zielvariablen: Weiterempfehlung Produkt / Marke, Weiternutzung/Wiederkauf,
Wettbewerbsvorteil

GfK / SirValUse
» Nächste Charts

10


UX-Modelle
GfK / SirValUse

Brand

Task-oriented Self-oriented Aesthetic
qualities qualities qualitites
Learnability Identity
Visual

Haptic

Functionality Operability Stimulation Competence Acoustic

"hygiene factors"
Needed in order to avoid a negative experience. "motivators"
Do not, however, create a positive experience. Able to create a positive experience.

11


UX-Modelle
GfK / SirValUse: Task-Oriented Qualities

The qualities of an interactive product that determine its suitability for an intended task.
• Functionality
– The products fulfils its purpose without problems.
– Detailed definition: The interactive system supports the user in completing a task effectively and efficiently. There are no errors
or technical problems. Faulty input does not lead to critical consequences and can be easily reverted.
– Contains suitability for the task and error tolerance from ISO 9241-110
– e.g.: A smartphone's e-mail program provides all the necessary options and works error-free.

• Operability
– The product's features can be easily accessed by the user. He is in control of the product.
– Detailed def.: The user can understand the interactive product, it works in compliance with his or her expectations and he/she
may choose the order in which to perform tasks.
– Contains conformity with user expectations, self descriptiveness and controllability from ISO 9241-110.
– e. g.: The smartphone's e-mail program does not have a nested menu, the user can interrupt the writing of a new e-mail at any
time, …

• Learnability
– The operation of an interactive system is easy to learn.
– Detailed def.: The product support the user's learning of its handling.
– Contains suitability for learning from ISO 9241-110.
– e.g.: the smartphone provides tooltips, suggestions, meaningful feedback, …

cf. Schneider, W. (2008). Ergonomische Gestaltung von Benutzungsschnittstellen: Kommentar zur Grundsatznorm DIN EN ISO 9241-110. (Deutsches Institut für Normung e. V. (DIN), Eds.) (2nd ed.).
Berlin Wien Zürich: Beuth Verlag GmbH.

12


UX-Modelle
GfK / SirValUse: Self-Oriented Qualities

The qualities of an interactive product that are able to induce certain feelings in a user.
• Competence
– The feeling of being able to act competently and effectively, i.e. to take pride in one's actions and to draw confidence from
them.
– E.g. after using the iPhone for 15 minutes, a user may begin to feel that he or she will be able to carry out more complex tasks
on the iPhone in the future. He or she associates the interaction with the product with positive feelings of competence and
self-confidence. In contrast, trying certain other smartphones (e. g. by Nokia) may result in feelings of shame and
incompetence, because the user may have been unable to master the phone's handling. The user will probably avoid the cause
of these feelings (the interaction with the phone) in the future.
• Stimulation
– The feeling of enjoyment, pleasure and stimulation, i.e. to have fun and to experience novel things that encourage to try out
and find out more.
– E.g. in past usability experiments, users would effortlessly accomplish a given task (e. g. connecting to a WiFi-router) on a
Samsung Galaxy S smartphone. However, the interaction would not cause further reactions. Whereas, after performing the
same task on an iPad, users would make comments like "I really enjoyed that!" and "That's interesting, can I try this/tap here?".
• Identity
– The feeling of belongingness and affiliation, while at the same being special and having a unique personality. I.e. feeling
affiliated to a group of people one likes and respects (and who return these feelings), as well as being seen and highly
regarded as an individual.
– E.g. a new drill may not only be a tool, but may also make its new owner feel part of the craftsman- or DIY- (do it yourself)
community (affiliation). Also, after trying several models, the new owner may feel that the new tool is right up his street
(expression of unique identity). Furthermore, other people may start to seek advice on DIY-issues from the new owner, since
he obviously uses professional tools (standing in high regard).
This line of thought seems especially plausible when used with regard to e. g. the purchase of a Porsche.

Vgl. Hassenzahl, M., Diefenbach, S., & Göritz, A. (2010). Needs, affect, and interactive products – Facets of user experience. Interacting with Computers, 22(5), 353-362.

13


UX-Modelle
GfK / SirValUse: UX Profile

Identity

Competence Stimulation
Critical
area

Product X

Aesthetics Task-
oriented
qualities

14


UX-Messinstrument: Ideales Tool / Ideales Setting

» Messung der „subjektiven“ UX über validierten User-Fragebogen
» Verschiedene methodische Settings
» Online ohne Produktnutzung
» Im Lab nach offener Produktnutzung
» Im Lab nach aufgaben-basierter Produktnutzung (Prototypen)
» Entwicklung von „Offset“-Werten für die Settings

» Messung der „objektiven“ Usability über Experten-Fragebogen
» Angelehnt an ISO 9241-110
» 10 Usability-Experten bewerten das Produkt

» Allgemein
» Für beide Ansätze Aufbau einer Benchmark-Datenbank zur Anwendung in verschiedenen
„Bereichen“ (international, Produktentwicklungsphasen, Produktklassen, Abfrage-Settings, …)

15

UX-Messung

Ähnliche diashows

Weitere ähnliche Inhalte

UX-Messung