Zahlen Daten Fakten - Nutzerforschung mit Umfragen

Die Nutzerforschung (User Research) ist eine der grundlegenden Disziplinen im Human-Centered-Design, um digitale Produkte und Dienstleistungen benutzerfreundlich zu entwickeln. Um die Bedürfnisse, Wünsche und Erwartungen von Usern sammeln zu können, ist eine der bekanntesten und effektivsten Methoden der Einsatz von Umfragen. Als flexible und kostensparende Möglichkeit können in kurzer Zeit eine große Anzahl an Teilnehmer*innen erreicht werden, um quantitative Daten zu sammeln. Im Artikel gehen wir darauf ein, was es vorab zu beachten gibt, welche Vor- und Nachteile sich ergeben können und wie man mit den gesammelten Erkenntnissen weiterarbeiten kann.

1. Umfagen perfekt einsetzen: an wen, wie und wann?

Einer der großen Vorteile von Umfragen ist die flexible Einsatzmöglichkeit – aus UX-Sicht können im Prinzip jederzeit im Projekt hilfreiche Daten erhoben und Erkenntnisse in die Entwicklung eingebracht werden, wenn die richtige Zielgruppe adressiert wurde und die Teilnehmerzahl entsprechend groß ist.

Um eine Nutzerumfrage vorzubereiten, sollten folgende Punkte vorab betrachtet und überlegt werden:

Zielgruppe:
An wen soll die Umfrage gerichtet werden? Ist die Zielgruppe leicht zu erreichen wie z.B. alle Besucher*innen einer Webseite oder benötigt man Feedback einer bestimmten Fachgruppe, die ggfs. schwer zu gewinnen ist und wenig Zeit hat?

Art der Umfrage:

Ist die Zielgruppe definiert, kann die Art der Umfrage bestimmt werden. Ist eine Online-Umfrage möglich oder muss sie im Rahmen eines Events stattfinden, ggfs. sogar mit persönlichem Kontakt? Es ist auch denkbar, beide Varianten zu mixen und zum Beispiel während einer Messe vor Ort sowie zeitgleich auf einer Webseite eine Befragung vorzunehmen. So oder so: Um Aufwände für die Auswertung gering zu halten, sollten auch die Daten während eines Events digital erfasst werden. So können Fragebögen während einer Messe zum Beispiel auf mehreren Tablets bereitgestellt werden, um einen guten Zugang für die Teilnehmenden sicher zu stellen.

Gestaltung der Fragestellungen:

Umfragen sind eine der meistgenutzten Möglichkeiten quantitative Daten zu erheben. Das heißt, im besten Fall erzielen die Ergebnisse möglichst viele, vergleichbare und statistisch bewertbare Antworten. Vor diesem Hintergrund sollte die Fragengestaltung ebenfalls möglichst effizient umgesetzt werden. Offene Antwortoptionen bieten zwar oftmals gute Erkenntnisse, die unstrukturierten Antworten müssen aber manuell und damit aufwändig ausgewertet werden. Es hilft also, sich vorab Gedanken darüber zu machen,

wie viele Fragen die Umfrage enthält,
welche Fragestellung (offen oder geschlossen) zum besten Ergebnis führt,
und welche Antwortoptionen zur Fragestellung passen und den Teilnehmer*innen sinnvolle und schnelle Antwortoptionen ermöglichen.

Laufzeit und Verfügbarkeit

Um eine möglichst hohe Teilnehmerzahl bei einer Umfrage zu erreichen, sollte vorab auch die genaue Laufzeit und die Verfügbarkeit der teilnehmenden Personen bestimmt werden. Online-Umfragen sind zeitlich flexibler, dennoch gibt es bessere und schlechtere Zeiten, um die Teilnehmer*innen zu erreichen: Fachpublikum ist an Werktagen besser verfügbar, Nutzergruppen im B2C eher an Wochenenden oder abends. Ist die Umfrage für einen bestimmten Zeitraum bestimmt, z.B. während einer Veranstaltung, ist auch das vorab einzuplanen. Zudem kann es hilfreich sein, entsprechende Gruppen noch einmal gezielt über Kanäle wie Newsletter, Social Media oder persönliche Ansprache und Einladung per Mailing anzusprechen.

Incentives: Das Dankeschön an die Teilnehmenden

Die Bereitschaft zur Teilnahme an Befragungen kann durch Anreize in Form von Incentives gesteigert werden. Je nach Zielgruppe, Aufwand und Zielstellung der Umfrage kann es auch notwendig sein, eine Aufwandsentschädigung in Form von Bargeld auszuzahlen. Die Höhe hängt von der Expertise und Erreichbarkeit der Teilnehmenden sowie deren Zeitaufwand während der Teilnahme ab. Daneben können auch Gutscheine, Verlosungen, Gewinnspiele, Produkt-Geschenke, Rabattcodes oder exklusiver Content bzw. Zugänge einen Anreiz schaffen. Generell ist es sinnvoll, die entsprechende Wertschätzung für das Nutzer*innen-Feedback durch angemessene Incentives deutlich zu machen.

2. Vor- und Nachteile von Umfragen

Als häufig eingesetzte Methode in der Nutzerforschung haben Umfragen viele Vorteile aber auch einige Nachteile, die man bei der Methodenwahl bedenken sollte.

Vorteile von Umfragen

Umfragen ermöglichen eine effiziente und reichweitenstarke Datenerhebung in vergleichsweise kurzer Zeit.
Dadurch, dass das Beantworten der Fragen nicht begleitet werden muss, können sie geografisch unabhängig eingesetzt werden, was z.B. eine weltweite Teilnahme ermöglicht.
Standardisierte Datenerhebung ermöglicht einen Vergleich und stellt Konsistenz sicher.
Umfragen sind kosten- und zeiteffizienter als z.B. das Durchführen von Interviews.
Teilnehmer*innen können durch anonymisierte Teilnahme ermutigt werden, ehrliche und offene Antworten zu geben.
Die flexiblen Einsatzmöglichkeiten von Umfragen können so gut wie in jeder Projektphase unterstützend eingesetzt werden.
Um zu messen, ob sich durch Anpassungen in einem interaktiven System Aspekte für die Nutzer*innen wie gewünscht verbessert haben, können Umfragen in zeitlichem Abstand entsprechend wiederholt werden.
Die Qualität der User Experience kann mit sehr effizienten Befragungen wie z.B. dem Net Promotor Score [CH1] kontinuierlich gemessen werden.
Kennzahlen zum Return on Investment [CH2] können neben dem Einsatz von Trackingdaten auch mittels Umfragen ergänzend analysiert werden.

Nachteile von Umfragen

Umfragen ermöglichen eine sehr gute quantitative Datenerhebung, können aber nicht so tief auf qualitative Fragestellungen eingehen wie z.B. Interviews. Umso wichtiger ist es, die genaue Zielsetzung der Befragung festzulegen.
Es kann – trotz intensiver Qualitätssicherung im Vorfeld der Befragung – passieren, dass eine gewisse Verzerrung der Daten entsteht, da Teilnehmer*innen Fragen nicht zu 100% verstehen, diese ihrem mentalen Modell gemäß anders interpretieren oder ihre Antworten zu positiv formulieren.
Ist die Teilnahmebereitschaft niedrig und kommen nicht genug Daten zusammen, dann ist es wichtig die Daten richtig zu interpretieren und keine „statistischen Werte“ daraus abzuleiten. Für statistische Validität sind in der Regel mehrere hundert Teilnehmer*innen erforderlich.
Falls eine Umfrage aktiv ist, gibt es wenig Eingriffsmöglichkeiten, um diese nachzubessern oder zu optimieren, falls Probleme erkannt werden. Daher ist eine vorherige Qualitätssicherung und Pilotierung wichtig, die aufwandsseitig entsprechend mit eingeplant werden muss.
Durch Bots können öffentlich zugängliche Umfrage-Links besucht und Umfragedaten korrumpiert werden. Maßnahmen zur Überprüfung, ob tatsächlich Menschen die Umfrage ausfüllen, müssen eingeplant und umgesetzt werden.

Ein Punkt der mitbedacht werden muss: der Datenschutz ist in Umfragen besonders wichtig und sollte im Vorfeld mitbedacht werden. Werden personenbezogene Daten erhoben, dann müssen Nutzende diesen konkret zustimmen und auch auf den Widerruf der Daten hingewiesen werden. Umfrage-Informationen gehören zu sensiblen Daten und sollten auch so behandelt und nach der Auswertung gelöscht werden.

3. Mit Umfrage-Ergebnissen weiterarbeiten

Umfragen liefern wertvolle Ergebnisse für Projekte und Produktentwicklungen, da sie direkte Einblicke in die Sicht der Nutzer*innen geben. Wichtig ist, mit der Menge der Teilnehmerfeedbacks korrekt umzugehen und diese passend einzuordnen:

Als untere Grenze von verwertbaren Daten sollten mindestens 30 vollständige Datensätze gesammelt worden sein. Als valider Wert für eine „Stichprobe“ gelten mindestens 100 Teilnehmer*innen-Feedbacks als optimal. Bei weniger Datensätzen können daher lediglich entsprechende Tendenzen aus den Ergebnissen abgeleitet werden.

Um die Daten leicht verständlich und erfassbar zu machen, ist es sinnvoll diese aufzubereiten und in Diagrammen oder Grafiken zu verarbeiten. Die wichtigsten Erkenntnisse sollten hervorgehoben werden. Offene Antworten müssen einzeln bewertet, sortiert und kategorisiert werden. Die Erkenntnisse, die aus jeder Fragestellung gezogen werden können, sollten interpretiert werden.

Die Ergebnisse müssen im Projektteam präsentiert und danach für jeden zugänglich abgelegt werden, um sie auch im weiteren Projektverlauf oder sogar im Nachgang noch im Zugriff zu haben.

Werden die Daten nach außen oder an Kund*innen gegeben, ist es ratsam hier einen Bericht zu erfassen und neben der Detailauswertung auch eine gute Zusammenfassung mit praktischen Maßnahmen für die Produktentwicklung bereit zu stellen. Die Personen, die an der Umfragekonzeption und -auswertung beteiligt waren, sollten als Ansprechpartner*innen für Rückfragen zur Verfügung stehen. Werden Ergebnisse aus der Umfrage direkt in der Projekt- bzw. Produktentwicklung weiterverwendet, kann die Umfrage als Datenbasis und Quelle der neuen Anforderung hinterlegt werden.

4. Fazit

Umfragen sind eine effiziente und flexibel Methode, um direktes Nutzer*innen-Feedback einzuholen und damit Produkte und Dienstleistungen aus Nutzersicht zu optimieren. Besonders die Möglichkeit, große Datenmengen von z.B. verschiedenen Zielgruppen einholen zu können, macht den Einsatz in vielen Bereichen interessant. Zum Start einer Umfrage sollte das Ziel klar definiert sein, um die passenden Zielgruppen, Fragestellungen und alle weiteren Parameter der Umfrage perfekt abzustimmen und wirklich relevante Erkenntnisse zu gewinnen. Die Ergebnisse können über den gesamten Projektverlauf so wie auch später relevant sein – eine zugängliche Datenaufbereitung und Ablage ist entsprechend sicher zu stellen.

Zur Autorin

Linda Alers ist Usability Engineer bei rocket-media. Als anerkannte UX-Trainerin bildet Sie nach internationalen Standards des UXQB in den Bereichen Usability Grundlagen, User Requirements Engineering, Usability Testing sowie dem UX-Management aus. An der Hochschule Aalen unterrichtete sie als Dozentin im Studienfach User Experience und ist ehrenamtliche Mitorganisatorin des World Usability Days.