Usability-Tests mit Menschen mit Behinderungen planen und durchführen

Letzte Änderung: 03/2023

Die folgenden Empfehlungen beziehen sich speziell auf die Einbindung sehbehinderter, blinder und mobilitätseingeschränkter Probandinnen und Probanden, die mit assistiven Technologien wie einem Screenreader, einer Vergrößerungs- oder Spracherkennungssoftware oder systemseitigen Anpassungen arbeiten.

Wollen Sie Hilfsmittelnutzende einbinden, sollten Sie vorab sicherstellen, dass der Testgegenstand grundlegend barrierefrei ist. Die Gründe hierfür erläutern wir unter Usability und Accessibility.

Die Testumgebung

Individuelle Ausstattung

Testpersonen sollten mit ihren digitalen Endgeräten und ihrer assistiven Technologie in der Art und Weise arbeiten können, wie sie es gewohnt sind. In der Regel kommt daher für Usability-Tests nur die eigene Ausstattung in Frage.

Blinde Menschen nutzen die Sprachausgabe ihres Screenreaders in der Regel in hoher Geschwindigkeit. Damit nicht-geübte Zuhörende sie verstehen und damit ein tieferes Verständnis für die Nutzungsweise erlangen können, sollten Sie die Testperson bitten, die Geschwindigkeit (eventuell auch die Lautstärke) der Sprachausgabe anzupassen.

Wollen Sie vor Ort testen, dann klären Sie mit der Testperson, ob sie die individuelle Ausstattung mitbringen kann (es sei denn Sie wollen ohnehin am mobilen Endgerät arbeiten). Ansonsten kann es sinnvoll sein, bei der Testperson zu Hause zu testen. Remote-Usability-Tests sind eine gute Alternative.

Remote- oder Vor-Ort-Tests

Remote-Tests werden immer beliebter und bringen gewisse Vorteile mit sich, auch für die Einbindung von Menschen mit Behinderungen. Informieren Sie sich jedoch vorab über die Möglichkeit, verschiedene assistive Technologien in der Bildschirmübertragung des Online-Konferenzsystems wahrzunehmen. Weitere Informationen unter Remote-Usability-Tests.

Wenn Sie sich für Vor-Ort-Tests entscheiden, achten Sie auf Räumlichkeiten, die ruhig und für die Testpersonen einfach und barrierefrei erreichbar sind (am besten mit öffentlichen Verkehrsmitteln). Fragen Sie Ihre Testpersonen ob Unterstützungsbedarf besteht, etwa um das Testlabor zu erreichen. Es kann z. B. hilfreich sein, einem blinden Menschen anzubieten, ihn an einem Ort in der Nähe abzuholen (z. B. an einer S-Bahn-Station oder dem Hauptbahnhof).

Auch die Räumlichkeit selbst (und die Waschräume) müssen den Barrierefreiheitsbedarfen der Testgruppe entsprechen. Wenn Sie mit seheingeschränkten Menschen testen, ist eine gute, blendfreie Beleuchtung empfehlenswert.

Testgruppe

Testpersonen rekrutieren

Typischerweise werden Testpersonen über Recruiting-Agenturen gebucht. Unsere Rückfragen bei Recruiting-Agenturen haben ergeben, dass es kein entsprechendes Angebot für Testpersonen mit Behinderungen gibt. Probandinnen und Probanden mit Behinderungen müssten also direkt rekrutiert werden. Das ist mit etwas zeitlichem Aufwand verbunden.

Unsere Tipps, um die Rekrutierung zu vereinfachen:

  • Denken Sie über Remote-Tests nach. Sie bieten den Vorteil, dass Sie auch Testpersonen einbinden können, die an entfernteren Orten leben.
  • Achten Sie darauf, die spezifischen Anforderungen (etwa Alter, Bildungshintergrund usw.) nicht zu eng zu definieren. Dies macht die Suche schwieriger.
  • Bieten Sie eine Aufwandsentschädigung an.
  • Pflegen Sie Kontakte zu Organisationen der Selbsthilfe behinderter Menschen. Hilfreich könnten auch Anfragen bei Hochschulbüros für Studierende mit Behinderungen, Lerncafés oder Diensten für Assistenzbedarf sein.

Unser Pool von Testpersonen mit Behinderungen

Das Projekt Team Usability hat einen Pool von Testpersonen mit Behinderungen aufgebaut.

  • Nutzertests anfragen: Treten Sie gerne mit uns in Kontakt, wenn Sie Usability-Tests mit behinderten Proband*innen beauftragen möchten. Wir sind jedoch keine Recruiting-Agentur, die ausschließlich Kontakte zu Testpersonen zur Verfügung stellt.
  • Testperson werden: Wenn Sie als Testperson an Usability-Tests teilnehmen möchten, registrieren Sie sich bitte unter Tester*in werden.

Wichtige Fragen bei der Rekrutierung

Klären Sie bei der Anfrage von Menschen mit Behinderungen die folgenden Fragen:

  • Welche Einschränkung(en) und welche Anpassungsstrategie(n) bzw. Nutzungsweise(n) bestehen?
  • Welches digitale Endgerät wird genutzt (Mobiltelefon, Tablet, Laptop, Desktop, Windows/Mac, Android/ iOS)?
  • Welche assistive Technologie wird genutzt?
  • Wie ist die Selbsteinschätzung der Hilfsmittel-Kompetenz?
  • Wie ist der Level der digitalen Affinität?
  • Welche technische Ausstattung wäre für Remote-Tests vorhanden (Rechner mit Kamera, Headset)?

Für Vor-Ort-Tests können folgende Aspekte interessant sein:

  • Können digitale Geräte und Hilfsmittel von der Testperson mitgebracht werden?
  • Hat die Person vor Ort einen Assistenzbedarf?

Anzahl der Testpersonen

Eine ausschließliche Haltung zur Anzahl einzubindender Testpersonen gibt es unter UX-Profis auch für klassische Usability-Tests nicht.

Gängig ist die Annahme von Jakob Nielsen, mit fünf Nutzenden zu testen (um 85 % der Usability-Probleme zu finden, vgl. Why You Only Need to Test with 5 Users). Ab der sechsten Testperson sinkt die Lernkurve, d. h. es werden zunehmend weniger neue Usability-Probleme gefunden. Jakob geht in diesen Untersuchungen von Nutzenden mit vergleichbaren Nutzereigenschaften aus. Dadurch könne man davon ausgehen, dass sie eine Website auf weitgehend ähnliche Weise nutzen. Ein Produkt, das auf sehr unterschiedliche Nutzergruppen ausgerichtet ist, sollte auch mit verschiedenen Nutzergruppen getestet werden. Dann, so Nielsen, ist es ausreichend, mit drei Nutzenden aus jeder Kategorie zu testen.

Überträgt man diese Erkenntnis auf Usability-Tests mit Menschen mit Behinderungen, könnte die Empfehlung lauten, drei Nutzende je eingesetzter assistiver Technologie oder adaptiver Strategie einzubinden. Wie Menschen mit Behinderungen das Web nutzen, erfahren Sie unter Nutzungsweisen kennenlernen.

Neben dieser Überlegung haben wir weitere konzeptionelle Herangehensweisen gesammelt, um - bei begrenzten Ressourcen - die Einbindung von Menschen mit Behinderung in Usability-Tests zu berücksichtigen:

Weitere konzeptionelle Herangehensweisen

  • Systematische Einbeziehung von Bedarfen von Menschen mit Behinderung: Disability Mainstreaming ist die systematische Integration der Bedürfnisse von Menschen mit Behinderung in allen gesellschaftlichen Handlungsbereichen. Überträgt man diesen Grundsatz auf die Durchführung von Usability-Tests, sollten bei jedem UX-Format auch behinderte Nutzende einbezogen werden. Betrachtet man "Behinderung" als Teilnehmermerkmal wie Alter, Bildungshintergrund usw. könnte man für sich definieren, in Testgruppen immer eine oder zwei Testpersonen mit einer beliebigen Behinderung zu haben.
  • Einbeziehung unterschiedlicher Testgruppen in iterativen Design-Prozessen: Wenn in iterativen Design-Prozessen wiederholt getestet wird, könnten jeweils unterschiedliche Personengruppen eingebunden werden.
  • Auswahl einer Nutzergruppe entsprechend der Relevanz des Testgegenstandes: Ist der Testgegenstand für eine bestimmte Nutzergruppe besonders relevant, könnte diese im ersten Schritt einbezogen werden. Eine Webseite über Diabetes könnte zum Beispiel im ersten Durchlauf mit Personen mit Seheinschränkungen getestet werden (Diabetes mellitus kann zur sogenannten diabetischen Retinopathie führen, einer Netzhauterkrankung, die die Sehkraft bis hin zur Erblindung beeinträchtigen kann).
  • Auswahl von Testpersonen entsprechend der Inhalte des Testgegenstandes: Die Überlegung, welche Auswirkung Usability-Probleme auf eine bestimmte Nutzergruppe haben, kann ebenfalls die Auswahl der Proband*innen beeinflussen. Bei einem Webangebot, das kaum Audio-Inhalte (Podcasts, Videos oder anderen Sound) anbietet, ist es nicht sinnvoll, im ersten Schritt Menschen mit Höreinschränkungen in den Test einzubeziehen. Doch Vorsicht: Vermeiden Sie die Annahme, dass Menschen mit Behinderungen ein Produkt grundsätzlich nicht nutzen können oder wollen und deshalb nicht relevant seien.

Einwilligung

Informieren Sie die Teilnehmenden über die Datenschutzbestimmungen und holen Sie ihre Einwilligung ein (vor allem für einen Mitschnitt der Sitzung). Bereiten Sie barrierefreie Dokumente dafür vor (Achtung: PDF-Dokumente sind nicht automatisch barrierefrei, Hinweise zur Umsetzung bietet die Bundesfachstelle Barrierefreiheit unter Barrierefreie PDF). Versenden Sie die Dokumente vorab, damit Nutzende genügend Zeit haben, alles durchzulesen.

Die digitale Unterzeichnung von Dokumenten ist für Menschen mit Behinderung oft mühsam. Sie können die Testpersonen für Remote-Tests beispielsweise bitten, Ihnen eine Einverständnis-Erklärung per Mail zu schicken. Für die Mail haben wir einen Text vorgegeben: "Ich habe die Datenschutzerklärung und die Einverständniserklärung zur Kenntnis genommen und stimme der Teilnahme und der Aufzeichnung unter den genannten Bedingungen zu."

Aufwandsentschädigung

Testpersonen sollten eine Entschädigung für die Teilnahme an einer UX-Session und für eventuelle Reisekosten erhalten. Die Kommunikation rund um den Test selbst bedeutet für die Menschen ebenfalls etwas Zeitaufwand (z. B. Dokumente für den Datenschutz lesen und bestätigen). Bei unseren Erprobungen haben wir zwischen 30 und 50 Euro Aufwandsentschädigung angeboten.

Testleitfaden

Grundsätzlich können für Menschen mit Behinderung dieselben Aufgaben wie für Testpersonen ohne Behinderungen entwickelt werden. In großen Teilen ist der Testleitfaden vergleichbar mit klassischen Nutzertests. Wie alle guten Skripte für Usability-Tests sollte es keine führende Sprache enthalten. Wir empfehlen, folgende Aspekte zusätzlich zu kommunizieren bzw. methodisch leicht anzupassen:

Testumgebung dokumentieren

Nehmen Sie in den Testleitfaden eine Frage zu den eingesetzten Technologien (digitales Endgerät, assistive Technologie, ggf. Browser) auf. Diese Informationen dienen dazu, Probleme, die im Usability-Test aufgetreten sind, unter denselben technischen Voraussetzungen reproduzieren und damit verifizieren zu können (und sie damit von vorübergehenden Störungen der eingesetzten Technologie o. ä. abzugrenzen).

Aufforderung, Barrieren zu kommunizieren

Durch ein noch immer weitgehend nicht-barrierefreies Web haben sich Menschen mit Behinderungen daran gewöhnt, mit Umwegen und Tricks zu arbeiten. In einem Usability-Test sollte man darauf hinweisen, dass dies im ersten Schritt nicht gewünscht ist: "Wenn Sie auf Schwierigkeiten treffen, versuchen Sie bitte nicht, diese durch Hilfslösungen und Umwege in den Griff zu kriegen, sondern benennen Sie offen alles, was nicht so funktioniert, wie Sie es erwarten."

Anpassung der "Think-Aloud-Methode"

Bei der "Think-Aloud-Methode" wird die Testperson gebeten, während sie mit dem Testgegenstand interagiert, Gedanken und Gefühle laut auszusprechen. Diese Methode muss für bestimmte Nutzende von Hilfsmitteln leicht angepasst werden:

  • Blinde oder seheingeschränkte Menschen, die eine Sprachausgabe nutzen, möchten ihr zuhören. Sie können nicht gleichzeitig sprechen.
  • Mobilitätseingeschränkte Menschen, die eine Webseite mit Sprache steuern, können während der Aufgabendurchführung nur mit ihrer Spracherkennungssoftware "sprechen".

Bitten Sie die Testperson, die assistive Technologie regelmäßig zu stoppen und sich dann zu äußern und gegebenenfalls das Vorgehen mit dem Hilfsmittel zu beschreiben.

Weitere Informationen unter Tipps für Online-Tests mit Menschen mit Behinderungen.

Zeitplan

Planen Sie, basierend auf den spezifischen Bedürfnissen und Nutzungsweisen der Testpersonen, etwas mehr Zeit für die Durchführung der Aufgaben ein. Die angepasste "Think-Aloud-Methode" ist etwas zeitintensiver und auch die Nutzung mit einem Hilfsmittel kann ein anderes Tempo vorgeben. Wir haben für unsere Usability-Tests in der Regel etwa 45 bis 60 Minuten je Testperson eingeplant.

Dokumentation

Neben der Moderation sollte eine weitere Person während des Tests schriftliche Notizen zu den wichtigsten Erkenntnissen machen. Neben der schriftlichen Dokumentation ist es hilfreich, den Test über eine Tonaufnahme, eine Bildschirmaufnahme und/oder eine externe Aufnahme per Videokamera festzuhalten. Hier ergeben sich durch die Einbindung von Menschen mit Behinderungen keine Unterschiede zu klassischen Usability-Formaten.

Auswertung

Grundsätzlich unterscheidet sich das Ziel eines Usability-Tests, bei dem Menschen mit Behinderungen eingebunden werden, nicht von dem anderer Usability-Tests: Das Produkt soll für die Zielgruppe möglichst nutzerfreundlich sein. Die Interpretation der Ergebnisse von Usability-Tests mit Menschen mit Behinderungen könnte im Vergleich zu herkömmlichen Tests jedoch etwas aufwändiger sein. Gründe hierfür sind z. B.

  • Die unterschiedlichen Nutzungsweisen und Wege, sich digitale Inhalte zu erschließen, könnten zu vielfältigeren Problemen bzw. Ergebnissen führen.
  • Es könnten sich widerstreitende Bedarfe ergeben. Beispielsweise präferieren möglicherweise einige Testpersonen Ansichten mit viel Umraum und wenig Text, sehbehinderte Menschen hingegen (die Bildschirminhalte stark zoomen), bevorzugen Inhalte auf engerem Raum. Hier gilt es, abzuwägen und Kompromisse zu finden.

Je vertrauter Sie mit der Funktionalität der verschiedenen assistiven Technologien bzw. den adaptiven Strategien werden, umso leichter wird die Interpretation der Ergebnisse fallen.

Empfehlenswert ist auch die Entwicklung von Barrierefreiheitskenntnissen: Bei der Beurteilung von Problemen helfen Nachtests (im Idealfall mit demselben Hilfsmittel, Browser und Betriebssystem), Codeanalysen o. ä. So kann sichergestellt werden, dass das Problem nicht durch eine vorübergehende technische Störung, Unstimmigkeiten im Umgang mit dem Hilfsmittel usw. hervorgerufen wurden. Lassen Sie sich ggf. von Accessibility-Expertinnen und -Experten unterstützen.

Beachten Sie außerdem bei der Beurteilung, ob eine Testaufgabe möglichst schnell durchgeführt werden kann, den individuellen zeitlichen Rahmen, den das eingesetzte Hilfsmittel und die Nutzungsweise von Menschen mit Behinderungen vorgibt.