Usability-Tests am Beispiel des Digitalisierungslabors BAföG

Letzte Änderung: 10/2019

Gemeinsam mit den UX-Experten der Berliner ]init[ AG für digitale Kommunikation hat das Projekt „Team Usability“ Usability-Tests mit Menschen mit Behinderungen erprobt. Testgegenstand war das Digitalisierungslabor BAföG.

Hintergrund

Bis 2022 sollen Bund, Länder und Kommunen Verwaltungsleistungen auch digital anbieten. Rechtliche Grundlage ist das 2017 in Kraft getretene Gesetz zur Verbesserung des Onlinezugangs zu Verwaltungsleistungen (Onlinezugangsgesetz - OZG).

Erste Umsetzungen haben begonnen: Unter anderem die elektronische Antragsstellung des BAföG. BAföG ist eigentlich die Abkürzung für das „Bundesausbildungsförderungsgesetz“, steht aber als Kürzel auch für die Geldleistung selbst, mit der der Bund Schüler und Studierende unterstützt.

Für die Konzeptentwicklung der zukünftigen Online-Beantragung des BAföG wurde die ]init[ AG beauftragt, ein Berliner Full-Service-IT-Provider für Online-Kommunikation und IT-Dienstleistungen. Um nutzerfreundliche Online-Lösungen zu entwickeln, testet ]init[ in sogenannten Digitalisierungslaboren unter anderem auch mit Nutzerinnen und Nutzern. In einem ersten Schritt wird das Konzept agil entwickelt. Hier wird mit Prototypen gearbeitet, die mithilfe einer Prototyping-Software entwickelt werden. Erst nach abgeschlossener Konzeptphase wird die technische Realisierung beauftragt und durchgeführt.

Usability-Tests mit Menschen mit Behinderungen

Angeregt durch das Projekt „Team Usability“ konnten die klassischen Nutzertests erstmals auch mit Menschen mit Behinderungen erprobt werden.

Folgende Vorschläge haben uns die UX-Experten der Agentur vorab unterbreitet:

  • Testgegenstand: Test des BAföG- Klickdummys an einem Laptop
  • Testgruppe: 4 Studierende mit Behinderung, die derzeit BAföG empfangen
  • Testformat: Moderierter Benutzertest mit Thinking Aloud auf Basis des Testleitfadens, der auch für Menschen ohne Einschränkungen zum Einsatz kommt

Der Testgegenstand „Klickdummy“

Bei Prototypen besteht häufig das Problem, dass – sofern dies bei der jeweils eingesetzten Prototyping-Software überhaupt möglich ist – die technische Zugänglichkeit für Hilfsmittelnutzer oft nicht vollumfänglich gegeben ist. Auch beim BAföG-Klickdummy war das der Fall: Beispielsweise war der Prototyp nicht durchgängig tastaturbedienbar, sodass die Verwendung mithilfe eines Screenreaders nicht aussagekräftig wäre. In die Testgruppe konnten daher keine blinden Nutzer eingebunden werden.

Das Rekrutieren der Testgruppe

Da es für die Rekrutierung der Testgruppe – anders als bei klassischen Nutzern – keine Rekrutierungs-Agenturen gibt, haben wir die Testpersonen über Hamburger Hochschulen, Assistenz-Dienste und Selbsthilfegruppen gesucht. Da der Rücklauf von Studierenden, die aktuell BAföG empfangen gering war, haben wir die Testgruppe in Absprache mit den UX-Experten von ]init[ erweitert um erwachsene Schüler, die zukünftig BAföG empfangen könnten und um Studierende, die in der Vergangenheit BAföG empfangen haben. Nachdem wir die Testgruppe weiter fassen konnten, haben wir für die Testsession am 14. Juni 2019 vier Probanden gefunden:

  • Einen Nutzer mit Muskelschwunderkrankung, der an der Universität Hamburg studiert und mit einer Sprachsteuerungs-Software und einer Fernbedienungs-App arbeitet und von einem Assistenten unterstützt wird,
  • einen Nutzer mit Sehbehinderung und einem Restsehvermögen von rund 2 %, der an der Hochschule für Angewandte Wissenschaften Hamburg (HAW Hamburg) studiert und auf einem MAC mit Vergrößerung über den Browser arbeitet,
  • einen Nutzer mit Sehbehinderung und einem Restsehvermögen von rund 20%, der an einer Berufsfachschule ist und am Laptop als „Nahgucker“ bzw. mit leichter Browservergrößerung (150-200%) arbeitet und
  • einen Nutzer mit Albinismus, Nystagmus und Seheinschränkung, der 2018 an der Universität Hamburg ein Studium abgeschlossen hat und mit Vergrößerung über den Browser arbeitet.

Der Ort

Die Tests fanden in Hamburg statt: Wir testeten in unseren Büroräumen und mit einem Proband mit Elektro-Rollstuhl in den Räumlichkeiten der Lebenshilfe Hamburg. Wichtig war, vorab zu überprüfen, ob die Räumlichkeiten barrierefrei erreichbar sind und ob ein Elektro-Rollstuhl, der von den Maßen her oft länger und breiter ist, in den vorhandenen Aufzug passt.

Die Aufgabengestaltung

Für die Tests wurde derselbe Testleitfaden wie bei den bisherigen Testern ohne Behinderungen verwendet. Der Test begann auf der Startseite der neuen BAföG-Website. Als Testaufgaben wurde definiert, dass der Proband sich vorstellen soll, zum ersten Mal einen Antrag auf BAföG zu stellen. Dann soll er die für die Antragsstellung nötigen Schritte in der Praxis durchlaufen und die gewünschten Angaben machen.

Die Testdurchführung

Die Tests werden in Teams von zwei Personen durchgeführt, einer Moderation und einem Protokollierenden. Aus unserem Team war eine weitere Person als stiller Beobachter vor Ort. Die UX-Experten hatten empfohlen, neben dem Probanden nicht mehr als drei Personen im Raum zu haben, da dies die Probanden verunsichern kann.

Für die einzelnen Tests wurden jeweils 60 Minuten eingeplant. Nach einer kurzen Einführung und der Einwilligung des Probanden in die Testdokumentation, gab es eine Vorbefragung, etwa ob er studiert oder ob er bereits BAföG empfangen hat.

Die Probanden sollten die Aufgabenstellung weitestgehend selbständig ohne viel Unterbrechung durchführen und möglichst viel hinsichtlich der Erfahrungen mitteilen. Zum Ende der eingeplanten Zeit erfolgte eine kurze Nachbefragung, z.B. was besonders gut bzw. nicht so gut gefallen hat.

Testsituation: Testleiter, Protokollantin und Proband im Rollstuhl betrachten einen Laptop-Bildschirm

Die Evaluation

Grundsätzlich wertet ]init[ die Daten klassischer Tests qualitativ und quantitativ pro Aufgabe hinsichtlich der Effektivität, der Effizienz und der Zufriedenstellung der Aufgabendurchführung aus. Da die Testgruppe hier heterogen war, konnten die Usability-Ergebnisse nur in Bezug auf den einzelnen Nutzer ausgewertet und interpretiert werden. Differenziert werden mussten Aspekte, die die Accessibility betreffen von solchen, die die Usability bezeichnen.

Erkenntnisse aus der Erprobung, die wir in Zusammenarbeit mit ]init[ entwickelt haben

Zur Planung und Vorbereitung eines Tests:

  • Informationen über die Behinderung der Teilnehmenden und den eventuellen Einsatz von Hilfstechnologien bei der Nutzung digitaler Medien müssen vor dem Test bekannt sein. Dies ist wichtig um einschätzen zu können, ob der Test-Prototyp ihrem Bedarf an Barrierefreiheit entspricht, aber auch für die Planung und technische Organisation des Tests sowie für die Bewertung der Testergebnisse.
  • Aus den Erfahrungen der ersten Erprobung konnten wir außerdem folgende Forschungsfragen ableiten: Welche grundlegenden Accessibility-Anforderungen lassen sich beim Bau eines Test-Prototyps überhaupt umsetzen und welche nicht? Wie gut geht dies mit welcher Prototyping-Software? Aus diesem Wissen ließe sich schließen, welche Nutzergruppen bei einem bestmöglich optimierten Klickdummy zukünftig angesprochen werden könnten und ob alternative Testszenarien entwickelt werden sollten, um alle Nutzergruppen einzubinden.
  • Die Testszenarien sollten so geplant werden, dass sie nicht zu lang und zu ermüdend für die Teilnehmenden sind, basierend auf den spezifischen Bedürfnissen der Personen. Zeit für die Einstellung von Hilfstechnologien und für Pausen ist für jeden Test einzuplanen.
  • Der Test sollte so organisiert werden, dass die Teilnehmenden das System auf die gleiche Weise nutzen können, wie sie es auch normalerweise tun würden. Das heißt es muss möglich sein, persönliche Einstellungen am PC vorzunehmen, unterstützende Anwendungen oder Technik zu verwenden (ggf. auch das eigene Gerät, anstelle eines Testrechners) und/oder auf die Unterstützung einer Person zurückzugreifen.
  • Der Moderator sollte vorab relevante Informationen über die Behinderung der Teilnehmenden inklusive deren zu erwartende Auswirkung auf die Nutzung haben.

Zur Durchführung des Tests:

  • Die Teilnehmenden sollten zu Testbeginn darüber informiert werden, dass sie jederzeit auf Wunsch eine Pause machen können.
  • Es sollte Zeit eingeplant werden, damit sich die Teilnehmenden mit dem System vertraut machen und ihr eigenes Tempo bei der Nutzung des Systems finden können.

Zur Interpretation der Testergebnisse:

  • Da die Datenauswertung in klassischen Tests qualitativ und quantitativ pro Aufgabe erfolgt, wäre ein konkreterer Zuschnitt der Testgruppe notwendig (also nur Personen mit derselben Nutzungsweise) um eine ähnliche Evaluation durchführen zu können.
  • Die Testergebnisse sollten immer mit Blick auf die Behinderungen der Testergebnisse interpretiert werden. Insbesondere wenn Usability-Metriken wie „Zeit“ eine Rolle spielen soll.
  • Usability-Tests bewerten nicht die Konformität eines Webprojekts mit den Barrierefreiheitsstandards. Ein Usability-Test sollte daher ergänzend zu einem umfassenden Test auf Standardkonformität, wie z.B. dem BITV- bzw. WCAG-Test gemacht werden.

Wie hilfreich war der Usability-Test für die weitere Konzeption?

Hilfreich waren

  • die Identifizierung von Barrieren hinsichtlich der aktuellen Gestaltung,
  • die Schaffung von Bewusstsein für die Nutzungsbedürfnisse von Menschen mit Behinderung bei UX-Designern und
  • die Vermittlung von zusätzlichen Kompetenzen hinsichtlich Barrierefreiheit aufgrund des Austauschs mit verschiedenen Nutzern.