Berliner Verkehrsbetriebe testen bvg.de mit sehbehinderten Menschen
Letzte Änderung: 05/2023
Gemeinsam mit dem User-Experience-Team der Berliner Verkehrsbetriebe (BVG) und in Zusammenarbeit mit der Twin Cubes GmbH haben wir im Februar 2023 acht Usability-Tests mit blinden und sehbehinderten Testpersonen durchgeführt. Testgegenstand war die Webseite der BVG.
Hintergrund
Die BVG ist das größte kommunale Verkehrsunternehmen in Deutschland und betreibt U- und Straßenbahnen, Busse und Fähren in Berlin. Für die BVG sind Inklusion und Teilhabe für Menschen mit Behinderungen mehr als nur gesetzliche Verpflichtung. Ein Ziel der BVG ist daher, eine barrierefreie und für Menschen mit Behinderungen möglichst gut nutzbare Website anzubieten.
Die Barrierefreiheit von bvg.de wurde im ersten Schritt strukturiert von Accessibility-Fachleuten untersucht. Im Anschluss sollten aufgabenbasierte Nutzertests mit blinden und sehbehinderten Menschen die Usability für die Zielgruppe ermitteln und als „User Acceptance Tests“ (Akzeptanztests) die erreichte Zugänglichkeit und Nutzbarkeit der Site für die Zielgruppe bestätigen.
Der Testgegenstand
Testgegenstand war bvg.de, das öffentlich zugängliche Webangebot der BVG mit Informationen und Services rund um die Nutzung des Berliner Personennahverkehrs.
Die grundlegende Barrierefreiheit von bvg.de war gegeben und damit eine wichtige Voraussetzung, um sich mit Testpersonen, die Assistenztechnologien wie Screenreader oder Vergrößerungssoftware einsetzen, auf die User Experience konzentrieren zu können. Die Umsetzung der Barrierefreiheitsanforderungen des EU-weit geltenden Standards EN 301 549 (auf den auch das „Gesetz über die barrierefreie Informations- und Kommunikationstechnik Berlin“ verweist) wurde bereits seit Längerem vorangetrieben.
Die Testgruppe
Aus dem Pool von Testpersonen mit Behinderungen, der im Projekt Team Usability aufgebaut wurde, haben wir vier blinde und vier hochgradig seheingeschränkte Nutzende eingebunden. Als assistive Technologien waren die Screenreader JAWS und NVDA, die Windows Bildschirmlupe, die Vergrößerungssoftware ZoomText und die MacOS Bedienungshilfe „Zoomen“ im Einsatz. Alle Testpersonen nutzten beim Testen eigene Desktop-Endgeräte mit individueller Hilfsmittelausstattung. Der überwiegende Teil nutzte während der Online-Sitzung ein Headset. Die Testgruppe bestand je zur Hälfte aus Männern und Frauen. Sie waren zwischen 17 und 65 Jahre alt.
Das Testformat
Es handelte sich um moderierte Remote-Usability-Tests, die über das Online-Konferenzsystem „Zoom“ durchgeführt wurden. Alle Testpersonen nahmen von einem Computer-Arbeitsplatz zuhause oder in der Werkstatt für behinderte Menschen an den Test-Sitzungen teil.
Für die Nutzertests war ein zeitlicher Umfang von 60 Minuten vorgesehen. Inhaltlich bestanden sie aus einer Vorbefragung und einem Praxisteil mit Nachbefragung. Ziel der Vorbefragung war es, mehr über die Lebensrealität und die Bedürfnisse sehbehinderter Menschen zu erfahren, insbesondere bezogen auf ihr Mobilitätsverhalten. Im zweiten Teil stand die Usability der BVG-Website für sehbehinderte und blinde Hilfsmittelnutzende im Mittelpunkt: Insgesamt acht Aufgaben, zwei davon optional, sollten in der Website durchgeführt werden, z. B. sollte eine Verbindung ermittelt oder ein Kontaktformular gefunden werden. In einer kurzen Nachbefragung wurden die Teilnehmenden um ihre abschließende Einschätzung der praktischen Erfahrung mit der Site gebeten.
Planung und Durchführung der Tests
Testleitfaden
Für die Tests wurde vom User-Experience-Team der BVG ein Testleitfaden entwickelt. Neben einer Aufgabe, die sich direkt auf die Bedarfe blinder Menschen zur barrierefreien Mobilität in Berlin bezog, enthielt der Testleitfaden „klassische“ Aufgaben wie die Suche nach Verbindungen, Preisen, Störungen oder Kontaktangaben. In Zusammenarbeit mit Team Usability wurden abschließend Moderationshinweise integriert, die für die Zusammenarbeit mit der Testgruppe wichtig sind, etwa zur Abfrage der Testumgebung, zur Anpassung der "Think-Aloud-Methode" für Personen, die einer Sprachausgabe zuhören wollen, oder zur Unterstützung der Bildschirmfreigabe für Tastaturnutzende.
Einwilligung
Im Vorfeld der Nutzertests wurden die Testpersonen per Mail (mit barrierefreien Dokumenten) über die Datenschutzbestimmungen informiert und um Einwilligung, auch für eine Videoaufzeichnung des Nutzertests zum Zweck der Auswertung, gebeten.
Aufwandsentschädigung
Für die Teilnahme an dem Nutzertest haben wir eine Aufwandsentschädigung in Höhe von 50 Euro angeboten.
Testdurchführung
Alle Tests fanden im Februar 2023 statt und dauerten zwischen 60 und 75 Minuten. Nur mit einer Testperson konnten wir alle acht Aufgaben durchführen. Bei sieben Testpersonen mussten wir aus zeitlichen Gründen auf optionale Aufgaben verzichten.
Neben der Testperson waren während des Testens immer Simone Lerche (Moderation) und Sonja Weckenmann (Dokumentation) im Online-Konferenzsystem. Teilweise waren zusätzlich stille Beobachtende vom BVG-Team oder der Accessibility-Beratung eingeloggt. Dies war vorab mit den Testpersonen abgestimmt und stellte nach Rückmeldung der Testpersonen keine Beeinträchtigung dar.
Die Auswertung
Die Erkenntnisse der Tests wurden abschließend von den beiden Team-Usability-Expertinnen ausgewertet und in einem Abschlussbericht zusammengefasst.
Die Interviewfragen wurden quantitativ und qualitativ, die ermittelten Probleme hauptsächlich qualitativ pro Aufgabe ausgewertet. Bei der Beurteilung von Problemen war die langjährige Expertise zu Accessibility- und Usability-Anforderungen von behinderten Menschen hilfreich. Teilweise waren Nachtests mit derselben Hilfsmittel-Browser-Kombination sowie Codeanalysen nötig um auszuschließen, dass ein Problem durch eine vorübergehende technische Störung oder eine Unsicherheit im Umgang mit dem Hilfsmittel entstanden ist. Neben Usability-Schwachstellen wurden auch kleinere Accessibility-Issues gefunden und dokumentiert.
Fazit
Hierzulande sind Nutzertests von Websites mit Testpersonen mit Behinderungen noch kaum verbreitet. Die BVG übernimmt also eine Vorreiter-Rolle und verschafft sich damit wertvolle Erkenntnisse: Denn obwohl die BVG-Website auf Barrierefreiheit optimiert war, zeigten sich in den Nutzertests Usability-Aspekte, die die effiziente Erledigung von Aufgaben durch die blinden und sehbehinderten Proband*innen erschwerten, teilweise sogar zu leichtem Frust führten.
Vor allem die Bedeutung von Usability-Empfehlungen, die man fälschlicherweise als „Kleinigkeit“ einschätzen könnte, zum Beispiel eine versteckte Überschrift, ein aussagekräftiger Alternativtext oder eine zum Element passende Beschriftung, war bemerkenswert.
Es wurde zudem deutlich, dass die Testgruppe bei der Aufgabendurchführung in besonderem Maße auf vertraute, gängige Design- und Interaktionsmuster setzte und bei Content, der diesen Erwartungen nicht entsprach, leichter Fehler machte. Dies konnte zum Beispiel eine unerwartete Hierarchie von Auswahlmöglichkeiten oder ein weniger bekanntes Steuerelement sein. Nach dem Motto: Hier muss ich Content erst detailliert lesen bzw. ein Element erkennen, herausfinden, welche Interaktion ich ausführen kann und was diese bewirkt. Gerade Nutzende mit Sehbehinderungen profitieren von der Verwendung vertrauter Logiken und Designmuster.
Die Vorbefragung hat gezeigt, dass alle Teilnehmenden täglich oder fast täglich Verkehrsmittel des öffentlichen Personennahverkehrs nutzen. Gerade für Menschen, die aufgrund einer Sehbeeinträchtigung kein eigenes Fahrzeug führen können, sind öffentliche Verkehrsmittel im Alltag meist elementar und die digitalen Informationen dazu ebenfalls.
Die BVG zeigt mit der Beauftragung von Usability-Tests mit sehbehinderten Menschen, dass sie sich dieser Verantwortung bewusst ist, und unterstreicht ihr Interesse an einem zugänglichen, gut nutzbaren Webangebot für Menschen mit Sehbehinderungen.