Fallstudie Städte-App-Test

Die Idee war simpel: "Teste doch mal stichprobenartig, wie zugänglich die mobilen Apps einiger großer deutscher Städte sind". Tester war Umair Wiebeck, ein Screenreader-Nutzer und ehemaliger Mitarbeiter aus dem INCOBS-Projekt.

Umair Wiebeck hatte daraufhin sechs Städte (Hamburg, München, Berlin, Köln, Düsseldorf und Hannover) auf dem iPhone mittels Apples systemseitigen Screenreader VoiceOver stichprobenartig getestet. Das Ergebnis war sein Entwurf für einen Testbericht. Diesen Entwurf schickte er an mich, den zweiten Tester im Team.

Im nächsten Schritt trafen wir uns, um diese ersten Ergebnisse zu besprechen und in der Nutzung zu verifizieren und zu erweitern. Umair Wiebeck öffnete die Apps, eine nach der anderen, auf seinem iPhone und navigierte durch die Inhalte. Währenddessen zeichnete ich die Interaktionen auf Video auf. So ist sehr viel Material entstanden, das die Screenreader-Nutzung dokumentiert und dabei auch Probleme deutlich macht, die bei dieser Art von Testung nicht erfasst werden konnten.

Ein Problem findet sich in Screenreader-Tests häufig: Wichtige Elemente, z.B. Navigationsmenüs, sind nicht beschriftet. Wenn der Fokus darauf landet, wird nichts ausgegeben oder nur ein nutzloses "Schalter" (Schalter für was?). Blinde Nutzer finden dann oft andere Wege zu den Inhalten. Zum Teil bildet sich in der Nutzung ein abweichendes Verständnis, ein anderes "konzeptionelles Modell" der App. Durch Barrieren erzeugte Lücken werden durch die Nutzenden irgendwie kompensiert.

Wie geht es weiter?

Die Fallstudie hat zwei Ziele:

1. Die inhaltlichen Ergebnisse des Tests der sechs Städte-Apps soweit zu ergänzen, dass sie einen Überblick über den Stand der Zugänglichkeit dieser Apps geben.
2. Den gesamten Testablauf auf Basis des Reports, der auf Video aufgezeichneten Nutzung und der Analyse der Schritte, beim ergänzenden Expertentest für die Methodenentwicklung auszuwerten.

Input für die Methodenentwicklung

Klar ist: Manche wichtigen Barrieren können gerade durch Screenreader-Nutzer nicht erkannt oder nicht vollständig erfasst werden. Die generelle Frage ist, wie die Prüfung mit dem Hilfsmittel, die Nachbesprechung und die Ergänzung in einem Praxis-Test im Team am sinnvollsten ablaufen sollte. Die Analyse des Städte-App-Tests und der Schritte bei der Besprechung und Nachbearbeitung der Ergebnisse soll dabei helfen. Sie soll uns Hinweise geben, wie wir in weiteren Tests am besten methodisch vorgehen - einmal im Hinblick auf möglichst valide Ergebnisse, aber auch mit dem Ziel, die Kompetenz und Selbstständigkeit der Praxis-Tester zu stärken.

Diese erste Fallstudie war bewusst sehr offen gehalten: Es gab nichts als einen relativ unspezifischen Auftrag für einen "stichprobenartigen Test" einer bestimmten Klasse von Apps. Es gab also keine festen Vorgaben, welche Bereiche oder Funktionen zu testen wären, wie so ein Test ablaufen und wie dessen Ergebnisse dokumentiert werden sollten. Ein genauerer Blick auf den Prüfreport und die in den Videos dokumentierte Nachprüfung soll uns erste Hinweise geben, ob dieser Ansatz fruchtbar ist. Wie könnten genauere Vorgaben aussehen? Ist ein generalisiertes Prüfinstrument sinnvoll? Wie wären Unterschiede im Prüfgegenstand oder in der Kompetenz der Prüfer zu berücksichtigen?