Erprobung eines Usability-Kurztests bei der SinnerSchrader AG

SinnerSchrader AG ist eine Digitalagentur mit den Schwerpunkten Strategie, Kreation und Entwicklung von digitalen Produkten und Services (sinnerschrader.com). Neben Innovation steht dabei natürlich auch die Nutzerfreundlichkeit im Fokus. In unterschiedlichen Entwicklungsstadien wird daher auch mit Nutzerinnen und Nutzern getestet. Eine Variante des Testens nennt sich „Research & Testing Drinks“. Das Format wird bei SinnerSchrader regelmäßig alle 6-8 Wochen durchgeführt. Es geht hier darum, weitere Erkenntnisse über ein Produkt zu gewinnen, weniger um signifikante, statistisch verwertbare Forschungsdaten. In mehreren, parallel stattfindenden 30-minütigen Sessions werden Fragestellungen zu Webprojekten untersucht.

Am 5. Juni 2019 haben das Projekt Team Usability und die User-Experience-Expertinnen und -Experten von SinnerSchrader dieses Format erstmals mit Probanden mit unterschiedlichen Behinderungen erprobt. Hier berichten wir von den entstandenen Fragen und Erfahrungen:

Die Rekrutierung von Testpersonen

Die Rekrutierung von Testpersonen mit Behinderungen war unerwartet herausfordernd. Obwohl uns verschiedene Hamburger Verbände der Selbsthilfe unterstützten und die Suche nach Probanden über Twitter und Facebook sowie auf ihren Internetseiten veröffentlichten, fanden sich nur etwa zehn Interessierte.

Eine differenzierte und gezielte Auswahl von Probanden entsprechend bestimmter Parameter war bei diesem kleinen Probanden-Pool noch nicht möglich und so beschränkten wir uns bei der Auswahl darauf, Probanden mit unterschiedlichen Einschränkungen einzuladen:

  • Einen Nutzer mit Sehbehinderung und einem Restsehvermögen von rund 2 %, der auf einem Mac mit Vergrößerung über den Browser arbeitet,
  • einen Nutzer mit Muskelschwunderkrankung, der mit einer Sprachsteuerungs-Software und einer Fernbedienungs-App arbeitet und von einem Assistenten unterstützt wird und
  • einer Nutzerin aus dem Autismus-Spektrum, begleitet von einem Assistenz-Hund.

Der Ort

Da beim Testing ein Proband mit Elektro-Rollstuhl teilnahm, musste als erstes geklärt werden, ob die Zugänge zur Agentur und zu den Räumen, in denen die Usability-Tests stattfinden sollten, barrierefrei sind.

Ist die Rampe, die die beiden Stufen im Eingangsbereich überbrücken sollte, breit genug? Wie kommen wir in das entsprechende Obergeschoss? Im Austausch konnten solche Fragen geklärt werden.

Der Testgegenstand

Dann musste entschieden werden, was getestet wird. Soll ein Projekt in einem sehr frühen Stadium getestet werden, etwa ein Prototyp? Konzentrieren wir uns auf eine Seite, die schon weiter in der Entwicklung ist, oder entscheiden wir uns für ein Projekt, das bereits online ist?

Bei Prototypen besteht häufig das Problem, dass sie mit Prototyping-Software erstellt sind, und – sofern das bei der eingesetzten Software überhaupt möglich ist – auf Zugänglichkeit vielleicht noch nicht geachtet wurde. Tests mit Nutzern, die mit Hilfsmitteln, z. B. einem Screenreader, arbeiten, wären hinsichtlich der Usability weniger aussagekräftig, da die voraussichtlich fehlende technische Barrierefreiheit im Test zu sehr im Vordergrund stehen würde. Wir entschieden uns daher, bei der ersten Erprobung das Testszenario möglichst einfach zu halten und auf veröffentlichte Projekte zurückzugreifen.

Die Aufgabengestaltung

Die Teams von drei verschiedenen Projekten bereiteten die Aufgaben für die Usability-Tests vor. Bei den Testgegenständen handelte es sich um Webauftritte von Wirtschaftsunternehmen. Die Teams waren im ersten Schritt daran interessiert, welchen Eindruck die Probanden von deren Aufbau und der Gestaltung zurückmelden würden. Zusätzlich wurden für die insgesamt je 15-20-minütigen Testdurchläufe kurze Aufgaben vorbereitet, beispielsweise einen bestimmten Inhalt zu finden, eine Registrierung durchzuführen, ein Produkt in einem persönlichen Bereich anzulegen oder ähnliches.

Die Testdurchführung

Das Testing war für 17 Uhr angesetzt. Alle Teilnehmerinnen und Teilnehmer – also die Probanden mit und ohne Behinderungen und die Projekt-Teams von SinnerSchrader und Team Usability – trafen sich in einem offenen Bürobereich des Agenturstandortes in Hamburg-Ottensen. Bei Getränken und einer Stärkung begrüßte der Organisator von SinnerSchrader, Matthias Albold, die Anwesenden und erklärte kurz, wie die Tests ablaufen. Für jeden Test war ein Zeitfenster von 30 Minuten vorgesehen, dann sollte ein fliegender Wechsel zum nächsten Raum und damit zum nächsten Testing stattfinden. Jeder Proband bekam einen Laufzettel, der ihm oder ihr die Reihenfolge der drei Teststationen vorgab. Bereits bei dieser ersten Zusammenkunft breitete sich schnell eine entspannte, offene Atmosphäre aus.

Dann starteten die eigentlichen Tests: Die Teilnehmer verteilten sich auf ihre jeweiligen Stationen und wurden vor Ort von einer Testleitung und einem Protokollierden begrüßt. In den Räumen stand jeweils ein Laptop für die Testdurchführung bereit. Zwei Probanden hatten ihre eigenen Laptops und ggf. weitere notwenige Arbeitsmittel dabei. Eine Probandin nutze die Rechner vor Ort, wollte aber lieber mit einer Computermaus arbeiten, als mit dem Touchpad des Laptops. Das konnte aber schnell organisiert werden.

Testsituation: Proband mit Seheinschränkung arbeitet mit starker Vergrößerung, Testleiterin schaut interessiert zu.
Wie funktionieren Websites unter starker Vergrößerung? Das haben wir mit unserer Testperson mit Seheinschränkungen erprobt.

Als die Testumgebung eingerichtet war, folgte eine kurze allgemeine Einführung durch die Testleitung: Wichtig zu wissen sei, dass nicht der Proband, sondern die Seite getestet wird, dass es bei den Tests kein richtig oder falsch gibt und dass die Offenlegung von Entwicklungspotential für die Projekte vorteilhaft ist. Die Probanden wurden aufgefordert, ihre Gedanken, Emotionen und Eindrücke möglichst laut zu formulieren (sogenannte Think-Aloud-Methode). Danach führte die Testleitung den Probanden durch die Aufgabenstellung; der oder die Protokollierende notierte die Ergebnisse schriftlich mit. Neben den Notizen wurden für die Auswertung der Tests auch Videos und Fotos gemacht. Dies natürlich nur nach dem ausdrücklichen Einverständnis des Probanden.

Erkenntnisse aus der Erprobung

Zur Planung und Durchführung der Tests:

  • Auf einen Pool von Probanden mit Behinderungen zurückgreifen zu können, bildet die Voraussetzung für solche Tests. Das Projekt wird sich – unterstützt durch eine aktuelle Beiratsentscheidung – fortlaufend um die Erweiterung des Pools kümmern. Zusätzlich könnte die Sensibilisierung klassischer Recruiting-Agenturen für diesen neuen Bedarf in Betracht kommen.
  • Ein barrierefreier Zugang zu den Räumlichkeiten des Testings ist wichtig. Zu denken wäre auch an ein behindertengerechtes WC.
  • Es erwies sich als richtig, das Testszenario nicht zu komplex zu gestalten, denn die Probanden benötigten etwas Zeit, bis die individuelle technische Ausstattung funktionierte. Die Aufgabenstellung bzw. der Umfang der Aufgaben konnte in den verbleibenden 15-20 Minuten gut durchgeführt werden. Eine konkrete Aufgabenstellung einzubauen war vorteilhaft, denn so zeigten sich auch konkrete Schwierigkeiten.
  • Dass die Probanden teilweise mit ihren Laptops bzw. Hilfsmitteln arbeiteten, war unproblematisch und für die Qualität der Ergebnisse gut, denn so entstanden keine Schwierigkeiten, die rein an der Gerätebedienung lag.
  • Mehrere Kurztests hintereinander durchzuführen, erfordert hohe Flexibilität und Konzentration. Das ist möglicherweise nicht für jeden Probanden machbar. Eine Person teilte uns beispielsweise kurz vor den Tests mit, dass sie sich über einen Zeitraum von 1,5 Stunden gut konzentrieren kann, darüber hinaus kann es schwierig werden. Eine Rückmeldung war auch, dass eine Pause von jeweils 5 Minuten zwischen den Tests wünschenswert wäre.

Zur Auswertung der Tests:

  • Die Einsichten, die im Rahmen der Usability-Tests gewonnen werden konnten, waren laut Rückmeldung der Projektteams von SinnerSchrader wertvoll, da sie Probleme der Usability für Menschen mit Behinderungen und Barrierefreiheits-Probleme zum Vorschein brachten, etwa dass die Navigation eines Auftritts überarbeitet und bei einem anderen Projekt auf bessere Seitenstruktur und Bildauswahl geachtet werden sollte.
  • Inwieweit sollte man Accessibility- und Usability-Probleme bei der Auswertung überhaupt trennen? Oder kann es auch sein, dass Accessibility-Probleme Usability-Probleme nur deutlicher hervorheben? Da es sich um die erste Erprobung handelte, haben wir bei der Auswahl der Probanden und des Testszenarios darauf geachtet, dass die Accessibility-Aspekte nicht zu sehr im Vordergrund stehen würden. Beispielsweise haben wir uns dafür entschieden, noch keinen Nutzer einzubeziehen, der aufgrund seines Hilfsmittels sehr stark auf technische Barrierefreiheit angewiesen ist. Dennoch können sich möglicherweise aufgrund der Einschränkung und der Bedarfe der unterschiedlichen Nutzer Accessibility-Probleme zeigen. Der Nutzer mit Seheinschränkung hatte zum Beispiel – u.a. aufgrund von starkem Zoomen – Probleme mit einer Flyout-Navigation. Das Problem der nicht optimalen Navigation für alle Nutzer war dem Team bereits bekannt, der Test verdeutlichte aber den Handlungsbedarf noch einmal, da es sich bei Vergrößerung noch eindeutiger zeigte.

Welche Fragestellungen sind für weitere Testings interessant?

  • Hatten wir uns bei diesem Test auf Probanden mit Einschränkungen konzentriert, könnte der nächste Schritt sein, Probanden mit und ohne Einschränkungen die gleichen Aufgaben durchführen zu lassen, um vergleichen zu können.
  • Es war für die Teams von SinnerSchrader grundsätzlich wertvoll zu sehen, wie Nutzer mit unterschiedlichen Mitteln und Wegen ihre Webprodukte nutzen. Wie sehen die Ergebnisse aus, wenn wir einen Nutzer, der auf technische Barrierefreiheit stärker angewiesen ist, z.B. einen Screenreader-Nutzer einbeziehen? Inwieweit muss die Barrierefreiheit der Website gegeben sein, damit etwaige Barrieren der Prüfung der Usability nicht im Wege stehen? Oder wird die Prüfung von Usability- und Accessibility-Aspekten in diesem Fall immer Hand in Hand gehen?
  • Wie gut und auf welchem Wege lässt sich, noch nicht Live-Gegangenes oder sogar analoge Scribbles testen bzw. die Probanden in Design Sprints einbinden?