Diese Aussage mag auf den ersten Blick verwundern – unterstellen wir den digitalen Helfern doch per se „farbenblind“ zu sein und einfach nur stoisch ihren Job zu verrichten. Dem ist leider nicht so. Auch IT-Systeme treffen Entscheidungen, die auf der Basis von Annahmen erfolgen. Grundlage hierfür bilden codierte Algorithmen, die immer auch Sichtweisen und Präferenzen transportieren. Dies gilt insbesondere für die Programme, die größere Datenmengen, welche in der Vergangenheit erhoben wurden, durchleuchten und daraus Muster erkennen und Handlungsempfehlungen ableiten.
Ein facettenreiches Problem
Vorwegschicken möchte ich, dass ein Algorithmus per se überhaupt nichts Schlechtes ist – ganz im Gegenteil, ohne Algorithmen würde die Welt, so wie wir sie kennen, überhaupt nicht funktionieren. Jeder Taschenrechner verwendet diese Handlungsanleitungen, um Ergebnisse zu produzieren. Problematisch wird es in meinen Augen dann, wenn es um automatisierte Entscheidungsfindungen geht, die früher aufgrund ihrer Komplexität alleine durch den Menschen vorgenommen wurden, heute aber mehr und mehr an IT-Systeme ausgelagert werden.
Nehmen wir ein konkretes Beispiel zur Verdeutlichung: In Österreich wird die Entscheidung, ob und in welchem Umfang ein Arbeitsloser Fortbildungsmaßnahmen durch das Amt finanziert bekommt, basierend auf einem automatisch errechneten Score getroffen. Frauen mit Kindern erhalten dabei im Vergleich zu Männern mit Kindern einen geringeren Wert, da unterstellt wird, dass Frauen Betreuungspflichten zu erfüllen hätten, die für eine Eingliederung in den Arbeitsmarkt hinderlich seien. Natürlich kann man argumentieren, dass es sich nicht dem Algorithmus anlasten lässt, wenn er sozusagen nicht objektiv designt wurde. Dies mag stimmen, ändert aber nichts am Befund: Auch Algorithmen transportieren Weltbilder (Frauen sind für die Kinderbetreuung zuständig) und manifestieren diese in der digitalen Welt. Auch ein weiteres Problem ergibt sich aus dieser Automatisierung der Entscheidungsfindung, nämlich das der Skalierung. Wenn der Score auf Basis eines diskriminierenden Algorithmus berechnet wird, dann werden folglich alle Entscheidungen in diesem Punkt fehlerhaft sein. Wäre jeder einzelne Fall unabhängig durch einen Sachbearbeiter beurteilt worden, dann wäre die Fehlerquote in diesem Teilaspekt vermutlich geringer ausgefallen.
Ebenso problematisch ist der Bereich der Entscheidungsfindung auf Basis von Daten, die in der Vergangenheit entstanden sind und nun für künftige Entscheidungen herangezogen werden. Somit wird auch die Datenauswahl Einfluss auf künftige Entscheidungen haben. Betrachten wir das Beispiel eines Konzerns, der seinen Bewerbungsprozess automatisieren möchte. Basis für die Auswahl werden die Daten aus den Bewerbungsrunden der letzten zehn Jahre sein. Nehmen wir weiter an, dass in diesem Konzern der Anteil an Männern in Führungspositionen bei 70 Prozent liegt. Aller Voraussicht nach wird das System bei der Besetzung von verantwortlichen Positionen auch künftig Männer bevorzugen und damit ggf. besser qualifizierte Frauen durch das Raster fallen lassen.
Eine Lösungsperspektive
Es gibt in der realen Welt eine Vielzahl von staatlichen Stellen in Deutschland, an die sich Betroffene im Falle einer wahrgenommenen Diskriminierung wenden können. Noch besser wäre allerdings, wenn bereits beim Design von IT-Systemen, die oftmals im Ergebnis diskriminierende Entscheidungen treffen, verbindliche Maßstäbe und Leitlinien angelegt werden, um tendenziöse Entscheidungen von vorneherein zu verhindern.
Die Initiative D21 setzt an diesem Punkt an und hat neun Leitlinien für das Monitoring von Algorithmen entwickelt:
- Verantwortlichkeiten verteilen und verorten
- Bias erkennen und bewerten
- Transparenz ermöglichen
- Nachvollziehbarkeit gewährleisten
- Bestehende Regularien anwenden
- Grundlegende Regeln definieren
- Wissen interdisziplinär austauschen
- positiven Nutzen für Gesellschaft erzeugen
- Leitlinien kontinuierlich überprüfen
Die Leitlinien bewegen sich dabei entlang sozioökonomischer (z.B.: Ergeben sich durch das Design der Algorithmen Nachteile für bestimmte Gruppen oder Individuen?), technologischer (z.B.: Wie kann ein Monitoring vor dem Hintergrund der hohen Komplexität der Algorithmen aufgesetzt werden?) und rechtlich-ethischer Fragestellungen (z.B.: Wie kann sichergestellt werden, dass rechtliche Grundlagen in robusten Algorithmen abgebildet werden bzw. wie kann der Einsatz von IT-Systemen bei Bedarf reglementiert werden?).
Ergänzen möchte ich die Leitlinien um einen methodischen Aspekt: Um weitergegebene Muster zu durchbrechen und strukturelle Benachteiligungen und Diskriminierungen zu verhindern, kommt der Datenauswahl beim Design lernender Systeme eine fundamentale Bedeutung zu: Nur wenn sichergestellt ist, dass diese Daten neutral und wirklich „farbenblind“ sind, können wir verhindern, die Fehler der Vergangenheit zu wiederholen.
Bild: Shutterstock
