Die politische Bedeutung unserer technischen Entscheidungen (Perspektive 2)

Am letzten Mittwoch war Julia Kloiber von der Open Knowledge Foundation Deutschland als Sprecherin bei der Ringvorlesung Open Technology For an Open Society.
Die Open Knowledge Foundation Deutschland ist ein Ableger der Open Knowledge Foundation international und ein gemeinnütziger Verein, der sich nach eigener Darstellung für offenes Wissen, offene Daten, Transparenz und Beteiligung einsetzt. Julia Kloiber leitet bei der Open Knowledge Foundation die Projekte Code for Germany und den Prototype Fund, den sie auch mitgegründet hat.
Dies ist der zweite Blogeintrag zu dieser Veranstaltung, der erste ist hier zu finden. Dort ist auch noch eine detailliertere Vorstellung der Projekte der Open Knowledge Foundation zu finden.
Zunächst noch einige Hintergrundinformationen zu der Open Knowedge Foundation Deutschland. Für den Hintergrund ihres Engagements kann man drei Kernpunkte herausarbeiten. (siehe 3)

  1. Eine Demokratisierung des Wissens durch die Verfügbarkeit der Wissengrundlagen, wie Messdaten oder anderer Quellen.
  2. Dem Glauben, dass eine Demokratie von vielen kleinen dezentralen Initiativen vorangebracht wird.
  3. Dem Auftreten als Mittler zwischen Offenem, aber vielleicht schwer verständlichem, Wissen, und Bürgern, die nur in den wenigen Gebieten Expertise besitzen.

Natürlich ist es schwer möglich, die Motivation einer Organisation als Ganzes zu ergründen. Hier stützte sich die Analyse des Autors auf Interviews, die mit zehn Mitarbeitern der Open Knowledge Foundation geführt worden waren. Julia Kloibers Vortragstitel The political impact of our technical decisions als Titel versprach sich nicht nur mit Offenem Wissen zu beschäftigen, und ich war gespannt, ob und wie sich diese Prinzipen niederschlagen würden.

Gemäß des Satzes Code is law und der Festellung, dass Code Regeln und Regularien besonders im Bezug auf das Netz umsetzt, waren das Hauptthema des Vortrags Walled Gardens. Walled Gardens oder in der deutschen Übertragung geschlossene Plattformen, sind Systeme, die vom Hersteller aus technisch bestimmte Freiheiten zurückhalten. Im Verlauf der Stunde erläuterte sie anhand von mehreren Beispielen, in welchen Formen geschlossene System auftreten können und welche Auswirkungen sie haben.

Einer der Walled Gardens, den Julia benannte, war das Programm Correctional Offender Management Profiling for Alternative Sanctions, kurz COMPAS. Es gibt eine Prognose über die Wahrscheinlichkeit ab, dass jemand (wieder) straffällig wird.
Sie berichtete über Anwendungen von COMPAS, um über die Bewährungsdauer eines Angeklagten zu entscheiden. Obwohl die für den Angeklagten einsehbaren Indizien für ihn sprachen, bekam er die gewünschte Bewährung zunächst nicht. COMPAS war wie in dem Bereich üblich ein geschlossene Plattform. Seine Mechanik (in Form des Quellcodes), die hier für eine einschneidende Entscheidung sorgte, war nicht öffentlich.

Derartige Programm machen Fehler, doch noch schlimmer werden die Fehler dadurch, dass sie eine Neigung (Bias) haben, zu Ungunsten von Minderheiten zu entscheiden. Programme dieser Art basieren in der Regel auf Machine Learning. Um Prognosen abgeben zu können, werden die Programme zunächst mit Daten über bekannte Straftäter ‚gefüttert‘, zum Beispiel Alter, Schulabschluss und Vergehen und, ob diese Straftäter rückfällig geworden sind. Programme, die auf Machine Learning basieren, hängen daher genauso von ihrem Code ab, wie von der Qualität ihrer Trainingsdaten. Die Daten sind hier Produkt der bisherigen Polizei- und Justizarbeit und enthalten daher, ohne das die Entwickelnden des Programms selbst auch befangen sein müssen, die Befangenheit von Polizei und Justiz. Es ist daher nicht überraschend, dass dieses und ähnliche Tools Fehler machen, die nachteilige Auswirkungen haben, wenn sie sich auf Schwarze beziehen und vorteilhafte, wenn sie sich auf Weiße beziehen. Schwarze werden viel häufiger fehlerhaft mit einem hohen Rückfallpotential bewertet als Weiße, die im Gegensatz dazu häufiger fehlerhaft mit einem niedrigen Rückfallpotenzial bewertet werden. (siehe 5 und 6)
Ein deutlicher Hinweis, wie wichtig offener Code ist, aber auch wie wichtig es ist, Berechnungen und Messdaten nicht einfach zu vertrauen.

Die Open Knowledge Foundation glaubt an den Nutzen von offenen Daten besonders für die Demokratie. Aber hat die massenweise Veröffentlichung von Daten auch negative Effekte?
Das „Datafizieren“ von Phänomen hat Auswirkungen. Datafication bezeichnet den Prozess, ein Phänomen in ein Format zu übertragen, das in Zahlen ausdrückbar ist. Ein solcher Prozess erlaubt es, ein Phänomen zu analysieren oder anders weiterzuverabreiten.
Die Vermessung von Phänomenen ist ein menschlicher Reflex und nur so können wir Dinge systematisch erfassen und vergleichen. Trotzdem haben Vermessungen Auswirkungen auf uns, wenn wir sie erstellen, analysieren oder weiterverarbeiten. Detailliert beschäftigte sich ein Paper mit dem etwas sperrigen Namen Exploring the tension between transparency and datification effects of open government IS through the lens of Complex Adaptive Systems mit den Auswirkungen von Datafizierung. Dabei arbeitete es verschiedene Effekt heraus. Beispiele sind das Herausreißen von Werten aus dem Zusammenhang, das Unterfüttern von Meinungsaussagen mit Zahlen und der Glauben, dass ein Wert ein komplexes Phänomen nicht nur korrekt beschreibt, sondern auch noch bewertet.

Ein einfaches Beispiel der Autoren für die letzte Denkweise ist folgender Effekt veröffentlichter Vergleichstests: Die Frage, was gute Lehre ausmacht, ist komplex und sicher nicht damit zu beantworten, wie gut Kinder in einem Vergleichstest abschneiden. Trotzdem begannen Menschen mit den vorliegenden Testergebnissen aus dem Ergebnis die vermeintliche Güte der Schule abzulesen. In diesem Fall waren die Daten für ganz Australien erhoben und verfügbar. Der Druck auf Schulen wuchs, sich dem neuen Gütekriterium anzupassen und intensiver auf den Test vorzubereiten, statt auf Klassenfahrten zu fahren oder Projekte zu organisieren. Das ging so weit, dass Schülern mit schlechteren Ergebnissen nahegelegt wurde, eine Schule zu verlassen, um die Güte der Schule nicht zu gefährden.
Daten laden zu Schlüssen jeder Art ein. Damit sind sie die Grundlage von neuen Hypothese und neuem Wissen. Ich fragte mich, wie Wegbereiter von Open Data mit derartigen Auswirkungen umgehen sollten. Wenn jeder auf Daten zugreifen kann, lädt das nicht gerade Leute ein, die sich solcher Phänomene nicht bewusst sind, Schaden anzurichten?
An dieser Stelle war der Fall von COMPAS eine deutliche Gegendarstellung, dass die Verarbeitung von Daten in einer geschlossenen Plattform nicht die Alternative ist. Furchtbar vereinfacht gesprochen: Im Beispiel der australischen Schulen waren Daten offen und wurden teilweise irreführend zum Schaden verschiedener Gruppen (zum Beispiel Lehrern und Schülern) interpretiert. Im Falle von COMPAS wurden Daten nicht nur irreführend und oft zum Schaden Angeklagter interpretiert, sondern nur das Ergebnis der Interpretation war öffentlich und weder die Daten noch der Weg zur Interpretation waren für die Angeklagten als Außenstehende nachvollziehbar.
Obwohl die beiden Beispiele aus verschiedenen Domänen kommen, hat mir die Gegenüberstellung geholfen, meine Überlegungen zu sortieren.
Die Daten und der Code im COMPAS-Fall müssen zugänglich sein, wobei man diskutieren kann, ob über sie für die Allgemeinheit veröffentlich werden sollten oder nur beim verteidigenden Anwalt landen sollten. Spätestens vor Gericht müssen Daten zugänglich gemacht werden. Hätten also die Schuldaten erst mit Gerichtsanordnung herausgegeben werden sollen? Wollen wir Daten – nicht personenbezogene Daten – unter Verschluss halten und sie nur „anerkannt Verantwortlichen“ in die Hand geben? Solche Verantwortlichen sind wohl Menschen mit entsprechender Bildung, Wissenschaftler, Behörden.
Demokratisierung von Wissen wird so nicht erreicht, denn so sind die Daten weniger nutzbar für Menschen, die sowieso unterrepräsentiert sind. Ein Gegenentwurf: Projekte wie das Open Government Projekt, dass die Schuldaten veröffentlicht hatte, sind Anstoß als gesamte Gesellschaft zu lernen. Denn wie sollte der Umgang mit Informationen besser werden, wenn er nicht ausgeübt wird? Und ein derartiger Lernprozess wird einfacher, vielleicht sogar erst möglich, wenn er von Menschen unterstützt wird, die über das entsprechende Fachwissen verfügen.
Das ist wieder eine Position, die zur Open Knowledge Foundation passt.

Zurück zu Julia Kloibers Vortrag. Zum Ende stellte sie fest, dass es nicht nur nötig ist, Menschen in der Softwarentwicklung nicht aus den Augen zu verlieren, sondern sie im Gegenteil, in den Mittelpunkt der technischen Entwicklungen zu stellen. Sie appellierte an die Zuhörenden, die Bedürfnisse der Menschen in den Mittelpunkt zu stellen und beispielsweise auch mit Nutzergruppen zu reden, die oft übersehen werden. Und um den Bogen zu Lernprozessen zu schließen, appellierte sie an uns als Vermittler zu fungieren, Technologie zu erklären und mehr Leuten verständlich zu machen, so dass für sie Code und Technik keine magische Urgewalten sind, denen sie ausgeliefert sind.
Zuletzt richtete sie das Wort ausdrücklich an die anwesenden Studierenden, das sinngemäß lautete: Ihr könnt viel mehr ändern, als ihr glaubt, werdet aktiv, ihr habt die Möglichkeit dazu. Mit diesem Appell, der wunderbar zum Glauben passte, dass Demokratie von vielen kleinen dezentralen Initiativen vorangebracht wird, endete die Veranstaltung.

Quellen

  1. Homepage von Julia Kloiber: https://juliakloiber.com/
  2. Open Knowledge Foundation Deutschland: https://okfn.de/
  3. Über die Open Knowledge Foundation: Baack, S. (2015). Datafication and empowerment: How the open data movement re-articulates notions of democracy, participation, and journalism. Big Data & Society, 2(2), 2053951715594634.
  4. L.Lessig, Code and other laws of cyberspace
  5. Artikel über Glenn Rodríguez dem die Bewährung verweigert wurde: https://www.nytimes.com/2017/06/13/opinion/how-computers-are-harming-criminal-justice.html
  6. Über den Bias in Automatischen Systemen: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
  7. Über Datafizierung und Open Data: Marjanovic, O., & Cecez-Kecmanovic, D. (2017). Exploring the tension between transparency and datification effects of open government IS through the lens of Complex Adaptive Systems
back to top