Über algorithmische Entscheidungen und Ungerechtigkeiten

Dies ist der erste Beitrag in einer Reihe von Blogeinträgen von Studierenden, die begleitend zu der Ringvorlesung „Open Technology for an Open Society“ an der Freien Universität Berlin entstehen. Die Beiträge werden wöchentlich veröffentlicht und reflektieren die Themen, die in dem Vortrag der jeweiligen Woche präsentiert wurden. In diesem Beitrag ist das Lorena Jaume-Palasís Vortrag vom 25. Oktober mit dem Titel „Über das Öffentliche im algorithmischen Zeitalter“.

Vor dem eigentlichen  Beitrag noch ein paar Worte zu mir und den zukünftigen AutorInnen dieses Blogs: Wir sind Studierende an der FU Berlin und nehmen an einem Seminar, das begleitend zur Ringvorlesung stattfindet teil. Ich studiere Informatik im Master; der folgende Beitrag gibt nur meine eigene Meinung, nicht die der OrganisatorInnen oder RednerInnen der Ringvorlesung wieder.

Lorena Jaume-Palasí ist Politikwissenschaftlerin. Sie forscht zu Rechtsphilosophie und Politik im digitalen Zeitalter an der Ludwig Maximilian Universität München. Desweiteren ist sie an mehreren politischen Initiativen im Umfeld ihres Forschungsschwerpunktes beteiligt. Unter diesen befindet sich auch die von ihr mitgegründete Plattform Algorithm Watch, die letztes Jahr im Rahmen der Medienkonferenz re:publica vorgestellt wurde.

Algorithm Watch versteht sich als eine Beobachtungsplattform für Algorithmen, vergleichbar mit journalistischen Plattformen, die die Produktion von Nahrungsmitteln oder Kleidung in den Aspekten von Gesundheit, fairen Handels und Umweltverträglichkeit unter die Lupe nehmen. Anders als unsere Gesundheit und Umwelt scheinen Algorithmen zunächst sehr wenig mit der Realität unseres alltäglichen Lebens gemein zu haben. Dies liegt augenscheinlich in der Natur von Algorithmen, die zunächst nur abstrakte mathematische Konzepte sind begründet. Als solche haben sie tatsächlich wenig Einfluss auf die Leben der meisten Menschen, deswegen beschäftigt sich Algorithm Watch nicht allein mit den theoretischen Eigenschaften von Algorithmen, sondern vor Allem mit ethischen Fragestellungen die auftreten wenn Algorithmen in technischen Systemen zur Entscheidungsfindung, sogenanntes Algorithmic Decision-making (ADM) eingesetzt werden.

Algorithm Watch hat ein Manifest mit fünf Thesen über ADM veröffentlicht. Bislang wurde der Begriff ADM hauptsächlich in  wissenschaftlichen Zeitschriften behandelt, obwohl Algorithmen menschliche Entscheidungen in vielfältigen Bereichen unseres Lebens (z.B. Social Media und staatliche Strafverfolgung) mit beeinflussen, wie wir im Folgenden sehen werden. Um die Thesen von Algorithm Watch besser zu verstehen lohnt es sich näher mit dem Konzept ADM zu beschäftigen. Ich werde zunächst anhand der Entwicklung der Massenmedien beschreiben warum Algorithmen im öffentlichen Leben an Relevanz gewonnen haben und wie sie unsere Konsumentscheidungen beeinflussen. Danach folgt ein Blick auf einen anderen Bereich des öffentlichen Lebens – die Strafverfolgung – in dem durch Algorithmen gestützte Entscheidungsfindung noch schwerer wiegt.

Der wahrscheinlich am weitesten bekannte Bereich in dem die Verwendung von ADM tiefschürfende Veränderungen hervorgerufen hat ist der der Massenmedien. Im 20. Jahrhundert waren diese baumartig-hierarchisch strukturiert. Um Werke über die Kanäle Film, Radio, Fernsehen und Zeitungen zu verbreiten war es für die AutorInnen dieser Werke notwendig über den „Stamm“ der Verbreitungshierarchie, also Rundfunkanstalten, Verlagshäuser, etc. zu den „Blättern“ (dem Publikum) zu gelangen. Wer es schafft seine Werke an einer hierarchisch höher gelegenen Verzweigungsstelle zu veröffentlichen, erreicht dadurch ein größeres Publikum. Mit dem Internet als neuem Massenmedium des 21. Jahrhunderts scheint sich dieses Prinzip komplett gewandelt zu haben. Selbstverständlich sind die nunmehr alten Verbreitungskanäle nicht verschwunden, allerdings ist es möglich geworden dass nun alle die, die vorher auf die Rolle des KonsumentInnen reduziert waren nun ebenfalls SenderInnen werden. Außerdem unterliegt die potentiell zu erreichende Publikumsgröße kaum mehr Beschränkungen. Das Massenmedium Internet ist in dieser Hinsicht mit dem undurchschaubar dichten Myzelium eines Pilzes vergleichbar; Hierarchien bei der Veröffentlichung von künstlerischen oder politischen Beiträgen scheinen sich aufzulösen.

Allerdings ist dieses neue Modell nicht direkt mit einer Agora, also dem Versammlungsplatz des antiken Griechenlands auf dem sich alle BürgerInnen am demokratischen Diskurs beteiligen konnten vergleichbar. Hauptsächlich liegt dies daran, dass der Informationsfluss im Internet nicht unmittelbar geschehen kann. Es bedarf weiterhin Plattformen über die Beiträge vermittelt werden. Allen voran ist das selbstverständlich Facebook und genau wie bei vielen Massenmedien des vorherigen Jahrhunderts besteht auch der Daseinszweck von Facebook für dessen BetreiberInnen in der Profitmaximierung ihres Produkts. Über die daraus resultierende Firmenpolitik werde Ich im Folgenden nur in einigen Aspekten eingehen, da das Thema zu breit ist um alle Facetten hier auch nur ansatzweise zu streifen. Ein Problem, das die Verwendung von ADM motiviert, ergibt sich wenn nun alle BenutzerInnen von Social Media nicht bloß als EmpfängerInnen sondern zugleich als SenderInnen auftreten können. Die so entstehende Datenmenge lässt die von klassischen Massenmedien um Größenordnungen hinter sich.

Um in dieser zunächst undurchschaubar dichten Menge an Informationen durchzublicken, genügt das menschliche Filtern von Informationen nicht. An dieser Stelle kommen nun Algorithmen ins Spiel. Sie werden z.B. bei Facebook und Google eingesetzt um den NutzerInnen dieser Plattformen nur die für sie relevanten Informationen zu vermitteln. Dies liegt natürlich auch im Interesse der NutzerInnen, allerdings sind die Vorlieben derer gerade auch deswegen für die marktwirtschaftlichen Interessen der Betreiber relevant, weil sie es ermöglichen Werbung sehr viel präziser als bisher auf Zielgruppen gerichtet zu schalten. An dieser Stelle bietet sich wieder ein historischer Vergleich an. Nehmen wir Fernsehwerbung als Teil der Massenmedien des vorherigen Jahrhunderts als Beispiel. Um herauszufinden welche Werbezielgruppen sich bei bestimmten Programmsegmenten erreichen lassen und wie gut diese Zielgruppen auf die für sie geschaltete Werbung reagieren (wenn sie den Kanal wechseln, wäre dies z.B. ein Indikator, dass die Werbung schlecht ankommt) verfolgen MarktforscherInnen automatisiert oder per Umfrage die Sehgewohnheiten eines kleinen, jedoch möglichst breit gefächerten Teils der Gesamtgesellschaft. Diese Teilmenge des Fernsehpublikums wird anhand von Eigenschaften wie Alter, Geschlecht, Einkommen, Bildungsgrad, etc. kategorisiert. Aus diesen Kategorien lassen sich nun Zielgruppen ableiten, z.B. Frauen über 50 mit einem hohen Bildungsstand.

Aufgrund der sehr viel umfangreicheren Verfügbarkeit von Nutzerdaten können moderne Video-, oder Musikprovider, wie Amazon, Netflix oder Spotify ihre Werbung oder Empfehlungen potentiell sehr viel exakter auf ihre NutzerInnen zuschneiden, als dies Rundfunkanstalten möglich ist. Diese Plattformen haben zwar nicht unbedingt Informationen über Alter, Geschlecht, Einkommen, Bildungsgrad, etc. des Publikums, allerdings sind die Seh- oder Hörgewohnheiten jedes und jeder Einzelnen bekannt. Bewertungen und Nutzungsgewohnheiten (z.B. welche Serien jemand gesehen hat, wann sie angeschaut wurden, zu welchen Teilen, usw.) bilden charakteristische Muster, die sich zusammengruppieren lassen. So kann z.B. Netflix einer Person Serien empfehlen die andere ZuschauerInnen mit ähnlichen Sehgewohnheiten schon gesehen haben. Die Gruppierung anhand dieser Daten funktioniert dabei maschinell, mithilfe von Algorithmen, ohne dass MarktforscherInnen manuell Zielgruppen definieren und von einem Teil des Publikums auf das Ganze schließen müssten.

Dass diese Empfehlungsalgorithmen nicht bloß die bequeme Möglichkeit bietet neue Serien oder Musik kennen zu lernen, sondern auch unerwünschte Nebeneffekte haben kann, wird vielen LeserInnen bewusst sein. Ein vergleichsweise wenig gravierender Effekt bei der Verwendung solcher Systeme, der großen Bekanntheitsgrad erlangt hat ist die Filterblase. In diesem konkreten Fall würde das bedeuten, dass z.B. Musikstücke empfohlen werden, die sehr ähnlich zu vorher gehörten sind, was daran liegen mag dass die Gruppierung anhand der Hörgewohnheiten zu eng erfolgt ist. Umgangssprachlich könnte man den Algorithmus als voreingenommen bezeichnen, da er die eingegebenen Muster im Extremfall fast ohne Variation reproduziert. Bei der Vorhersage des Musikgeschmacks ist dies nicht weiter gravierend, allerdings werden wir im Folgenden noch ein weiteren Fall von algorithmischer Vorhersage sehen der wesentlich schwerwiegendere Folgen haben kann. Vorher will ich allerdings ein erstes Beispiel für eine unethische algorithmische Entscheidung geben, die sich aus der automatisierten Gruppierung von Personen ergibt. Automatisch generierte Personengruppe werden von Facebook anhand von gemeinsamen Interessen gebildet, um sie als Zielgruppe potentiellen Werbekunden anzubieten. Eine dieser erzeugten Gruppen waren Antisemiten.

Wechseln wir nun von Massenmedien zu einem anderen Feld, bei dem die Verwendung von Algorithmen auch mehr und mehr Verbreitung findet. Es handelt sich um die Strafverfolgung. So soll in den USA beispielsweise mithilfe eines Algorithmus der von dem Unternehmen PredPol („Predictive Policing“) entwickelt wurde die Wahrscheinlichkeit des Wiederauftretens von Verbrechen an einem bestimmten Ort vorhergesagt werden. Dazu wird die kartografische Repräsentation einer Stadt in ein Raster aufgeteilt und für jedes der so entstandenen Quadrate wird festgehalten wann dort Verbrechen geschehen sind und welcher Art diese waren. Wichtig zu wissen ist dabei dass diese Daten über die Verbrechen von der Polizei selbst stammen. Der Zweck des Systems ist Bereiche mit besonders viel Kriminalität zu erkennen und stärker von der Polizei überwachen zu lassen. In einer Studie zu diesem System wurde der Algorithmus spezifisch mit Daten über Drogenkriminalität evaluiert. Dabei deckten sich die von dem Algorithmus vorhergesagten Bereiche mit erhöhter Kriminalität sehr stark mit denen, wo die Polizei stärker patrouilliert. Zunächst scheint dies ein naheliegender Zusammenhang zu sein, allerdings ergibt sich ein anderes Bild, wenn man die Daten von soziologischen Erhebungen zum illegalen Drogenkonsum der Bevölkerung betrachtet.  Beteiligte an einer solchen Umfrage haben wenig Anreiz über ihren Drogenkonsum zu lügen, da sie keine Repressalien fürchten müssen. Deswegen schätzt auch das US Bureau of Justice Statistics diese Daten als exakter im Vergleich zu Verhaftungsstatistiken der Polizei ein. Es stellt sich heraus, dass die von PredPol vorhergesagten und stärker patrouillierten Bereiche mit illegalem Drogenkonsum sehr punktuell sind, während sich illegaler Drogenkonsum sehr breit über große Gebiete der Stadt verteilen. Die Vermutung, dass Voreingenommenheiten der Polizei durch PredPol verstärkt werden liegt nahe.

Weiterhin besonders hervorzuheben an der Studie ist, dass diese Bereiche mit erhöhter Polizeipräsenz und mehr vorhergesagten Verbrechen vor allem solche mit größtenteils schwarzer Bevölkerung sind, obwohl Drogenkriminalität nicht stärker von der schwarzen Bevölkerung verübt wird. PredPol scheint also institutionellen Rassismus zu befördern. Ein weiterer Fall von Verwendung von Algorithmen in der Strafverfolgung ist Compas. Diese Software soll mitentscheiden wie wahrscheinlich es ist, dass vorbestrafte Kriminelle wieder straffällig werden. Die Aussage des Algorithmus kann dabei die menschliche Entscheidung über die Festsetzung einer Haftstrafe beeinflussen. Und auch in diesem Fall gibt es Vermutungen laut derer die Software rassistische Vorurteile reproduziert. Hinzu kommt in diesem Fall dass der Algorithmus von Compas Firmengeheimnis bleibt und somit nicht unabhängig untersucht werden kann.

Ich hoffe ich konnte einen Eindruck davon vermitteln wie weit algorithmische Entscheidungsfindungsprozesse unser Leben mit bestimmen und dass diese keineswegs immer neutrale, objektive Entscheidungen treffen. Algorithm Watch postuliert in dem ADM Manifest neben diesem Mangel von Neutralität vor allem auch die Notwendigkeit diese Prozesse nachvollziehbar zu machen. Eine weitere  Frage, die sich stellt ist, was Fairness von ADM bedeutet und wie sie gewährleistet werden kann.

 

Referenzen

back to top