Das Vertrauens-Paradox

Aldous Huxley schuf in «Schöne neue Welt» eine Gesellschaft, in der sich jeder umsorgt, verwöhnt und sicher aufgehoben fühlt. Alles ist vorhersehbar, alles perfekt zugeschnitten. In der heutigen digitalen Realität erfüllt Personalisierung manchmal eine ähnliche Funktion. Wir erhalten genau das, was wir – laut Algorithmus – wollen, noch bevor wir darüber nachdenken. Aber wir müssen fragen: Personalisiert für wen?

Technologien nutzen, denen wir nicht vertrauen

Wir leben in einem Zustand, den Forscher der Cornell University als «Vertrauensparadoxon» bezeichnen – die rätselhafte Bereitschaft der Öffentlichkeit, KI-gestützte Technologien zu unterstützen oder zu nutzen, denen sie nicht vertraut. Eine aktuelle Studie von KPMG bestätigt diesen Zustand: Nur 46 Prozent der Menschen weltweit sind bereit, KI-Systemen zu vertrauen, und 54 Prozent der Befragten geben an, dass sie KI gegenüber misstrauisch sind. Die Bedenken der Öffentlichkeit gegenüber KI haben drei Hauptursachen: Fehlfunktionen (Voreingenommenheit, ungenaue Ergebnisse), Missbrauch (Fehlinformationen, Manipulation) und übermässiger Gebrauch (Dequalifizierung, Verlust menschlicher Interaktion, Aushöhlung der Privatsphäre).

Im Zusammenhang mit Personalisierung manifestiert sich das «Vertrauensparadoxon» deutlich durch Bedenken hinsichtlich Datenschutz, algorithmischer Voreingenommenheit und der allmählichen Aushöhlung der menschlichen Handlungsfähigkeit – dem Schwerpunkt dieses Artikels. Wir wollen die Vorteile von Algorithmen, die uns kennen, aber wir widersetzen uns genau den Mechanismen, die dieses Wissen ermöglichen.

Überfluss führt eher zu Lähmung als zu Befreiung

Wir leben in dem, was der Psychologe Barry Schwartz als «Paradox der Wahl» bezeichnet hat, wobei Überfluss eher zu Lähmung als zu Befreiung führt. Jeden Tag wird der Durchschnittsmensch mit mehr Informationen konfrontiert, als seine Vorfahren in ihrem ganzen Leben verarbeitet haben, doch unsere kognitive Architektur ist unverändert geblieben, seit das Überleben von schnellen Entscheidungen abhing.

Im Zeitalter der Informationsüberflutung dient Personalisierung als Filter, der Nutzer:innen hilft, sich in der überwältigenden Auswahl zurechtzufinden und das zu finden, was für sie am wichtigsten ist. Von Empfehlungsalgorithmen bis hin zu intelligenten Chatbots, die sofortige Hilfe bieten, veranschaulicht Personalisierung, wie KI zur treibenden Kraft hinter modernen digitalen Erlebnissen geworden ist. Personalisierung wird oft für ihre Fähigkeit gelobt, die Geschäftsleistung zu steigern. Eine Studie von McKinsey zeigt, dass sie die Kosten für die Kundenakquise um bis zu 50 Prozent senken, den Umsatz um 5 bis 15 Prozent steigern und den Marketing-ROI um 10 bis 30 Prozent erhöhen kann. Die Studie ergab, dass schnell wachsende Unternehmen 40 Prozent mehr Umsatz aus Personalisierung erzielen als langsamere Wettbewerber.

Die Bequemlichkeit der Personalisierung hat jedoch ihren Preis, den wir erst allmählich zu verstehen beginnen. Während ihr geschäftlicher Wert klar ist, sind ihre Auswirkungen auf das individuelle Wohlbefinden und die Gesellschaft insgesamt noch unklar.

Warum wir fürchten, was wir nutzen

Die Unsichtbarkeit algorithmischer Prozesse führt zu einem grundlegenden Paradoxon: Wir sehnen uns nach der Bequemlichkeit der Personalisierung, während wir uns instinktiv gegen die Mechanismen wehren, die sie ermöglichen. Die offensichtlichste Sorge gilt dem Datenschutz – jede personalisierte Empfehlung erfordert die Erfassung, Analyse und Speicherung intimer Details über unsere Vorlieben und Verhaltensweisen. Dies ist jedoch nur die Oberfläche tiefer liegender algorithmischer Herausforderungen, die unsere digitalen Erfahrungen auf weitaus subtilere Weise prägen.

Die versteckten Kosten, «bekannt» zu sein

Einer der subtilsten Mängel der Personalisierung liegt darin, wie Empfehlungssysteme diejenigen behandeln, die nicht in das Schema passen. Plattformen wie Netflix, Amazon oder YouTube stützen sich häufig auf kollaborative Filterung – sie schlagen Inhalte vor, die auf den Vorlieben von Nutzern mit ähnlichem Verhalten basieren. Für viele Nutzer:innen, insbesondere diejenigen, deren Geschmack dem Mainstream entspricht, funktioniert dies bemerkenswert gut.

Personalisierung wird jedoch weniger persönlich, wenn Sie nicht dem statistischen Durchschnitt entsprechen. Wenn Sie einer Minderheitengruppe angehören – sei es in Bezug auf Kultur, Alter oder Nischeninteressen – verfügt das System möglicherweise nicht über genügend Daten, um Sie genau darzustellen. Infolgedessen macht der Algorithmus Vermutungen auf der Grundlage von Verhaltensweisen, die er bei anderen beobachtet hat, nicht bei Ihnen. Er liefert Ihnen den «Durchschnittsgeschmack», nicht Ihren Geschmack. Dies führt zu einer stillen Erosion der Relevanz. Das System glaubt, Sie zu kennen, aber in Wirklichkeit projiziert es das Profil einer anderen Person auf Ihr Profil.

Diese Verzerrung wird noch verstärkt, wenn Algorithmen auf «Proxy-Variablen» wie Postleitzahlen, Bildungshintergrund oder Gerätetyp zurückgreifen, die mit geschützten Merkmalen wie ethnischer Zugehörigkeit, Geschlecht oder Einkommen korrelieren. Der Algorithmus von Uber könnte teurere Optionen für bescheidene Wohngegenden ausblenden – Ihre Postleitzahl bestimmt stillschweigend Ihre Auswahlmöglichkeiten. Selbst wenn keine explizite diskriminierende Absicht vorliegt, können solche Proxy-Variablen soziale Hierarchien in maschinelle Lernsysteme einkodieren.

Wenn Optimierung ausgrenzt

Wir beschäftigen uns weiterhin mit gezielten Werbesystemen – wir klicken auf Anzeigen, treffen Kaufentscheidungen auf der Grundlage algorithmischer Empfehlungen –, obwohl wir uns zunehmend bewusst werden, dass dieselben Systeme ganze Gruppen systematisch ausschliessen und dabei stillschweigend gesellschaftliche Ungleichheiten reproduzieren können. Betrachten Sie, wie diese Algorithmen funktionieren: Sie sagen unsere Wahrscheinlichkeit zur Interaktion auf der Grundlage von vergangenem Verhalten, angegebenen Interessen und demografischen Daten voraus. Wenn ein Algorithmus lernt, dass Männer statistisch gesehen häufiger auf hochbezahlte Stellenanzeigen klicken, beginnt er, diese Stellenangebote vorwiegend Männern anzuzeigen. Frauen – die ebenso qualifiziert und interessiert sind – sehen sie einfach nicht. Der Algorithmus ist nicht böswillig, sondern effizient. Und diese Effizienz schliesst systematisch aus.

Ein bemerkenswertes Beispiel dafür war die Entwicklung eines KI-Rekrutierungstools durch Amazon, das anhand der Lebensläufe zuvor eingestellter Mitarbeiter:innen trainiert wurde – von denen die meisten Männer waren. Das System begann systematisch Bewerbungen herabzustufen, die das Wort «Frauen» enthielten oder von rein weiblichen Hochschulen stammten. Der Algorithmus diskriminierte nicht bewusst, sondern spiegelte lediglich die voreingenommenen Trainingsdaten wider. Dies führt zu «algorithmischem Redlining» – einer digitalen Ausgrenzung, die unterhalb der Schwelle des bewussten Wahrnehmens stattfindet. Wenn bestimmte Gruppen aufgrund systemischer Barrieren in der Vergangenheit weniger mit Bildungs- oder Karriereanzeigen in Berührung gekommen sind, lernt der Algorithmus, keine «Impressionen» an sie zu «verschwenden». Das System wandelt vergangene Diskriminierung in zukünftige Einschränkungen um und schafft so eine Rückkopplungsschleife, in der diejenigen, die bereits benachteiligt sind, weniger Aufstiegsmöglichkeiten erhalten.

Finanzalgorithmen können Minderheiten regelmässig höhere Zinsen für identische Kredite berechnen und so wirtschaftliche Ungleichheiten durch scheinbar objektive Berechnungen aufrechterhalten. Das System lernt, dass bestimmte Gruppen in der Vergangenheit unterschiedlich behandelt wurden, und behandelt diese Ungleichheit dann als ein Muster, das es zu replizieren gilt, anstatt als ein Problem, das es zu lösen gilt. Bereits 2013 zeigte die Forschung von Latanya Sweeney, wie sich dies selbst in scheinbar neutralen Kontexten manifestiert: Google-Anzeigen für Vorstrafen tauchten bei der Suche nach Namen, die häufig mit schwarzen Personen in Verbindung gebracht werden, häufiger auf als bei der Suche nach Namen, die häufig mit weissen Personen in Verbindung gebracht werden.

Dies wirft eine grundlegende Frage auf: Wenn Personalisierung zu unterschiedlicher Behandlung verschiedener Nutzer:innen führt, ist es dann akzeptabel, dass Menschen unterschiedliche Inhalte, Preise oder Möglichkeiten angezeigt werden, nur weil das System sie für bestimmte Personen hält? Personalisierung in grossem Massstab wirkt sich nicht nur auf individuelle Erfahrungen aus – sie kann den Zugang zu Möglichkeiten für ganze Bevölkerungsgruppen systematisch verändern.

Das Paradoxon überwinden

Um das Vertrauensparadoxon zu lösen, sind strenge Kontrollen erforderlich, die sicherstellen, dass Personalisierungsalgorithmen fair und transparent funktionieren und dass die Nutzer:innen eine sinnvolle Handlungsfähigkeit behalten. Personalisierung ist nicht von Natur aus problematisch – wenn sie nach menschenzentrierten Prinzipien gestaltet wird, kann sie die Art und Weise, wie wir entdecken, lernen und auswählen, wirklich verbessern. Der Schlüssel liegt darin, worauf Personalisierungssysteme optimiert sind. Wenn Algorithmen langfristige Nutzerzufriedenheit gegenüber kurzfristigem Engagement priorisieren und regelmässig auf Voreingenommenheit überprüft werden, kann Personalisierung ihr ursprüngliches Versprechen erfüllen: unsere informationsreiche Welt übersichtlicher und unsere Entscheidungen sinnvoller zu machen.

Wir brauchen sowohl die Stärkung des Einzelnen durch KI-Kompetenz als auch systemische Reformen, die ethische Prinzipien in das KI-Design einbetten – was Wissenschaftler als «KI für das soziale Wohl» bezeichnen. Ohne solche Massnahmen riskieren wir das, was Forscher der Universität Oxford als «Erosion der menschlichen Selbstbestimmung» bezeichnen – eine allmähliche Aufgabe der menschlichen Handlungsfähigkeit zugunsten algorithmischer Vermittlung.

Die Wahl, vor der wir stehen

Die Wahl, vor der wir stehen, ist klar: Wir können Huxleys Welt der bequemen digitalen Konditionierung aufbauen, in der Algorithmen uns besser kennen als wir uns selbst und uns sanft zu vorbestimmten Ergebnissen führen. Oder wir können eine mutigere neue Welt schaffen – eine Welt, in der Technologie die menschliche Handlungsfähigkeit verstärkt, anstatt sie zu ersetzen, in der Personalisierung unseren authentischen Entscheidungen dient, anstatt sie zu manipulieren.

Der Unterschied liegt nicht in der Ausgereiftheit der Algorithmen, sondern in unserem Mut, zu fordern, dass sie dem menschlichen Gedeihen dienen und nicht der digitalen Konformität. Das Vertrauensparadoxon wird nur dann gelöst werden, wenn wir diese mächtigen Werkzeuge nutzen können, ohne ihnen unsere Autonomie zu überlassen.

Die Autorin

Dr. Magdalena Zabicka-Wlodarczyk ist Forscherin und Praktikerin mit über 15 Jahren Branchenerfahrung in einem multinationalen Einzelhandelsunternehmen, spezialisiert auf Marktforschung, interkulturelle Zusammenarbeit und strategische Entscheidungsfindung. Sie hält Vorlesungen über Kundenver- halten im Zusammenhang mit neuen Technologien, darunter künstliche Intelligenz und interkulturelles Marketing. Derzeit ist sie als Gastwissenschaftlerin an der ZHAW tätig. Ihre Forschung konzentriert sich auf menschenzentrierte Ansätze für KI, wie z. B. die Diagnose der Einstellung von Mitarbeitern gegenüber KI und die Untersuchung der Rolle von Führungskräften bei deren Einführung. Ausserdem engagiert sie sich in Initiativen zur Förderung der KI-Kompetenz in Bildung und Ausbildung.