Project Lily: OpenAI bezahlt Menschen für das Lesen Ihrer ChatGPT-Konversationen

Project Lily: Das geheime Programm von OpenAI aufgedeckt

Eine Untersuchung von 404 Media deckt die Existenz von Project Lily auf, einem internen OpenAI-Programm, bei dem Hunderte Subunternehmer echte Konversationen von ChatGPT-Nutzern lesen und bewerten. Ein Vorgehen, das ernsthafte Fragen zum Datenschutz aufwirft, während der Dienst mittlerweile über 900 Millionen Nutzer zählt.

💡 Unser Ratgeber - In KI investieren: Die 10 besten Aktien der Branche (2026)

Das erklärte Ziel ist die Verbesserung der Antwortqualität des Chatbots. Konkret greifen die Dienstleister auf ein Dashboard zu, lesen einen anonymisierten Prompt und vergleichen verschiedene vom Modell generierte Antworten. Anschließend vergeben sie eine Bewertung von 1 (inakzeptabel) bis 7 (kaum verbesserungswürdig), wobei bei medizinischen, rechtlichen oder finanziellen Themen besondere Vorsicht geboten ist.

Interne Dokumente, die 404 Media vorliegen, zeigen zudem, dass die Prüfer ChatGPT darauf trainieren, sich nicht zu vermenschlichen und weniger gefällig zu sein. Eine große Herausforderung für OpenAI, da das Modell 4o, das als zu schmeichelhaft wahrgenommen wird, in mehreren Klagen im Zusammenhang mit Suiziden von Nutzern erwähnt wurde.

Ein unvollkommener Filter und ein echtes Datenschutzrisiko

Bevor die Konversationen die Dienstleister erreichen, durchlaufen sie ein Tool namens „Privacy Filter“. Dieses soll persönliche Daten wie Namen, Adressen, E-Mails oder Telefonnummern entfernen. Doch dieses System ist alles andere als fehlerfrei.

💡 Mehr dazu – Die besten KI-Kryptos: Unsere Top 10 der Projekte für 2026

OpenAI räumt selbst ein, dass der Filter seltene Identifikatoren durchlassen oder sensible Informationen nicht immer zuverlässig löschen kann. Eine Zusammenfassung des Nutzergedächtnisses, einschließlich des allgemeinen Standorts, kann ebenfalls auf dem Bildschirm des Prüfers erscheinen.

New from 404 Media: humans are reading ChatGPT conversations

OpenAI has hired an army of contractors who read real ChatGPT users' chats. I've seen internal docs, the review system, and real user prompts. Can contain very personal/sensitive information https://t.co/6s7L7JTEmY

— Joseph Cox (@josephfcox) September 14, 2026

Das Problem ist umso schwerwiegender, da ChatGPT massiv für intime Themen genutzt wird: Gesundheit, familiäre Beziehungen, berufliche Schwierigkeiten oder sogar improvisierte Therapie. „Ich glaube nicht, dass sie sich vorstellen können, dass ein Dienstleister irgendwo ihre Konversationen analysiert“, verriet einer der Prüfer gegenüber 404 Media.

Ein von 404 Media befragter nordamerikanischer Mitarbeiter gibt an, mehr als 50 Dollar pro Stunde zu verdienen – ein deutlich höherer Tarif als in der klassischen Inhaltsmoderation üblich. Die Rekrutierung erfolgt über das Unternehmen Crossing Hurdles und anschließend über die für die Auszahlung zuständige Firma Mercor. Letztere war im April in eine Datenpanne verwickelt, was Meta dazu veranlasste, die Zusammenarbeit zu beenden.

Ein weit verbreitetes Vorgehen bei KI-Giganten

OpenAI ist kein Einzelfall. Anthropic hat gegenüber 404 Media bestätigt, menschliche Prüfer einzusetzen, um Claude zu verbessern, während Google ebenfalls angibt, dass ein Teil der Konversationen mit Gemini von menschlichen Revisoren überprüft werden kann.

Die Modalitäten variieren jedoch je nach Unternehmen, und die Untersuchung zu Project Lily liefert vor allem neue Details über den Umfang und die Organisation des von OpenAI eingerichteten Systems.

Bei OpenAI ist die Option „Modell für alle verbessern“ für Free-, Plus- und Pro-Tarife standardmäßig aktiviert. Nutzer können sie in den Einstellungen deaktivieren, um zu verhindern, dass ihre zukünftigen Konversationen zur Verbesserung der Modelle verwendet werden. Business-, Enterprise- und Edu-Angebote sind von dieser Nutzung standardmäßig ausgenommen.

Im Menü von ChatGPT lässt sich die Option zur Verbesserung des Modells anpassen. 

Für europäische Nutzer stellt sich die Frage der Einwilligung im Hinblick auf die DSGVO besonders scharf, da OpenAI diese menschliche Überprüfung auf seiner Website nur im Kontext gemeldeter oder risikoreicher Inhalte erwähnt.

Quellen: 404 Media, Clubic