KI-Halluzinationen könnten biologische Entdeckungen vortäuschen

Ein KI-System könnte Forschenden dabei helfen, einen vielversprechenden neuen Wirkstoff zu finden. Es könnte sie jedoch ebenso davon überzeugen, dass ein biologischer Effekt vorliegt, obwohl dies nicht der Fall ist.

Generative KI erzeugt neue Inhalte, indem sie aus vorhandenen Beispielen typische Merkmale und Zusammenhänge lernt.

Obwohl die Technologie vor allem für die Erstellung von Texten und Bildern bekannt ist, untersuchen Forschende ihren Einsatz auch beim Entwerfen von Proteinen, bei der Simulation von Zellen, beim Schließen von Lücken in Versuchsergebnissen sowie bei der Erzeugung synthetischer biologischer Daten.

KI-Halluzinationen in der biologischen Forschung

Doch solche Systeme können halluzinieren.

In der biologischen Forschung könnte das bedeuten, dass sie ein plausibel wirkendes molekulares Muster oder eine Schlussfolgerung erzeugen, die nicht der zugrunde liegenden Biologie entspricht.

Ein solcher Fehler könnte konkrete Folgen haben.

KI könnte einen Wirkstoffkandidaten aussortieren, der funktioniert hätte, Forschende auf eine wirkungslose Behandlung lenken, einen tatsächlichen biologischen Effekt verschleiern oder einen nicht existierenden Krankheitsmechanismus wie eine Entdeckung erscheinen lassen.

Der Computerbiologe Thomas Burger von der Université Grenoble Alpes in Frankreich untersucht dieses Problem für 10 mögliche Anwendungen generativer KI in einem Meinungsbeitrag, der in Patterns veröffentlicht wurde.

KI könnte Forschende auf eine wirkungslose Behandlung lenken. (maradek/Getty Images)

Omics-Experimente können riesige Datensätze hervorbringen, die Messwerte zu Genen, Proteinen und weiteren Molekülen enthalten. KI könnte Forschenden helfen, diese gewaltige Informationsmenge auszuwerten, doch feine Veränderungen in derart komplexen Daten lassen sich möglicherweise nur schwer erkennen.

Nach Burgers Einschätzung bergen diese Anwendungen nicht alle dasselbe Risiko.

Entscheidend ist, ob ein KI-Ergebnis eine Idee darstellt, die später in einem realen Experiment überprüft wird, oder ob synthetische Daten unmittelbar als Beleg verwendet werden.

„Darüber habe ich bisher nie nachgedacht, aber ich nehme an, dass Halluzinationen zu echten Entdeckungen führen können.“ – Computerbiologe Thomas Burger

Wirkstoffsuche mit generativer KI

Das Screening potenzieller Wirkstoffe oder Proteine zählt zu den Anwendungen mit vergleichsweise geringerem Risiko. Ein Modell könnte sehr schnell eine große Zahl von Kandidaten bewerten und eine kleinere Auswahl für Labortests treffen.

Macht die KI dabei einen Fehler, könnten Forschende einen Kandidaten verwerfen, der funktioniert hätte, oder Zeit und Geld für die Untersuchung eines Kandidaten aufwenden, der letztlich scheitert. Dennoch müsste der ausgewählte Kandidat seine Wirkung in einem echten Experiment zeigen, bevor er als Entdeckung anerkannt werden könnte.

Gefährlicher wird es, sobald KI-generierte Daten experimentelle Messungen zu ersetzen beginnen.

Synthetische biologische Daten könnten fehlende Messwerte ergänzen, die Privatsphäre von Patientinnen und Patienten schützen, Vergleichsgruppen schaffen, Forschungskosten senken oder die Zahl der in Experimenten eingesetzten Tiere verringern.

Fügt die KI jedoch ein Merkmal ein, das nie vorhanden war, könnten Wissenschaftlerinnen und Wissenschaftler glauben, einen biologischen Effekt entdeckt zu haben, der nie aufgetreten ist. Dann würde das System nicht mehr lediglich eine falsche Vorhersage über ein Experiment treffen: Seine Erfindung wäre Teil der Belege geworden, die eine wissenschaftliche Behauptung stützen.

„Meistens geht es nicht darum, eine Halluzination und eine echte biologische Entdeckung direkt nebeneinanderzustellen“, sagte Burger gegenüber ScienceAlert.

„Vielmehr geht es darum, dass reale Daten im Verlauf des komplexen rechnergestützten, durch generative KI unterstützten Arbeitsablaufs durch Halluzinationen verfälscht worden sind – jenes Ablaufs, der es ermöglicht, mit komplexen Biotechnologien erfasste Rohsignale in biologisch valide Beschreibungen molekularer Mechanismen zu überführen.“

Mit anderen Worten: Bei der Verarbeitung echter Daten könnte KI ein Signal auf schwer erkennbare Weise verändern. Diese Veränderung könnte die Schlussfolgerung der Forschenden beeinflussen, ohne ein separates, offenkundig erfundenes Ergebnis zu erzeugen.

„Wenn im Verlauf des Prozesses einige Signale verzerrt, verstärkt oder in irgendeiner Weise verändert werden, die zu anderen biologischen Schlussfolgerungen führen könnte, wird die untersuchende Person dies nur schwer bemerken, sofern sie nicht genau versteht, wie die generative KI gearbeitet hat“, sagte Burger.

AlphaFold 3 und verfälschte biologische Signale

Ein Praxisbeispiel ergab sich bei AlphaFold 3.

In einer 2024 in Nature erschienenen Arbeit berichteten die Entwickler von AlphaFold 3, dass das Modell in ungeordneten Proteinregionen „halluzinierte Strukturen“ erzeugen könne. Niedrige Konfidenzwerte können Forschende allerdings auf dieses Problem hinweisen.

KI-Fehler müssen nicht immer einen nicht vorhandenen Effekt als real erscheinen lassen. Ein Modell könnte die Daten stattdessen so stark verzerren, dass Forschende einen echten Effekt übersehen und damit möglicherweise Hinweise darauf verpassen, dass eine Behandlung tatsächlich wirkt.

Burger hatte zuvor nicht darüber nachgedacht, ob eine KI-Halluzination zu einer tatsächlichen Entdeckung führen könnte.

„Darüber habe ich bisher nie nachgedacht, aber ich nehme an, dass Halluzinationen zu echten Entdeckungen führen können.“

Er verglich diese Möglichkeit mit unerwarteten Entdeckungen, die aus Fehlern im Labor entstehen.

„Serendipität ist seit Langem anerkannt; ob sie aus einer Halluzination generativer KI oder einem anderen Fehler im Nasslabor entsteht, sollte letztlich keine Rolle spielen – weder aus moralischer Sicht noch im Hinblick auf das erwartete Maß der anschließenden Validierung“, sagte Burger.

Entscheidend ist, wie Forschende das Ergebnis nutzen. Wird es als eine zu prüfende Idee behandelt, bleibt eine Halluzination möglicherweise lediglich eine gescheiterte Hypothese. Wird sie dagegen als echte Beobachtung angesehen, könnte eine überzeugende Erfindung in die Beweislage gelangen und mit biologischer Realität verwechselt werden.

Selbst das spannendste von KI vorgeschlagene Ergebnis ist keine Entdeckung, bevor es nicht unabhängig in einem realen Experiment bestätigt wurde.

Der Beitrag wurde in Patterns veröffentlicht.

Dieser Artikel wurde von Rebecca Dyer auf Fakten geprüft und von Rebecca Dyer redigiert. Wir sind stolz auf unseren Prozess, aber auch wir sind nur Menschen. Wenn Sie einen Fehler entdecken, teilen Sie ihn uns bitte mit.