ChatGPT kann keinen Nissan Kubistar zeichnen – der Grund kann lebensgefährlich sein!

21.07.2025

KI-Modelle ignorieren offensichtlich manchmal hochgeladene Bilder und verlassen sich dafür auf ihr Vorwissen.

Vor ein paar Tagen wollte ich für einen (noch immer nicht geschriebenen) Artikel ein Bild eines Nissan Kubistar haben. Der Nissan Kubistar war ein von 2003-2009 gebauter Hochdachkombi, der mit dem Renault Kangoo der ersten Generation (gebaut 1997-2009) baugleich war. Der auffälligste Unterschied zwischen Kangoo und Kubistar war der Kühlergrill. Der Nissan trug das damals markentypische “Flügel”-Design.

Nissan Kubistar, Foto: Kentaro Matsui, gemeinfrei, via Wikimedia Commons

Ich habe dann verschiedene Bilder des Nissan Kubistar bei ChatGPT (Modell ChatGPT 4o) hochgeladen – und ständig dasselbe Problem. Ich bekam korrekte Zeichnungen, allerdings immer mit dem Kühlergrill des Renault Kangoo I Phase 2.

ChatGPT hat sich hier wohl auf Vorwissen verlassen, den Kubistar mit dem Kangoo gleichgesetzt und sozusagen “aus dem Gedächtnis” einen Kangoo gezeichnet.

Nun, ich bin vielleicht der einzige Mensch auf diesem Planeten, der eine Zeichnung eines Nissan Kubistar haben will, aber es gibt zig-, wenn nicht sogar hunderttausende Ärztinnen und Ärzte, die gerne KI einsetzen möchten, um medizinische Abbildungen wie CT- oder MRT-Aufnahmen schneller analysieren zu können.

Daniel Wolf von der Universität Ulm hat für seine Studie “Your other Left! Vision-Language Models Fail to Identify Relative Positions in Medical Images”  Computertomographie-Aufnahmen zu verschiedenen KI-Modellen hochgeladen, um diese von der KI analysieren zu lassen. Wer die Studie nicht lesen möchte, kann sich auch dieses Video auf YouTube ansehen.

Das erschreckende Ergebnis: Auch in diesem Bereich analysieren KI-Modelle oft nur schlampig und verlassen sich stattdessen auf ihr Vorwissen.

Auch in anderen Bereichen kann diese – menschlich natürlich nachvollziehbare – Vorgangsweise gefährlich werden, man denke nur an Self-Driving-Vehicles.

Dennoch denke ich, dass sich solche Probleme mit dem Einsatz spezialisierter KI-Modelle, entsprechendem Training, entsprechendem Fine-Tuning und natürlich entsprechendem Prompting vermeiden lassen. Da aber jedes KI-Modell letzten Endes eine Blackbox ist, wird KI in diesem Bereich wohl nie eine menschliche, in diesem Fall ärztliche Überprüfung ersetzen können.

Aber wie verhindert man, dass dann der Arzt oder die Ärztin dann nicht aus Kosten- und Zeitgründen statt dem sicherlich teuren Spezial-KI-Tool einfach ein kostenloses oder kostengünstiges allgemeines Modell einsetzt? In der EU wäre das wohl nicht mit dem EU AI Act vereinbar. Aber wie sieht es in ärmeren Ländern, wo es noch größeren Ärztemangel und noch weniger Geld für die Medizin gibt, aus?

Eine wichtige Herausforderung, die gelöst werden muss.

Und ich muss wohl meine Buntstifte spitzen, und mir selbst einen Kubistar zeichnen.