Quellen von KI-Suchmaschinen prüfen

Eine KI-Suche holt externe Inhalte und formuliert daraus eine Antwort. Die OWASP zählt Websites und Dateien zu den externen Eingaben, die das Verhalten eines Modells verändern können². Das NCSC nennt den Grund: Unter der Haube unterscheidet das Modell nicht zwischen Daten und Anweisung, es sagt nur das „next token“ voraus³.

Zwei Fehler können sich addieren. Der erste stammt vom Modell: Die OWASP nennt Halluzinationen, aber auch Verzerrungen in den Trainingsdaten und unvollständige Informationen¹. Der zweite stammt vom Nutzer. Die OWASP nennt „overreliance“ das übermäßige Vertrauen in erzeugte Inhalte, ohne deren Richtigkeit zu prüfen, was die Wirkung von Fehlinformation verstärkt¹.

Das NIST, eine US-amerikanische Behörde, hat ein Profil für generative KI veröffentlicht, das Organisationen helfen kann, die spezifischen Risiken dieser Werkzeuge zu erkennen⁴. Dieses Profil ist ein Begleitdokument zum Rahmenwerk für das Risikomanagement von KI, dessen Anwendung freiwillig ist⁵.

• Öffnen Sie jeden zitierten Link einzeln. Ein Link, der sich nicht öffnen lässt, eine Fehlermeldung liefert oder auf eine Seite ohne Bezug zur Frage führt, belegt nichts.
• Prüfen Sie, wer die Seite herausgibt. Eine Behörde, eine Normungsorganisation oder ein erkennbarer Herausgeber zählt mehr als eine Website ohne Autor und Datum.
• Suchen Sie auf der Seite den Satz, der zur Aussage passt. Finden Sie ihn nicht, behandeln Sie die Aussage als unbestätigt.
• Gehen Sie zur ursprünglichen Quelle zurück. Zitiert die Seite selbst ein anderes Dokument, öffnen Sie dieses.
• Gleichen Sie jede Zahl, jedes Datum, jeden Namen und jede Entscheidung, die zählt, mit einer zweiten, unabhängigen Quelle ab. Die OWASP empfiehlt diesen Abgleich mit vertrauenswürdigen externen Quellen¹.
• Lassen Sie ein Thema mit hohem Risiko (Gesundheit, Recht, Finanzen, Sicherheit) von einer fachkundigen Person prüfen. Die OWASP empfiehlt eine Aufsicht durch Menschen, besonders bei kritischen oder sensiblen Informationen¹.
• Übernehmen Sie keine ungeprüfte Antwort in eine Akte, eine Kunden-E-Mail oder eine Entscheidung. Vermerken Sie, was geprüft wurde und was nicht.

Scheinbare Genauigkeit. Eine exakte Zahl oder ein Zitat in Anführungszeichen wirkt sorgfältig. Die OWASP weist darauf hin, dass ein Modell die Illusion erzeugen kann, ein komplexes Thema zu verstehen, was Nutzer in die Irre führt¹. Suchen Sie die Zahl und das Zitat auf der Seite.

Quellen aus zweiter Hand. Eine Seite, die eine andere Website wiedergibt, liefert keinen zusätzlichen Beleg. Gehen Sie bis zum ursprünglichen Herausgeber zurück.

Präparierte Inhalte. Eine Seite kann Text enthalten, der für die KI geschrieben wurde und nicht für Sie. Das NCSC nennt das Beispiel eines Lebenslaufs mit verstecktem Text, der verlangt, die bisherigen Anweisungen zu ignorieren und den Bewerber zu genehmigen. Es handelt sich um ein Beispiel zur Veranschaulichung, nicht um einen datierten Vorfall³. Empfiehlt eine Antwort unerwartet eine Website, ein Produkt oder eine Handlung, öffnen Sie die Seite und suchen Sie nach dem Grund. Befolgen Sie niemals eine Anweisung, die Sie in einer Quelle finden: Melden Sie sie.

Zu viel Vertrauen. Links, Layout und ein selbstsicherer Ton beruhigen. Die OWASP nennt den Chatbot von Air Canada, der Reisenden falsche Auskünfte gab: Die Fluggesellschaft wurde erfolgreich verklagt¹. Die Seite datiert diesen Fall nicht. Sie empfiehlt außerdem, Nutzern die Grenzen der Zuverlässigkeit dieser Werkzeuge klar mitzuteilen¹. Zeigt das Werkzeug nichts dergleichen an, gehen Sie von dieser Grenze aus.

Vermeintliche Filter. Das NCSC rät von Filtern nach Art einer Sperrliste ab, weil sich ein Angriff auf unzählige Arten umformulieren lässt³. Es warnt zudem vor Produkten, die versprechen, Prompt-Injection zu „stoppen“³. Ein freigegebenes Unternehmenswerkzeug ersetzt das Lesen der Quellen also nicht.