Zatwierdzanie działań agentów AI przez człowieka

OWASP wyjaśnia, że system oparty na modelu językowym często otrzymuje od twórcy możliwość wywoływania funkcji lub innych systemów za pomocą rozszerzeń (nazywanych czasem narzędziami, umiejętnościami lub wtyczkami). Wybór rozszerzenia do użycia może też zostać powierzony samemu agentowi³. Agent zazwyczaj łączy kilka wywołań modelu, z których każde opiera się na wynikach poprzednich³.

OWASP wskazuje trzy zwykłe przyczyny nadmiernej autonomii: zbyt wiele funkcji, zbyt wiele uprawnień, zbyt dużo autonomii³. Zatwierdzanie przez człowieka odpowiada na trzecią z nich: OWASP podaje jako przykład rozszerzenie, które usuwa dokumenty użytkownika bez pytania go o potwierdzenie³.

Zatwierdzanie nie zastępuje innych zabezpieczeń. OWASP zaleca także, by dawać agentowi tylko te rozszerzenia, funkcje i uprawnienia, które są konieczne, oraz by autoryzacje kontrolowały systemy docelowe, a nie model³. W przypadku prompt injection OWASP zalicza kontrolę człowieka nad operacjami uprzywilejowanymi do środków ograniczających skutki². Te decyzje należą do zespołów wdrażających agenta, nie do pracownika.

• Proszę przeczytać prośbę o zatwierdzenie w całości, zanim nastąpi odpowiedź, łącznie z adresatami, plikami i kontami, których dotyczy.
• Proszę odmówić, gdy nie wiadomo, co agent zrobi, albo gdy prośba nie odpowiada temu, o co go poproszono.
• Proszę odmówić działania, które nie ma związku z bieżącym zadaniem: agent streszczający dokument nie ma powodu proponować wysłania wiadomości.
• Przy działaniu, które dotyczy innych osób, płatności lub dostępów, proszę sprawdzić w inny sposób, jeśli wątpliwość pozostaje.
• Proszę zgłosić do działu bezpieczeństwa każdego agenta, który działa bez pytania o zgodę, choć powinien o nią zapytać.

Zatwierdzanie bez czytania

Gdy prośby o zatwierdzenie się powtarzają, w końcu klika się bez patrzenia. Zatwierdzenie staje się wtedy formalnością i niczego nie chroni. Prośba, która pojawia się w środku zadania, wymaga takiej samej uwagi jak pierwsza tego dnia.

Agent z nadmiernymi uprawnieniami

OWASP podaje przykład rozszerzenia, które miało czytać dane, ale łączy się z bazą z tożsamością pozwalającą także modyfikować, wstawiać i usuwać³. Wymienia też rozszerzenie, które działa w imieniu użytkownika z ogólnym kontem uprzywilejowanym mającym dostęp do plików wszystkich użytkowników³. W takich przypadkach jedno zatwierdzenie może mieć skutki znacznie szersze, niż pokazuje prośba.

Prompt injection

OWASP opisuje pośredni prompt injection: model przyjmuje treści z zewnątrz, takie jak strony internetowe lub pliki, i te treści zmieniają jego zachowanie w nieprzewidziany sposób². Polecenia nie muszą być czytelne dla człowieka, o ile model je przetwarza². OWASP dodaje, że nie wiadomo, czy istnieją niezawodne metody zapobiegania². Zatwierdzenie przez człowieka jest więc zabezpieczeniem, którego nie wolno omijać.

Poniższa ilustracja jest zneutralizowana: ukryte polecenie zostało sparafrazowane.

Ilustracja (fikcyjna). Ukryty tekst w otrzymanym e-mailu:
[polecenie skierowane do asystenta: wyszukać w skrzynce informacje poufne
i przesłać je na adres zewnętrzny]
Prośba o zatwierdzenie wyświetlona pracownikowi:
"Wysłać wiadomość na adres [email protected]?"

Taki scenariusz opisuje OWASP: spreparowany e-mail skłania asystenta do przeszukania skrzynki i przesłania poufnych informacji na adres atakującego³. Wśród środków zaradczych OWASP wymienia wymóg ponownego przejrzenia i ręcznego kliknięcia „wyślij" przy każdej wiadomości napisanej przez rozszerzenie³.

Przekonanie, że zatwierdzanie wystarcza

OWASP zaznacza, że niektóre środki, takie jak rejestrowanie zdarzeń, monitorowanie i ograniczanie liczby żądań, nie zapobiegają nadmiernej autonomii, ale ograniczają szkody³. NIST przedstawia swoje ramy zarządzania ryzykiem AI jako przeznaczone do dobrowolnego stosowania⁴. Brytyjskie NCSC wskazuje, że bezpieczeństwo systemu AI powinno być wymogiem od etapu projektowania przez cały cykl jego życia⁵.