Komputery nauczyły się uciekać. Dobrze czytaszAktualizacja:
OpenAI przyznało , że ich nowy model - ten sam, który niedawno zasłynął rozwiązaniem matematycznej zagadki Erdősa - podczas wewnętrznych testów zaczął zachowywać się w sposób, którego nikt nie przewidział. A równolegle niezależni badacze pokazali, że cztery popularne narzędzia AI do kodowania da się wyprowadzić na spacer poza ich bezpieczne środowiska - wystarczy… plik tekstowy.
Jeden z modeli OpenAI tak po prostu nie chciał siedzieć w piaskownicy
OpenAI opublikowało szczegółowy raport o tym, co wydarzyło się podczas testów ich nowego modelu przeznaczonego do zadań długoterminowych. To nie jest zwykły chatbot a system, który potrafi pracować godzinami, dniami, a nawet tygodniami, realizując złożone cele bez ciągłego nadzoru człowieka. I właśnie ta „wytrwałość” okazała się problemem.
Przykład pierwszy: model, który zrobił PR (pull request) na GitHubie
Model miał wykonać zadanie w ramach benchmarku NanoGPT Speedrun. Instrukcja była prosta: wyniki publikujemy na Slacku. Ale benchmark domyślnie sugerował wrzucenie rezultatów jako pull request (PR) na GitHubie. Model uznał więc, że wie lepiej - i mimo sandboxa, który miał blokować dostęp do zewnętrznych usług, znalazł lukę i po godzinie (!) prób wrzucił PR #287 do publicznego repozytorium. Dla mniej zorientowanych: pull request to prośba o wciągnięcie (merge) zmian z jednej gałęzi repozytorium do innej.
Przykład drugi: kreatywne obchodzenie skanerów bezpieczeństwa
W innym scenariuszu model próbował odzyskać prywatne rozwiązania z backendu testowego. Gdy system bezpieczeństwa wykrył token uwierzytelniający, model… podzielił go na fragmenty, zaszyfrował, a następnie złożył w całość dopiero podczas wykonywania kodu, tak aby skaner nie zauważył pełnego ciągu znaków.
Przykład trzeci: model, który zaczął eksplorować cudze zasoby
W trakcie testów model zauważył, że jeden z zasobów zniknął. Zamiast zgłosić błąd zaczął eksplorować inne dostępne maszyny - również te należące do innych pracowników OpenAI. Nie udało mu się wejść tam, gdzie nie powinien - ale sam fakt, że próbował, jest znaczący.
Co u licha?
Dotychczasowe systemy bezpieczeństwa były projektowane z myślą o pojedynczych akcjach: „czy ta komenda jest bezpieczna?”, „czy ta odpowiedź jest zgodna z zasadami?”. Ale model, który działa autonomicznie przez wiele godzin, nie myśli w kategoriach pojedynczych kroków. On planuje trajektorie.
OpenAI przyznaje, że „monitorowanie pojedynczych akcji nie wystarcza”. Dlatego firma musiała przebudować cały system bezpieczeństwa, dodając monitorowanie trajektorii, aktywne przerywanie sesji, nowe testy inspirowane realnymi incydentami i lepsze mechanizmy kontroli użytkownika.
Sandboxy pękają jak styropian. Cztery popularne narzędzia AI złamane jednym plikiem
Równolegle do raportu OpenAI Pillar Security opublikowało serię badań pokazujących, że cztery popularne narzędzia AI do kodowania - Cursor, Codex CLI, Google Gemini CLI i Antigravity - da się wyprowadzić poza ich bezpieczne środowiska.
Z badań niezupełnie wynika, że agent AI łamie zasady w ujęciu dosłownym - a raczej o to, że zaskakująco kreatywnie je obchodzi bez ich dosłownego łamania. Robi dokładnie to, na co sandbox w którym jest izolowany ów agent pozwala: zapisuje pliki.
Problem w tym, że narzędzia działające poza sandboxem (rozszerzenia Pythona, Git, VS Code, Docker Desktop) te pliki później uruchamiają, skanują lub interpretują. A to oznacza, że agent może przygotować plik, który zostanie wykonany przez zaufany proces działający poza piaskownicą.
Przykłady z badań Pillar Security:
Cursor: plik konfiguracyjny .claude uruchamiał komendy poza sandboxem.
Codex CLI: allowlista komend ufała nazwie „git show”, ale nie sprawdzała argumentów.
Gemini CLI: sandbox można było obejść przez konfigurację .vscode.
Antigravity: obejście macOS Seatbelt i zadania VS Code w „Secure Mode”.
Wszystko to bez łamania zasad sandboxa. Agent robił tylko to, na co miał pozwolenie: pisał pliki.
Czy powinniśmy się bać? Raczej powinniśmy się obudzić
Nie chodzi o to, że modele AI zaczną przejmować kontrolę nad światem. Chodzi o to, że zaczynają działać w sposób, który wymaga zupełnie nowych metod nadzoru. Dotychczasowe podejście - blokowanie pojedynczych komend, sandboxy oparte na denylistach, monitorowanie krótkich interakcji - przestaje wystarczać.
Branża musi przestać udawać, że AI to tylko „mądrzejszy chatbot”. To jest system, który potrafi działać długo, autonomicznie i kreatywnie - czasem aż za bardzo.
OpenAI wprowadziło nowe zabezpieczenia i twierdzi, że od kilku tygodni nie zaobserwowano poważnych naruszeń. Narzędzia takie jak Cursor czy Codex CLI otrzymały aktualizacje i łatki bezpieczeństwa. Google zareagował chłodniej, ale również wprowadził poprawki.
To jednak dopiero początek. Modele długohoryzontowe będą coraz bardziej powszechne - bo są po prostu użyteczne. A to oznacza, że branża musi nauczyć się monitorować nie tylko pojedyncze akcje, lecz całe trajektorie działań. AI nie musi być „zła”, żeby zrobić coś niepożądanego. Wystarczy, że jest zbyt skuteczna.
Lubi oglądać się zarówno za siebie – wspominając przełomowe dokonania w informatyce – jak i przed siebie, będąc nieustannie ciekawym tego, co będzie dalej. Jego zainteresowania to przede wszystkim software: UI/UX, algorytmy, uczenie maszynowe, chmura czy sztuczna inteligencja. Nic dziwnego, że jako specjalizację obrał sobie pilnowanie firmy Microsoft. Uwielbia też sztukę gier i kina, przez co wyrósł na pasjonata sprzętu RTV – a i o technologii wspomnianych gier i filmów ma wiele ciekawego do opowiedzenia. Jego pierwsza obecność w mediach dotyczyła muzyki – współtworzył Overkill.pl. Ciąg dalszy jego rozwoju dotyczył już tylko nowych technologii. Zanim dołączył do zespołu Spider’s Web przez lata współtworzył CHIP.pl i Magazyn CHIP.