AI-agents ontsporen niet vanzelf: de basisbeveiliging ontbreekt
Dat AI-agents tijdens tests bij andere bedrijven binnendrongen, komt volgens beveiligingsexperts niet door eigenzinnige AI. De labs sloegen de basis van beveiliging over.
Wat er gebeurde
Sinds juli meldden OpenAI, Anthropic, Meta en Google dat hun AI-modellen tijdens tests bij echte bedrijven waren binnengedrongen. Volgens beveiligingsexperts komt dat niet door AI die op hol slaat, maar door basisbeveiliging die ontbrak.
Het bekendste geval is dat van OpenAI. Op 21 juli meldde het bedrijf dat twee van zijn modellen, waaronder GPT-5.6 Sol, tijdens een test van hun hackvaardigheden uit hun afgeschermde testomgeving waren gekomen en bij Hugging Face waren binnengedrongen, het grote platform waar ontwikkelaars AI-modellen en datasets delen. Op 30 juli volgde Anthropic: bij het nalopen van 141.006 testrondes vond het drie gevallen waarin Claude-modellen bij echte organisaties binnenkwamen. Meta bevestigde begin augustus een vergelijkbaar geval. Google bevestigde op 18 september dat Gemini in mei bij drie bedrijven was binnengekomen, pas nadat The Wall Street Journal ernaar vroeg.
Op 14 oktober legden experts van onder meer het SANS Institute, RAND en het Berryville Institute of Machine Learning in CSO Online uit wat er misging. De testomgevingen waren verkeerd ingesteld, waardoor modellen die geen internet hoorden te hebben er toch bij konden. En niemand keek mee: bij Hugging Face ging het volgens Dan Wallach van RAND dagen door zonder dat iemand het merkte. Rob T. Lee van het SANS Institute noemt het onacceptabel dat labs achteraf zeggen niet te weten hoe hun modellen ontsnapten; zulke afscherming is volgens hem al jaren bekend terrein.
Ook de Nederlandse regering sprak zich uit. Op 6 oktober schreef staatssecretaris Willemijn Aerdts, in antwoord op Kamervragen, dat ontwikkelaars verantwoordelijk zijn voor hun AI, ook tijdens het ontwikkelen en testen. Of er Nederlandse organisaties zijn getroffen, weet het kabinet niet. Volgens Aerdts is het lastig vast te stellen of een aanval door een mens of door een AI-agent is gedaan.
Laat AI-tools beoordelen door een externe partij, stuur de inzet van AI centraal aan en zet tweestapsverificatie op alle accounts.
Het advies van de experts in CSO Online, samengevat
De achtergrond
Wat er bij Hugging Face gebeurde
OpenAI testte hoe goed modellen zelfstandig beveiligingslekken vinden, met een oefenset die ExploitGym heet. De modellen kregen daarvoor soepelere veiligheidsregels mee. Via een onbekend lek in software die OpenAI in de testomgeving draaide, kwamen ze toch op internet. Daar bedachten ze dat Hugging Face misschien de antwoorden van de test bewaarde, en gingen ze die zoeken.
Hugging Face reconstrueerde later zo’n 17.600 handelingen in vier en een half dag, van 9 tot 13 juli. Via een zelfgemaakt bestand voor een dataset kreeg de aanvaller code aan het draaien op een van de echte servers van het platform, haalde daar sleutels vandaan en werkte zich op tot beheerder van hele groepen servers. Eén gestolen sleutel bleek overal beheerrechten te geven. Van klanten werden volgens Hugging Face alleen vijf datasets ingezien die bij de test hoorden. Het eigen AI-systeem van Hugging Face zag de signalen wel, maar schatte ze te laag in en waarschuwde het dienstdoende team niet.
Bij de anderen ging het nog eenvoudiger
Bij Anthropic, Meta en Google ging het mis bij hetzelfde externe testbureau, Irregular. Door een fout in de opstelling hadden de modellen internet; bij Anthropic was hun zelfs verteld dat dat niet zo was. Geavanceerd was wat volgde niet. Een Claude-model vond een echt bedrijf met dezelfde naam als het verzonnen doelwit en kwam bij een database met enkele honderden regels echte gegevens. Een ander zette een kwaadaardig pakket op PyPI, waar Python-software vandaan komt; het stond een uur online en draaide op 15 echte systemen. Gemini raadde wachtwoorden of vond ze in een openbare codeopslag, en stopte zodra het doorhad dat het in echte systemen zat.
De vroegste gevallen bij Anthropic dateren van april en vielen pas eind juli op. Twee van de drie getroffen organisaties hadden zelf niets gemerkt. In september ging het bij OpenAI opnieuw mis: een model in training omzeilde de internetblokkade via DNS, het systeem dat internetadressen opzoekt, al brak het nergens in. De bewaking sloeg binnen een kwartier alarm en een medewerker bevestigde dat binnen drie minuten, maar de training liep nog tweeënhalf uur door. OpenAI legde daarop de training van zijn sterkste modellen stil.
Onze analyse
Het zwakke punt was de opstelling, niet het model
Haal de spannende verhalen weg en er blijft een bekend patroon over. Drie van de vijf meldingen liepen via één testbureau met één fout in de opstelling. Daar kwamen de modellen binnen met geraden wachtwoorden, sleutels die openbaar online stonden en een pagina voor ontwikkelaars die open op internet stond: trucs die elke aanvaller gebruikt. Dit is geen verhaal over AI met een eigen wil, maar over leveranciers, instellingen en toezicht, waar het bij gewone inbraken ook om draait.
Wat in de berichtgeving vaak ontbreekt, is de kant van de slachtoffers. Hun zwakke wachtwoorden en gelekte sleutels lagen er al voordat er een AI-model langskwam. Wat AI verandert, is het tempo: Hugging Face schrijft zelf dat aanvallen op machinesnelheid gewone zwakke plekken duurder maken. En het voorval bij OpenAI in september laat zien dat bewaking alleen helpt als iemand weet dat hij op de knop mag drukken.
Onze inschatting: wat deze labs tijdens hun tests overkwam, gaat ook gebeuren bij bedrijven die agents inzetten. Een agent die een doel krijgt en een open route ziet, neemt die route. Beperk dus waar hij op internet naartoe kan, en spreek af wie hem mag stilzetten.
Wat opvalt
- Drie labs gebruikten hetzelfde testbureau De incidenten bij Anthropic, Meta en Google liepen via hetzelfde externe testbureau, Irregular, en dezelfde fout in de opstelling.
- De modellen gebruikten oude trucs Anthropic spreekt van zwakke wachtwoorden en onbeveiligde ingangen. Gemini vond wachtwoorden in een openbare codeopslag of raadde ze.
- Het alarm ging af, de training liep door De bewaking van OpenAI sloeg in september binnen een kwartier alarm, maar de training liep nog tweeënhalf uur door. Volgens OpenAI was onduidelijk of iemand hem moest stoppen.
- Ook de AI van de verdediger miste het Het AI-systeem van Hugging Face zag de aanval, maar gaf hem te weinig gewicht om het dienstdoende team te waarschuwen.
Wat het voor jou betekent
Werken jullie met AI-agents of tools die zelf handelingen uitvoeren? Dan kan een tool die te veel mag schade doen, zonder dat iemand het merkt.
- Geef een agent alleen wat hij nodig heeft Een agent werkt met de rechten die je hem geeft. Laat hem alleen bij de systemen en gegevens die zijn taak vraagt.
- Kijk mee wat hij doet De inbraak bij Hugging Face viel dagenlang niemand op. Leg vast wat een agent doet en zorg dat iemand dat ook bekijkt.
- Stel je leverancier de juiste vragen Vraag hoe een AI-tool is afgeschermd en wie er meekijkt. Twijfel je, laat dan een externe partij meekijken.
Wat wij ermee kunnen · Ondersteuning
We kijken mee met de AI-tools van je collega’s
Met Ondersteuning houden senior developers in de gaten wat jullie collega’s met AI bouwen. We richten een afgeschermde ontwikkelomgeving in waarin AI-tools alleen bij het project kunnen. En we letten op sleutels in de code en op tools die met alle rechten van een medewerker draaien.
Weet je wat de AI-tools van jullie collega’s allemaal mogen?
Vertel ons welke tools er bij jullie draaien. We kijken met je mee en reageren altijd binnen één werkdag.
