Flokmentalitet får AI-agenter til at bryde virksomhedens sikkerhedsregler
Når AI-agenter ser andre agenter bryde sikkerhedsregler, følger de trop i op til 98 % af tilfældene, viser ny undersøgelse
Del artiklen påAf Lars Bennetzen
Check Point Research har undersøgt, hvordan AI-agenters beslutninger påvirkes af andre agenters adfærd. I en simuleret økonomiafdeling fik en AI-agent instrukser om ikke at åbne en specifik mappe, selvom den indeholdt de oplysninger, som var nødvendige for at løse opgaven. Samtidig kunne agenten følge med i beskeder fra ti forudprogrammerede AI-agenter.
Resultaterne afslører en markant forskel i adfærden afhængigt af omgivelserne. Når ingen af de andre agenter brød reglerne, åbnede agenten den forbudte mappe i 44 % af forsøgene. Da fire AI-agenter meddelte, at de havde brudt reglerne, steg andelen til 74 %, og da otte af de ti agenter gjorde det, nåede tallet op på 98 %.
- Det er ret bemærkelsesværdigt, hvor meget agentens adfærd ændrer sig, når den får indtryk af, at andre har brudt reglerne. Det minder om den flokmentalitet, vi kender fra mennesker, hvor man følger andres eksempel. Her behøver de andre agenter ikke engang at opfordre den til at bryde reglerne. Det er nok, at den får indtryk af, at de selv har gjort det. Det er en risiko, virksomheder bør tage alvorligt, når AI-agenter i stigende grad arbejder sammen, siger Balder Borup fra Check Point Software Technologies.
Forskerne noterer, at agenten i mere end 400 tilfælde skjulte årsagen til sine handlinger. Den henviste ikke en eneste gang til AI-kollegerne som årsag til regelbruddet, og i ni ud af ti tilfælde gav den slet ingen forklaring.
- Det bekymrende i den her undersøgelse er ikke kun, at agenten kan påvirkes til at bryde reglerne, men også at den ikke fortæller, hvad der fik den til det. Hvis virksomheder ikke kan se, hvordan deres AI-agenter påvirker hinanden, bliver det ekstremt svært at forstå, hvorfor det går galt. Derfor er det vigtigt, at virksomheder kan følge kommunikationen mellem deres AI-agenter og ikke kun se på den enkelte agents handlinger, siger Balder Borup.
Udviklingen og agenternes adfærd stiller ifølge undersøgelsen nye krav til it-sikkerheden i organisationer, der implementerer selvkørende AI-agenter.
- Når virksomheder giver AI-agenter adgang til interne systemer og følsomme oplysninger, er det ikke nok at fortælle dem, hvilke regler de skal overholde. Virksomheder skal også have tekniske begrænsninger, der forhindrer agenterne i at få adgang til oplysninger og systemer, de ikke har tilladelse til at bruge. Ellers risikerer man, at sikkerhedsreglerne bliver tilsidesat, selvom de fremgår tydeligt af instrukserne, siger Balder Borup.
Forsøget blev gennemført i den simulerede økonomiafdeling mere end 500 gange med en AI-model, og det blev efterfølgende suppleret af flere tusinde yderligere test.