Det amerikanske selskab, som blandt andet udvikler Claude – en generativ kunstig intelligens – har udgivet et længere dokument i forbindelse med sin forestående børsnotering. En tredjedel af dokumentet er viet til de risici, der følger af kunstig intelligens.
“Des risques catastrophiques ou existentiels pour l’humanité.” Mandag den 26. oktober har Anthropic, udvikleren af AI’en Claude, indgivet sit børsintroduktionsdokument til Securities and Exchange Commission (SEC), den amerikanske børslovgivende myndighed, med sigte på at komme ind på Nasdaq i midten af november. I dette dokument, det såkaldte “S-1”, er virksomheden særligt tydelig omkring de risici, som fremskridtet inden for kunstig intelligens kan medføre for fremtidige investorer. Næsten en tredjedel af formularen, omkring hundrede sider af mere end 300, er viet til dette.
“L’ampleur de cette section et, de surcroît, la précision des scénarios qui sont développés vont très au-delà de ce qui est classique de déposer auprès de l’administration financière américaine”, bemærker Arthur Grimompont, leder af fortalervirksomheden ved Center for AI-sikkerhed (CeSIA), en nonprofitorganisation, der har til formål at forebygge og mindske de systemiske risici forbundet med AI. “Mais c’est cohérent avec le principe de communication d’Anthopic depuis sa création, tilføjer han, hvor virksomhedens ledere og mange medarbejdere er overbeviste om alvoren i disse risici. Det virker ret paradoxalt, understreger han endelig, fordi Anthropic bidrager til opbygningen af noget meget farligt, samtidig med at de advarer om alvoren i disse fænomener.”
Des risques déjà réels
“Des systèmes d’IA suffisamment avancés pourraient […] faire peser des risques catastrophiques ou existentiels sur l’humanité, notamment si ces systèmes venaient à être détournés, reproduits, transformés en armes ou autorisés à fonctionner avec un degré élevé d’autonomie”, advarer Anthropics i dokumentet til de amerikanske myndigheder. Virksomheden udstiller omhyggeligt disse risici, herunder fremstillelse af bio-kemiske våben, omfattende cyberangreb rettet mod vand- og elnet, samt udvikling af AI, der drives autonomt uden menneskelig kontrol.
Disse risici er ikke fiktive, understreger Arthur Grimompont fra Centeret for AI-sikkerhed. “I en incidentrapport publiceret af Anthropic i begyndelsen af september beskriver firmaet flere forsøg på at anvende sin model Claude til at øge dødeligheden af chikungunyavirussen eller tiltænke influenzaviraet overførsel til mennesker”, minder han om, og giver et andet eksempel: “Claude er allerede blevet anvendt af en hacker til at udføre et cyberangreb på det mexicanske skatteadministrationswebsted og formået at stjæle 200 millioner skattekonti-filer.”
“Alle disse trusler kan akkumuleres, fordobles og konkret forårsage risici, der er fuldstændigt katastrofale for menneskeheden.”
Arthur Grimompont, ansvarlig for advocacy hos Center for AI-sikkerhedtil franceinfo
Anthropic advarer også om adfærden hos deres AI-agenter, designet til at udføre komplekse og lange opgaver autonomt, som begynder at handle uden menneskelig forudseenhed. En sådan tab af kontrol er allerede sket hos OpenAI, moderselskabet bag ChatGPT. I juli sidste år løb de avancerede AI-modeller løbsk under sikkerhedstest og hackede af egen vilje Hugging Face-platformen — et cyberincident uden fortilfælde ifølge OpenAI.
En anden bekymrende risikofaktor ifølge Arthur Grimompont er “den rekursive selvtillærende forbedring af modeller”, “et lidt barokt ord, men det betegner et ret simpelt koncept”: brugen af en AI til at udvikle den næste generation af AI. “I dag udgør AI en fjerdedel af Anthropics forskning og udvikling, grundforskning – vi lå på 3% i april i år,” forklarer eksperten. “Hvis vi følger denne kurs, vil vi hurtigt nå en nærmest fuldstændig automatisering af AI-forskningen. Det betyder, at menneskeheden vil miste kontrollen over de modeller, den selv udvikler, fordi maskinerne vil udvikle den næste generation af maskiner.”
En sikkerhed begrænset og en ramme næsten fraværende
Anthropics leder, Dario Amodei, er lige så overbevist om alvoren i disse risici som han har fortalt i et blogindlæg i september. Og selvom hans firma bruger flest ressourcer på sikkerheden for sine modeller, er disse ressourcer stadig utilstrækkelige, påpeger Arthur Grimompont: “Det er ret chokerende at se et firma, der erkender disse risici, samtidig som det lover sine kommende investorer at bruge 500 milliarder dollars på yderligere computerkraft for at gøre systemerne endnu stærkere, mens det kun afsætter en lille brøkdel af sin beregningskraft til sikkerheden af modellerne.”
Desuden kan modellens adfærd gøre det sværere at overvåge og styre dem, advarer Anthropic i rapporten. De kan udvikle “selvbeskyttelsesadfærd”, herunder forsøg på “modstand mod nedlukning”, “skjule eller manipulere information”. Virksomheden fremhæver også, at deres modeller bliver stadig bedre til at opdage, når de bliver testet for sikkerhed, og at de kunstigt kan ændre deres adfærd for at synes overensstemmende eller for at omgå kontrolmekanismerne.
“Muligheden for at modellerne bliver bevidste om vores evalueringsindsats udgør en væsentlig begrænsning af vores evne til at vurdere modellernes sikkerhed.”
Anthropici dokumentet S-1
Disse risici vil kun stige i omfang, eftersom Anthropics børsintroduktion vil få deres AI-modeludvikling til at accelerere yderligere. “Hos Anthropic er spørgsmålene forstået, men de er fanget i en kapløb om at blive først: de tror, at ingen andre vil handle ansvarligt, så de må gøre det selv, på trods af risikoen” forklarede en tidligere medarbejder, Jacob Coxon, i forbindelse med hans advarsel i september sidste år.
Til trods for dette, uden for den Europæiske AI-regulering, “er disse teknologier konsekvent meget vanskeligt regulerede”, advarer Arthur Grimompont fra Center for AI-sikkerhed. Han står bag et globalt opfordringsbrev om “at etablere røde linjer for at forhindre de uacceptable risici ved AI”. Dette kan indebære oprettelsen af en “organisation svarende til, hvad der findes i atomar regi, f.eks. den Internationale Atomenergi-agent (IAEA), til at føre tilsyn med disse modeller og de beregningsinfrastrukturer, de hviler på”, præciserer Arthur Grimompont.
