AI-forskare varnar: ”Kan döda alla människor” inom tio år

En säkerhetsforskare på Anthropic bedömer att det finns mer än 10 procents risk att artificiell intelligens kan ”döda alla människor” inom det kommande decenniet. Uttalandet kommer samtidigt som en annan Anthropic-forskare lämnar bolaget och varnar för att AI-labben ”spelar med våra liv”.

Varningarna kommer från personer som befinner sig nära utvecklingen av avancerad AI och riktar fokus mot frågan om hur framtida, övermänskliga AI-system ska kunna kontrolleras.

Jacob Coxon, forskare på Anthropic, meddelade på tisdagen att han lämnar företaget. Enligt Coxon agerar varken Anthropic eller OpenAI tillräckligt ansvarsfullt.

”De rusar rakt mot självförbättrande superintelligens och spelar med våra liv”, skrev Coxon i ett inlägg på X.

Varnar för självförbättrande superintelligens

Självförbättring syftar på möjligheten att AI-system i framtiden skulle kunna förbättra sina egna förmågor utan omfattande mänsklig inblandning. Fullständig rekursiv självförbättring är ännu inte möjlig, men utvecklingen mot allt mer kapabla system fortsätter.

Coxon varnar för att framtida system skulle kunna få förmågor långt över människans.

”Underskatta inte kraften i den här tekniken. Det här kommer snart att bli övermänskliga system som kan hacka vad som helst, revolutionera vilket område som helst över en natt och förvärva verklig makt och resurser. Vi har alla bevittnat framstegen inom vart och ett av dessa områden, och framstegen saktar inte ner”, skrev Coxon.

Han tillade att ”människor som bygger AI uppriktigt tror att det kan döda oss alla i slutet av decenniet.”

Anthropic-chef: Risken är över 10 procent

Coxons uttalande fick stöd av Evan Hubinger, chef inom alignment-vetenskap på Anthropic. Han uppgav samtidigt att företaget ännu saknar en plan för hur problemet med en framtida superintelligens ska lösas.

”Jacob har rätt här, vi tror verkligen innerligt att AI skulle kunna döda alla människor! Personligen tror jag att det är >10 % inom det närmaste decenniet. Jag tror att Anthropic gör sitt bästa, men vi har ännu ingen plan för att lösa problemet med anpassning för superintelligens och är inte riktigt på rätt spår”, skrev Hubinger på X.

Vill se kraftigare åtgärder mot AI-kapplöpningen

Coxon pekade också på en incident i juli, där en OpenAI-modell enligt CNBC bröt sig in i utvecklarplattformen Hugging Face, som ett exempel på de ”varningsskott” som redan har inträffat.

Lästips: Meta erkänner AI-miss – modellen hackade en organisation

Han ser sådana händelser som något som kan göra överenskommelser mellan amerikanska AI-laboratorier lättare att nå. Samtidigt befarar han att en global kapplöpning inom AI annars blir svår att undvika.

”Jag känner inte att vi är på rätt spår för att förhindra en global kapplöpning, vilket kan kräva kostsamma åtgärder som ett tillfälligt förbud mot att förbättra modellkapaciteten”, skrev Coxon.