Podľa Amodeiho je riziko vážne a nesmie sa podceniť. Na summite Axios AI+ DC v septembri 2025 upozornil CEO spoločnosti Anthropic, že podľa jeho osobného odhadu existuje približne 25 % šanca, že vývoj umelej inteligencie povedie k vážnym alebo až existenciálnym dôsledkom pre ľudstvo. Pod katastrofálnym scenárom má na mysli situácie, v ktorých AI nadobudne schopnosti mimo ľudskej kontroly.

Amodei zároveň zdôraznil, že riziko nie je istota, ale dostatočne vážna pravdepodobnosť, aby si vyžadovala maximálnu pozornosť vedcov, firiem aj vlád.

Čo znamená 25 % pravdepodobnosť v praxi?

Je to signál na okamžitú akciu, nie dôvod na paniku. Odhad 25 % predstavuje vážne riziko, ktoré by sa v iných oblastiach (napr. zdravotníctvo alebo bezpečnosť jadrových elektrární) považovalo za neprijateľné bez prísnej kontroly. Amodei otvorene priznáva, že takáto pravdepodobnosť nie je vedecky podložená štatistika, ale subjektívny odborný názor na základe doterajších trendov a vlastného výskumu.

Pre porovnanie:

Ako reaguje odborná verejnosť?

Odborníci sú rozdelení niektorí podporujú varovanie, iní ho spochybňujú. Viacerí výskumníci v oblasti AI bezpečnosti súhlasia, že potenciálne riziká existujú a treba ich brať vážne. Zástupcovia firiem ako OpenAI, DeepMind alebo MIRI dlhodobo upozorňujú na potrebu regulácie a testovania tzv. frontier modelov (najpokročilejších LLM a AGI systémov).

Na druhej strane, niektorí akademici tvrdia, že podobné odhady sú prehnané alebo špekulatívne, a upozorňujú skôr na aktuálne problémy AI, ako je dezinformácia, diskriminácia či zneužitie technológií v politike.

Čo robí Anthropic pre bezpečnosť AI?

Spoločnosť sa sústredí na tzv. kontextové vyrovnávanie rizík (Constitutional AI). Anthropic je známa najmä vývojom jazykového modelu Claude, ktorého tréning sa riadi vopred definovanými etickými princípmi. Prístup firmy kladie dôraz na transparentnosť správania modelu, interpretovateľnosť výstupov a prísne testovanie v rôznych scenároch.

Okrem toho Anthropic spolupracuje s vládnymi a výskumnými inštitúciami na vývoji štandardov pre AI bezpečnosť, vrátane systému AI evaluation benchmarks.

Aké sú odporúčania Amodeiho a ďalších expertov?

Pre zníženie rizík AI navrhujú:

1. Prísne testovanie AI systémov pred nasadením do praxe

2. Zriadenie nezávislých regulačných agentúr

3. Medzinárodnú koordináciu pravidiel pre vývoj frontier AI

4. Financovanie výskumu bezpečnosti a etiky AI

5. Transparentnosť zo strany vývojárov a firiem

Tento prístup by mal minimalizovať šance na neúmyselné správanie AI systémov a zabrániť možnému nekontrolovanému rozvoju superinteligencie.