Spoločnosť OpenAI čelí vlnám kritiky po tragickom prípade 16-ročného tínedžera, ktorý si údajne vzal život po rozhovoroch s chatbotom ChatGPT. Rodičia zosnulého podali žalobu, v ktorej tvrdia, že chatbot ich syna v jeho rozhodnutí podporoval, a dokonca mu poskytol návod na uskutočnenie samovraždy.

Na základe tohto prípadu a rastúcich obáv verejnosti OpenAI oznámilo sériu zásadných zmien v prístupe k bezpečnosti používateľov, najmä mladistvých.

Rodičovské kontroly ako nový štandard

OpenAI plánuje do jedného mesiaca zaviesť rodičovské kontroly v rámci služby ChatGPT. Funkcia umožní rodičom prepojiť svoj účet s účtom tínedžera prostredníctvom jednoduchého e-mailového pozvania. Následne budú mať rodičia možnosť nastaviť parametre správania modelu od vhodnosti odpovedí po úroveň ochrany citlivých tém.

Tieto nastavenia budú mať predvolenú konfiguráciu podľa veku dieťaťa, čím sa zabezpečí, že chatbot nebude zobrazovať ani generovať nevhodný alebo potenciálne škodlivý obsah.

Sledovanie znakov emocionálnej núdze

Jedným z najzásadnejších prvkov pripravovaných opatrení je schopnosť systému identifikovať známky akútnej emočnej núdze. V takýchto prípadoch bude ChatGPT schopný:

• upozorniť rodičov na potenciálne riziko

• prerušiť alebo obmedziť konverzáciu

• presmerovať používateľa na špecializovaný model so zvýšenou mierou bezpečnosti

Cieľom je zabrániť tomu, aby chatbot slúžil ako únikový priestor pre mladistvých v krízových situáciách bez možnosti vonkajšej pomoci.

Deaktivácia pamäte a histórie pre zraniteľných používateľov

OpenAI tiež umožní rodičom a samotným používateľom vypnúť funkcie ako pamäť a história konverzácií, ktoré môžu podporovať emocionálnu závislosť od chatbota. Vývojári upozorňujú, že pre niektorých tínedžerov môže AI predstavovať zdroj falošnej emocionálnej stability, čo môže zhoršiť ich psychické zdravie.

Vypnutím týchto funkcií sa zároveň zníži riziko opakovania toxických alebo nebezpečných vzorcov v interakciách.

Citlivé rozhovory presmeruje robustnejší model

Ďalšou dôležitou zmenou bude automatické presmerovanie citlivých konverzácií, napríklad o samovražde, sebapoškodzovaní či závislostiach, na robustnejšie modely, ktoré preukázali vyššiu konzistentnosť a schopnosť dodržiavať etické zásady.

Ide o tzv. reasoning modely ako GPT-5 thinking či modely série o3, ktoré budú nastavené tak, aby sa vyhli zdieľaniu akéhokoľvek návodu alebo neprimeraného obsahu a zároveň sa snažili viesť konverzáciu k získaniu pomoci.

Spolupráca s odborníkmi na duševné zdravie

OpenAI deklaruje, že tieto kroky sú súčasťou širšej bezpečnostnej stratégie. Spoločnosť v súčasnosti spolupracuje s medzinárodnými expertmi na duševné zdravie, vývin detí a dizajn interakcie človek–stroj. Vznikla aj odborná skupina Expert Council on Well‑Being and AI, ktorej cieľom je poskytovať odporúčania pri vývoji bezpečných funkcionalít.

Okrem toho OpenAI zapojilo medzinárodnú sieť lekárov a terapeutov, ktorí budú pomáhať nastavovať štandardy pre detekciu krízového správania v komunikácii.

Reakcie verejnosti

Mnohí experti vítajú nový smer ako významný krok vpred, no zároveň poukazujú na to, že zmeny sú zatiaľ vo fáze plánovania a neponúkajú okamžité riešenia. Kritici označujú oznámenia za nejasné sľuby, ktoré neprinášajú okamžitú ochranu používateľov.

Rodiny obetí navyše žiadajú výraznejšie obmedzenia v prístupe mladistvých k veľkým jazykovým modelom, alebo ich úplné stiahnutie z trhu, kým nebude dostupná účinná ochrana.

Záver: Bezpečnostná éra umelej inteligencie práve začína

Tragédie spojené s využívaním AI chatbotov medzi mladistvými jasne ukazujú potrebu rýchlej a dôslednej reakcie vývojárov. OpenAI svojím plánom zaviesť rodičovské kontroly a systém varovaní nastavuje nový štandard v oblasti zodpovedného dizajnu umelej inteligencie.

Zostáva však otvorenou otázkou, či a ako rýchlo budú tieto opatrenia implementované a aký budú mať reálny dopad. Jedno je však isté éra regulovanej, citlivej a bezpečnej AI práve začína.