Poľský jazyk prekvapivo porazil angličtinu v schopnosti efektívne komunikovať s umelou inteligenciou. Výskum realizovaný Marylandskou univerzitou v Baltimore a spoločnosťou Microsoft ukázal, že pri zadávaní príkazov AI tzv. promptovaní si jazyk našich severných susedov počína najlepšie spomedzi 26 skúmaných jazykov.

V teste nazvanom OneRuler poľština dosiahla presnosť 88 %, čím prekonala aj tradične dominantnú angličtinu (83,8 %). Výsledky sú o to prekvapujúcejšie, že veľké jazykové modely sú zvyčajne trénované predovšetkým na dátach v angličtine a čínštine.

Ako výskum prebiehal a čo modely hodnotili?

Benchmark OneRuler hodnotil veľké jazykové modely (LLM) na základe ich schopnosti:

• pracovať s dlhými textovými vstupmi (od 8 000 do 128 000 tokenov),

• vyhľadávať informácie v rámci kontextu,

• agregovať odpovede zo zložitých dokumentov.

Test zahŕňal 7 typov úloh, pričom sa porovnávali jazyky s rôznou dostupnosťou dát. Výsledky ukázali, že dlhší text zvyšuje výkonnostný rozdiel medzi tzv. vysoko zdrojovými jazykmi (európske jazyky) a nízko zdrojovými (napr. swahilčina či sothčina).

Čo robí poľštinu takou efektívnou pri práci s AI?

Výskumníci sa domnievajú, že poľština má niekoľko jazykových vlastností, ktoré pomáhajú AI lepšie porozumieť zámeru používateľa:

• Presná gramatická štruktúra a ohybnosť slov

• Jasne definované vetné členy

• Bohatý systém pádov, ktorý znižuje jazykovú nejednoznačnosť

Tieto faktory môžu pomôcť AI modelom lepšie interpretovať otázky, sledovať význam naprieč dlhým textom a znižovať chybovosť v odpovediach.

Ako ovplyvnia tieto zistenia budúci vývoj AI?

Výsledky benchmarku OneRuler naznačujú, že:

1. Angličtina nemusí byť vždy najlepšia voľba pri návrhu AI rozhraní

2. Vývojári by mali testovať AI v rôznych jazykoch pre vyššiu presnosť

3. Nízkozdojové jazyky potrebujú viac podpory pri trénovaní modelov

Pre podniky a vývojárov to znamená, že lokalizácia promptov do vhodnejšieho jazyka môže zlepšiť výkonnosť modelov aj v praktickom nasadení – napríklad pri analýze zmlúv, e-mailovej komunikácii alebo automatickej sumarizácii.

Zaujímavosti a doplňujúce informácie

• Promptovanie v poľštine viedlo k menšiemu množstvu halucinácií (nepresných odpovedí).

• Čínština napriek svojej dominancii v dátach skončila na 23. mieste.

• Štúdia potvrdzuje dôležitosť multilingválnych benchmarkov väčšina predchádzajúcich testov bola založená výlučne na angličtine.

Záver

Poľština sa v novom AI benchmarku ukázala ako najefektívnejší jazyk na prácu s veľkými jazykovými modelmi. Pre Slovensko, Česko či ďalšie krajiny strednej a východnej Európy ide o pozitívny signál: ani menší jazyk nemusí byť prekážkou, ale výhodou, pokiaľ je správne formulovaný a štruktúrovaný.

Firmy, ktoré pracujú s AI, by mali túto skutočnosť zohľadniť pri vývoji lokalizovaných riešení a začať testovať svoje nástroje v rôznych jazykových variantoch, nie len v angličtine.