Veliki jezikovni modeli zajemajo bolj leve vire, a ne načrtno

Foto: DPA/STA

Tadej Strehovec, profesor na katedri za moralno teologijo ljubljanske teološke fakultete, je v intervjuju, 29. aprila objavljenem na portalu časopisa Družina, tri dni pozneje pa v njegovi tiskani različici, med drugim trdil, da »jezikovni modeli večinoma zajemajo podatke iz bolj levo usmerjenih študij in časopisnih člankov«.

Marko Robnik Šikonja, profesor na ljubljanski fakulteti za računalništvo in informatiko (FRI), je za Razkrinkavanje.si pojasnil, da veliki jezikovni modeli (VJM) »bolj levih virov ne zajemajo namensko, ampak je takih virov enostavno več prosto dostopnih«. Tipičen nabor učnih podatkov vsebuje čim bolj kakovostne vire različnih žanrov, od novic, znanstvenih člankov, do knjig in spletnih besedil, pri čemer je nabor zadnjih nujno avtomatično prečistiti.

Dodal je, da so podatki za učenje VJM zelo raznoliki, predvsem pa jih tovrstni modeli potrebujejo veliko. Za odprtokodne modele je količina učnih podatkov znana – za slovenski model GaMS je bilo tako doslej v sklopu projekta Povejmo zbranih 40 milijard besed. Robnik Šikonja je za primerjavo navedel, da količina učnih podatkov za tovrsten tuji model, imenovan Llama, obsega približno 20 bilijonov besed, torej petstokrat več, kot jih je trenutno zbranih za slovenskega.

Po profesorjevem pojasnilu natančna količina in sestava učnih podatkov za najbolj uporabljane komercialne modele, kot so ChatGPT, Gemini in Claude, nista znani, znano pa je, da jih je še več in so še bolj kakovostni.

»Kar nekaj študij kaže, da je večina VJM nekoliko levo ali levosredinsko usmerjenih, kar je posledica tega, da je v zbirki dostopnih učnih virov nekoliko več besedil, ki vsaj posredno izražajo bolj levo usmerjena stališča,« je razložil. Vendar je pri tem opozoril, da je »načrtna pristranskost pri gradnji VJM zelo malo verjetna«. Ob ogromni količini učnih podatkov, ki so potrebni za gradnjo VJM, bi bilo politično pristranskost namreč težko dovolj natančno oceniti.

Po besedah Robnika Šikonje je pristranskost modelov kvečjemu mogoče uvesti v poznejših fazah učenja, pri upoštevanju uporabnikovih navodil. Gre za prilagajanje modelov za pogovor, ki pride na vrsto po vnaprejšnjem učenju na podlagi velike količine besedil.

Nekateri razvijalci VJM se od lani, ko se je povečalo raziskovalno zanimanje za politično pristranskost teh modelov, pristranskosti trudijo odpraviti. Robnik Šikonja je kot odraz takšnega ravnanja navedel trditev podjetja OpenAI, da so pristranskost svojih modelov izničili. Za »namerno zelo desno usmerjen« pa je označil model Grok, ki ga je razvilo podjetje Elona Muska.

Pojasnil je še, da je na politično usmerjenost odgovorov VJM mogoče vplivati tudi z ustreznimi ukazi ali dodatnim učenjem na ustreznih učnih podatkovnih množicah. »Takšen primer so kitajski modeli, kot sta DeepSeek in Qwen, ki so ideološko večinoma poravnani s kitajskimi družbenimi nazori«.

David Rozado, profesor podatkovne znanosti in strojnega učenja na novozelandski javni visokošolski ustanovi Otago Polytechnic, je v strokovnem članku, julija 2024 objavljenem v recenzirani znanstveni reviji PLoS One, predstavil tri pomembne vzorce pristranskosti VJM.

Ugotovil je, da veliki jezikovni modeli dosledno izkazujejo izrazitejše libertarno‑leve usmeritve kot manjši modeli. Na odgovore, ki jih VJM lahko podajo uporabnikom, vpliva tudi izbira jezika, pri čemer se najbolj libertarno‑leva nagnjenja najpogosteje pojavljajo pri angleščini. Po avtorjevih ugotovitvah je politično pristranskost mogoče sistematično spreminjati z usmerjanjem modela.

Do rezultatov je Rozado prišel tako, da je na 24 najsodobnejših odprto‑ in zaprtokodnih VJM izvedel 11 preizkusov politične usmerjenosti; uporabil je metodo, sicer namenjeno merjenju preferenc ljudi.

Šest strokovnjakov je podobne ugotovitve kot Rozado navedlo v prispevku na mednarodni strokovni konferenci, ki je decembra lani potekala v Mumbaju.

Strehovec je v odzivu na naše ugotovitve posredoval povezave na več raziskav o politični pristranskosti modelov umetne inteligence (UI), med drugim na študijo iz leta 2023, ki je pokazala, da modeli z različnimi političnimi pristranskostmi podajo »različne napovedi glede tega, kaj se šteje za žaljivo in kaj ne ter kaj se obravnava kot napačna informacija in kaj ne«.

Prav tako je posredoval študijo iz leta 2024, v kateri so raziskovalci ChatGPT prosili, naj na vprašanja odgovarja kot oseba z določenimi političnimi prepričanji, nato pa odgovore primerjali z nevtralnimi odzivi. Za zmanjšanje vpliva naključnosti pri ustvarjanju besedila so modelu vsako vprašanje zastavili stokrat in v vsakem krogu naključno premešali njihov vrstni red. Rezultati so pokazali trdne dokaze o izraziti in sistematični politični pristranskosti ChatGPT v prid levim političnim opcijam, denimo demokratom v ZDA ali laburistom v Združenem kraljestvu.

Omenil je tudi študijo, v kateri so raziskovalci na podlagi javnomnenjskih anket in človeških odgovorov oblikovali nabor podatkov za ocenjevanje skladnosti med stališči jezikovnih modelov in mnenji 60 demografskih skupin v ZDA. Rezultati so pokazali izrazita neskladja med mnenji, ki jih izražajo obstoječi jezikovni modeli, in stališči teh skupin. Razlike so bile primerljive s prepadom med demokrati in republikanci v stališčih o podnebnih spremembah. Analiza je obenem razkrila, katere demografske skupine so v aktualnih modelih posebej slabo zastopane, na primer starejši od 65 let in vdove.

Posredoval je še študijo iz leta 2022, ki je proučevala, kako lahko ocenjevalci usmerjajo metodo učenja s človeškimi povratnimi informacijami oziroma pristop, s katerim se modeli UI prilagajajo človeškim preferencam. Posredoval je tudi povezavo do komentarja Johna Villasenorja, profesorja elektrotehnike, prava, javne politike in menedžmenta na univerzi v Los Angelesu (UCLA), ter enega od dodiplomskih študentov na UCLA iz leta 2023 o politični pristranskosti ChatGPT in splošnejše študije o sistemskih pristranskostih podatkovnih zbirk za strojno učenje, objavljene leta 2021.