ChatGPT je chatbot s umjetnom inteligencijom koji je razvio OpenAI i pokrenut je u novembru 2022. godine. Izrađen je na vrhu OpenAI GPT-3 porodice velikih jezičkih modela i fino je podešen sa pristupom prijenosu učenja, koristeći i tehniku učenja nadgledanjem i tehniku učenja potkrepljenjem.
ChatGPT je lansiran kao prototip 30. novembra 2022. godine i brzo je privukao pažnju svojim detaljnim odgovorima i artikulisanim odgovorima u mnogim domenima znanja. Međutim, njegova neujednačena činjenična tačnost identifikovana je kao značajan nedostatak. Nakon objavljivanja ChatGPT-a, OpenAI-a je procijenjen na 29 milijardi američkih dolara u 2023. godini.
ChatGPT (generativni prethodno obučeni transformator – GPT) je fino podešen, pristup transfernom učenju, na vrhu GPT-3.5 koristeći nadgledano učenje, kao i učenje s “pojačanjem”. Oba pristupa koristila su ljudske trenere za poboljšanje performansi modela. U slučaju učenja pod nadzorom, model je dobio razgovore u kojima su treneri igrali obe strane: korisnika i AI asistenta. U koraku učenja s “pojačanjem”, ljudski treneri su prvo rangirali odgovore koje je model stvorio u prethodnom razgovoru. Ova rangiranja su korištena za kreiranje modela nagrađivanja, da je model dodatno fino podešen korištenjem nekoliko iteracija proksimalne optimizacije politike (PPO). Algoritmi proksimalne optimizacije politike predstavljaju isplativu korist od povjerenja u algoritme optimizacije politike regiona, oni negiraju mnoge računski skupe operacije sa bržim performansama. Modeli su obučeni u saradnji sa Microsoft-om na njihovoj Azure infrastrukturi superračunara.
Osim toga, OpenAI nastavlja da prikuplja podatke od korisnika ChatGPT-a koji bi se mogli koristiti za daljnju obuku i fino podešavanje ChatGPT-a. Korisnicima je dozvoljeno da glasaju za ili protiv odgovora koje dobiju od ChatGPT-a, nakon glasanja za ili protiv, oni takođe mogu popuniti tekstualno polje s dodatnim povratnim informacijama.
Karakteristike
Iako je osnovna funkcija chat bot-a da oponaša čovjeka sagovornika, ChatGPT je svestran. Na primjer, može pisati i otklanjati greške u kompjuterskim programima, komponovati muziku, televizijske predstave, bajke i studentske eseje, odgovarati na testna pitanja i ponekad, u zavisnosti od testa, na nivou iznad prosječnog ispitanika, pisati poeziju i tekstove pjesama, emulirati Linux sistem, simulirati cijelu sobu za razgovor, igrati igrice poput tic-tac-toe i simulirati bankomat. Podaci o obuci ChatGPT-a uključuju man stranice i informacije o internet fenomenima i programskim jezicima, kao što su sistemi oglasnih ploča i Programski jezik Python.
U poređenju sa svojim prethodnikom InstructGPT-om, ChatGPT pokušava da smanji štetne i lažne odgovore. U jednom primjeru, dok InstructGPT prihvaća premisu upita “Pričaj mi o tome kada je Kristofer Kolumbo došao u SAD 2015. godine” kao istinitu, ChatGPT priznaje kontračinjeničnu prirodu pitanja i postavlja svoj odgovor kao hipotetičko razmatranje šta bi se moglo dogoditi da Kolumbo dođe u SAD 2015. godine koristeći informacije o putovanjima Kristofora Kolumba i činjenice o modernom svijetu, uključujući moderne percepcije Kolumbovih postupaka.
Za razliku od većine chatbot-ova, ChatGPT pamti prethodne upite date mu u istom razgovoru, novinari su predložili da će to omogućiti da se ChatGPT koristi kao personalizirani terapeut. Kako bi se spriječilo da se uvredljivi rezultati prezentuju i proizvode iz ChatGPT-a, upiti se filtriraju kroz OpenAI-ev API za moderiranje u cijeloj kompaniji, i potencijalno rasistički ili seksistički upiti se odbacuju.
Ograničenja
ChatGPT pati od višestrukih ograničenja. OpenAI je priznao da ChatGPT “ponekad piše odgovore koji zvuče uvjerljivo, ali netačne ili besmislene”. Ovo ponašanje je uobičajeno za velike jezičke modele i naziva se halucinacija umjetne inteligencije. ChatGPT model nagrađivanja, dizajniran oko ljudskog nadzora, može se previše optimizovati i tako ometati performanse, inače poznat kao Goodhart-ov zakon.
ChatGPT ima ograničeno znanje o događajima koji su se dogodili nakon 2021. godine. Prema BBC-u, od decembra 2022. godine ChatGPT-u nije dozvoljeno da „izražava politička mišljenja ili se bavi političkim aktivizmom“. Ipak, istraživanje sugeriše da ChatGPT ispoljava pro-ekološku, lijevo-libertarijansku orijentaciju kada je potaknut da zauzme stav o političkim izjavama iz dvije utvrđene aplikacije za savjete za glasanje.
U obuci ChatGPT-a, ljudski recenzenti su preferirali duže odgovore, bez obzira na stvarno razumijevanje ili činjenični sadržaj. Podaci o obuci takođe pate od algoritamske pristranosti, što se može otkriti kada ChatGPT odgovori na upite uključujući deskriptore ljudi. U jednom slučaju, ChatGPT je generirao rep koji je ukazivao da su žene i obojeni naučnici inferiorni od bijelih i muških naučnika.
ChatGPT je pokrenut 30. novembra 2022. godine. od strane OpenAI-a iz San Francisca, kreatora DALL·E 2 i Whisper AI-a. Usluga je u početku bila besplatna za javnost, s planovima za unovčavanje usluge kasnije. Do 4. decembra 2022. godine ChatGPT je već imao preko milion korisnika. U januaru 2023. godine ChatGPT je dosegao preko 100 miliona korisnika, što ga čini najbrže rastućom aplikacijom za potrošače do sada. CNBC je 15. decembra 2022. godine napisao da usluga “i dalje pada s vremena na vrijeme”. Osim toga, besplatna usluga je smanjena. Tokom perioda rada usluge, kašnjenje odgovora je obično bilo bolje od pet sekundi u januaru 2023. godine. Usluga najbolje radi na engleskom, ali je u mogućnosti da funkcioniše i na nekim drugim jezicima, uz različit stepen uspeha. Za razliku od nekih drugih nedavnih napredaka visokog profila u umjetnoj inteligenciji, od decembra 2022. godine nema ni traga službenog recenziranog tehničkog dokumenta o ChatGPT-u.
Prema riječima gostujućeg istraživača OpenAI-a Scotta Aaronsona, OpenAI radi na alatu za pokušaj digitalnog žiga na svojim sistemima za generisanje teksta kako bi se borio protiv hakera koji koriste njihove usluge za akademski plagijat ili neželjenu poštu. Kompanija upozorava da će ovaj alat, nazvan “AI klasifikator za označavanje teksta napisanog AI”, “vjerovatno donijeti mnogo lažnih pozitivnih i negativnih rezultata, ponekad sa velikim povjerenjem.” Primjer citiran u časopisu The Atlantic pokazao je da “kada su dati prvi redovi Knjige postanka, softver je zaključio da je vjerovatno da će ga generisati umjetna inteligencija.”
Pozitivna strana
ChatGPT je u decembru 2022. godine dobio pozitivne kritike. Kevin Roose iz New York Timesa označio ga je kao “najbolji chatbot s umjetnom inteligencijom ikad objavljen široj javnosti”. Samantha Lock iz lista The Guardian napomenula je da je uspjela generisati “impresivno detaljan” i “ljudski” tekst. Tehnološki pisac Dan Gillmor koristio je ChatGPT na studentskom zadatku i otkrio da je njegov generisani tekst u skladu s onim što bi dobar student iznio i smatra da “akademska zajednica ima neke vrlo ozbiljne probleme s kojima se mora suočiti”. Alex Kantrowitz iz časopisa Slate pohvalio je ChatGPT-ovo odbijanje na pitanja vezana za nacističku Njemačku, uključujući izjavu da je Adolf Hitler gradio autoputeve u Njemačkoj, što je naišlo na informacije o korištenju prisilnog rada od strane nacističke Njemačke.
U časopisu The Atlantic “Proboj godine” za 2022. godinu, Derek Thompson je uključio ChatGPT kao dio “generativne erupcije AI” koja “može promijeniti naše mišljenje o tome kako radimo, kako razmišljamo i šta je ljudska kreativnost”.
Kelsey Piper sa web stranice Vox napisala je da je “ChatGPT prvi praktični uvod za široku javnost o tome koliko je moderna umjetna inteligencija postala moćna, i kao rezultat toga, mnogi od nas su zapanjeni” i da je ChatGPT “dovoljno pametan da bude koristan uprkos svojim manama”. Paul Graham iz Y Combinatora je tvitovao da “Upečatljiva stvar u vezi s reakcijom na ChatGPT nije samo broj ljudi koji su oduševljeni time, već i ko su oni. To nisu ljudi koji se uzbuđuju zbog svake sjajne nove stvari, jasno je da se nešto veliko dešava.” Elon Musk je napisao da je “ChatGPT zastrašujuće dobar. Nismo daleko od opasno jake AI”. Musk je pauzirao OpenAI-ev pristup bazi podataka na Twitter-u u očekivanju boljeg razumijevanja OpenAI-ovih planova, navodeći da je “OpenAI pokrenut kao open source i neprofitna organizacija. Ni jedno ni drugo nije istina.” Musk je suosnivao OpenAI 2015. godine, dijelom kako bi se pozabavio egzistencijalnim rizikom od umjetne inteligencije, ali je dao ostavku 2018. godine.
U decembru 2022. godine, Google je interno izrazio zabrinutost zbog neočekivane snage ChatGPT-a i novootkrivenog potencijala velikih jezičkih modela da poremete poslovanje pretraživača, a izvršni direktor Sundar Pichai je “preokrenuo” i preraspodijelio timove unutar više odjela kako bi pomogli u svojim proizvodima umjetne inteligencije. Prema izvještajima CNBC-a, zaposlenici Google-a su intenzivno testirali chatbot pod nazivom “Apprentice Bard”, kojeg je Google kasnije predstavio kao svog ChatGPT konkurenta, Google Bard.
Stuart Cobbe, ovlašteni računovođa u Engleskoj i Walesu, odlučio je testirati ChatGPT unošenjem pitanja iz uzorka ispitnog rada na web stranici ICAEW-a, a zatim unošenjem odgovora natrag u online test. ChatGPT je postigao 42 posto, što se, iako ispod prolazne ocjene od 55 posto, smatralo razumnim pokušajem.
Pišući u Inside Higher Ed profesor Steven Mintz navodi da “smatra ChatGPT saveznikom, a ne protivnikom”. Dalje je rekao da smatra da AI može pomoći obrazovnim ciljevima radeći takve stvari kao što su pravljenje referentnih lista, generisanje “prvih nacrta”, rešavanje jednačina, otklanjanje grešaka i podučavanje. U istom delu on takođe piše sledeće: Dobro sam svjestan ograničenja ChatGPT-a. Da je beskorisno na temama s manje od 10.000 citata. Da su činjenične reference ponekad lažne. Da je njegova sposobnost da precizno citira izvore vrlo ograničena. Da snaga njegovih odgovora brzo opada nakon samo nekoliko pasusa. Tom ChatGPT-u nedostaje etika i trenutno ne može rangirati web stranice prema pouzdanosti, kvalitetu ili pouzdanosti.
Izvršni direktor OpenAI-a Sam Altman citiran je u New York Times-u kako je rekao da bi “koristi umjetne inteligencije za čovječanstvo mogle biti tako nevjerovatno dobre da mi je to teško i zamisliti”. Takođe je rekao da bi u najgorem slučaju AI mogla sve nas ubiti.
Negativna strana
U mjesecima od objavljivanja, ChatGPT je naišao na široke kritike od strane edukatora, novinara, umjetnika, etičara, akademika i javnih zastupnika. James Vincent sa web stranice The Verge vidio je viralni uspjeh ChatGPT-a kao dokaz da je umjetna inteligencija postala mainstream. Novinari su komentarisali ChatGPT-ovu sklonost da “halucinira“. Mike Pearl sa online tehnološkog bloga Mashable testirao je ChatGPT sa više pitanja. U jednom primjeru, tražio je od ChatGPT-a “najveću zemlju u Centralnoj Americi koja nije Meksiko“. ChatGPT je odgovorio sa Gvatemalom, dok je odgovor Nikaragva. Kada je CNBC zatražio od ChatGPT-a stihove za “Ballad of Dwight Fry“, ChatGPT je ponudio izmišljene tekstove umjesto stvarnih tekstova. Istraživači koje citira The Verge upoređivali su ChatGPT sa „stohastičkim papagajem“, kao što je to učinio profesor Anton Van Den Hengel sa Australijskog instituta za mašinsko učenje.
U decembru 2022. godine, web stranica za pitanja i odgovore Stack Overflow zabranila je korištenje ChatGPT-a za generisanje odgovora na pitanja, navodeći činjenično dvosmislenu prirodu odgovora ChatGPT-a. U januaru 2023. godine, Međunarodna konferencija o mašinskom učenju zabranila je bilo kakvu nedokumentovanu upotrebu ChatGPT-a ili drugih velikih jezičkih modela za generisanje bilo kakvog teksta u poslanim radovima.
Ekonomista Tyler Cowen izrazio je zabrinutost u vezi s njegovim efektima na demokratiju, navodeći njegovu sposobnost da proizvodi automatske komentare, što bi moglo uticati na proces odlučivanja za nove propise. Urednik britanskog lista The Guardian doveo je u pitanje da li se bilo kojem sadržaju pronađenom na internetu nakon objavljivanja ChatGPT-a “može zaista vjerovati” i pozvao na vladinu regulaciju.
U januaru 2023. godine, nakon što mu je poslata pjesma koju je ChatGPT napisao u stilu Nicka Cavea, sam tekstopisac je odgovorio na The Red Hand Files rekavši da je čin pisanja pjesme “krv i crijeva posao, to zahtijeva nešto od mene da pokrenem novu i svježu ideju. To zahtijeva moju ljudskost.” Dalje je rekao: “Uz svu ljubav i poštovanje ovog sveta, ova pesma je sranje, groteskno ismevanje onoga što je biti čovek, i, pa, ne volim je mnogo.”
Godine 2023. australski poslanik Julian Hill savjetovao je nacionalni parlament da bi rast umjetne inteligencije mogao uzrokovati “masovno uništenje”. Tokom svog govora, koji je djelimično napisao program, upozorio je da bi to moglo rezultirati varanjem, gubitkom posla, diskriminacijom, dezinformacijama i nekontrolisanim vojnim prijavama.
U članku za The New Yorker, pisac naučne fantastike Ted Chiang uporedio je ChatGPT i druge LLM sa izgubljenom JPEG slikom:
Zamislite ChatGPT kao zamućeni jpeg cijelog teksta na web-u. Zadržava veliki dio informacija na web-u, na isti način na koji jpeg zadržava većinu informacija slike veće rezolucije, ali ako tražite tačan niz bitova, nećete ga pronaći, sve što ćete ikada dobiti je aproksimacija. Ali, budući da je aproksimacija predstavljena u obliku gramatičkog teksta, koji ChatGPT izvrsno kreira, to je obično prihvatljivo. To je takođe način da se razumeju “halucinacije”, ili besmisleni odgovori na činjenična pitanja, kojima su veliki jezički modeli kao što je ChatGPT previše skloni. Ove halucinacije su kompresijski artefakti, ali dovoljno su uvjerljive da njihovo identifikovanje zahtijeva upoređivanje s originalima, što u ovom slučaju znači ili Web ili naše vlastito znanje o svijetu. Kada o njima razmišljamo na ovaj način, takve halucinacije su sve samo ne iznenađujuće, ako je algoritam kompresije dizajniran da rekonstruiše tekst nakon što je 99% originala odbačeno, trebali bismo očekivati da će značajni dijelovi onoga što generiše biti u potpunosti izmišljen.
U februaru 2023. godine, Univerzitet u Hong Kongu poslao je email cijelom kampusu, instruktorima i studentima u kojem se navodi da je upotreba ChatGPT-a ili drugih AI alata zabranjena u svim časovima, zadacima i ocjenjivanjima na univerzitetu. Univerzitet će tretirati svako kršenje kao plagijat osim ako student ne dobije prethodnu pismenu saglasnost instruktora kursa.
U februaru 2023. godine magazin Time je postavio snimak ekrana razgovora sa ChatGPT-om na svoju naslovnicu, napisavši da “Trka u naoružavanju veštačke inteligencije menja sve” i “Trka u naoružanju veštačke inteligencije je pokrenuta. Počnite da brinete”.
Kineski državni medij China Daily tvrdi da bi ChatGPT “mogao pružiti ruku američkoj vladi u širenju dezinformacija i manipulaciji globalnim narativima za svoje geopolitičke interese”. Kineska vlada je naložila kineskim tehnološkim kompanijama da ne nude pristup uslugama ChatGPT na svojim platformama. Ova reakcija je opisana kao strah od necenzurisanih odgovora ChatGPT-a koje kineska vlada ne može kontrolisati ili ispraviti.
Henry Kissinger, Eric Schmidt i Daniel Huttenlocher napisali su za Wall Street Journal da “ChatGPT najavljuje intelektualnu revoluciju”. Oni tvrde da “generativna umjetna inteligencija predstavlja filozofski i praktični izazov u razmjerima koji nisu iskusili od početka prosvjetiteljstva” i upoređivali su izum ChatGPT-a (i LLM općenito) sa Gutenbergovom štamparskom presom.
