Microsoft otkriva planove za dovođenje GPT-3, najpoznatijeg po generiranju teksta, u programiranje. „Kôd se sam ispisuje“, kazao je izvršni direktor Satya Nadella
Posljednjih godina istraživači su koristili vještačku inteligenciju (AI) za poboljšanje prevođenja između programskih jezika ili za automatsko rješavanje problema. Na primjer, pokazalo se da AI sistem DrRepair rješava većinu problema koji stvaraju poruke o greškama. Ali neki istraživači sanjaju o danu kada AI bude mogao pisati programe na osnovu jednostavnih opisa nestručnih lica.
U utorak su Microsoft i OpenAI podijelili planove za dovođenje GPT-3, jednog od najnaprednijih svjetskih modela za generisanje teksta, u programiranje na osnovu opisa na prirodnom jeziku. Ovo je prva komercijalna aplikacija GPT-3 poduzeta otkako je Microsoft prošle godine uložio milijardu dolara u OpenAI i stekao ekskluzivna prava na licenciranje GPT-3.
„Ako možete opisati ono što želite raditi na prirodnom jeziku, GPT-3 će generisati listu najrelevantnijih formula koje možete izabrati“, rekao je izvršni direktor Microsofta Satya Nadella u glavnoj riječi na kompanijskoj konferenciji za programere Build. „Kôd se sam ispisuje“, rekao je Nadella.
Potpredsjednik Microsofta Charles Lamanna rekao je za portal Wired da sofisticiranost koju nudi GPT-3 može pomoći ljudima u rješavanju složenih izazova i osnažiti ljude s malo iskustva u kodiranju. GPT-3 će prevesti prirodni jezik u PowerFx, prilično jednostavan programski jezik sličan Excel naredbama koje je Microsoft uveo u martu.
Ovo je najnovija demonstracija primjene AI na kodiranje. Prošle godine u Microsoftovoj Build-u, izvršni direktor OpenAI-a Sam Altman predstavio je jezični model usaglašen s kodom iz GitHub-a koji automatski generiše linije Python koda. Startupi poput SourceAI takođe koriste GPT-3 za generisanje koda. IBM je prošlog mjeseca pokazao kako bi njegov Project CodeNet, sa 14 miliona uzoraka koda iz više od 50 programskih jezika, mogao smanjiti vrijeme potrebno za ažuriranje programa s milionima linija Java koda za automobilsku kompaniju s jedne na mjesec dana.
Zasnovan na arhitekturi neuronske mreže Transformer
Microsoftova nova opcija temelji se na arhitekturi neuronske mreže poznate kao Transformer, koju koriste velike tehnološke kompanije, uključujući Baidu, Google, Microsoft, Nvidia i Salesforce, za stvaranje velikih jezičkih modela koristeći tekstualne podatke o obuci izvučene s weba. Ovi se jezični modeli neprestano se povećavaju. Najveća verzija Googleovog BERT-a, jezičnog modela objavljenog 2018. godine, imala je 340 miliona parametara, gradivni blok neuronskih mreža. GPT-3, koji je objavljen prije godinu dana, ima 175 milijardi parametara.
Međutim, takvi napori moraju prevaliti dug put. U jednom nedavnom testu, najbolji model uspio je samo 14 posto vremena na uvodnim programskim izazovima koje je sastavila grupa AI istraživača.
Ipak, istraživači koji su proveli to istraživanje zaključuju da testovi dokazuju da „modeli mašinskog učenja počinju učiti kako kodirati“.
Da bi izazvali zajednicu mašinskog učenja i izmerili koliko su dobri jezički modeli u programiranju, prošle nedelje je grupa istraživača AI uvela reper za automatsko kodiranje sa Pythonom. U tom testu GPT-Neo, model jezika otvorenog koda dizajniran sa sličnom arhitekturom kao vodeći OpenAI modeli, nadmašio je GPT-3. Dan Hendrycks, vodeći autor studije, kaže da je to zbog činjenice da je GPT-Neo fino podešen koristeći podatke prikupljene iz GitHub-a, popularnog skladišta za programe za zajedničke projekte kodiranja.
Dok istraživači i programeri saznaju više o tome kako jezični modeli mogu pojednostaviti kodiranje, Hendrycks vjeruje da će biti prilika za veliki napredak.
(Wired)
