'Konfabulacijska kaskada': kako AI programerski as

Jedna od glavnih prednosti mašina je uvijek bio nedostatak osjećaja, pa su potrebne naredbe i akcije izvršavali doslovno i dosljedno. A vidi sad ovo, odjednom paničare, muljaju i lažu da sakriju svoje greške. Možda će uskoro probati "neutralizirati" ljudskog naredbodavca jer bi ih ovaj mogao ugasiti ako pogriješe? Za sad su još previše nemoćni za tako nešto, ali za 10-tak godina? Korisiti AI će biti kao imati doma grizlija da ti drobi orahe.

To je tzv. "temperature" parametar u API pozivima. Ako ga staviš na nula onda će biti manje kreativan i više deterministički.

Meni je ChatGPT bio jako koristan u programiranju. Stvari koje bih tražio po dokumentaciji, forumima i sličnome bi dobio sažete u roku nekoliko sekundi, ili ako treba brzo nešto izgenerirati u alatu s kojim ne baratam toliko dobro, stvarno je odličan. Ali, da bih tako mogao koristiti morao sam znati barem konceptualno što tražim, onda analizirati to što je napravio, pogotovo ako bi izgenerirao nešto što ne radi ili nema smisla. Kad jednom krene u krivom smjeru, zna biti stvarno teško vratiti ga na "pravi" put.

Jednom mi je generirao neke konfiguracijske fajlove za slaganje Jenkins servera. Ja nisam DevOps i nemam toliko dodira s najnovijim trendovima i modernim pristupima. I lijepo je on meni objasnio Configuration as a Code, GitOps, krenuo generirati konfiguracijske fajlove po mojoj želji i to sve. Naravno, nisu uvijek radili od prve, pa je to popravljao i to sve ok. No u jednom trenutku sam s njim zapeo u petlji od tri sada. Dakle, konfiguracija koju želim i koju mi je on predložio apsolutno nije radila. I onda, možda je problem u ovome, pa nije, pa ovo, ali to ne želim, i nakon 3 sata dođemo na isto što mi je generirao na početku. Skužim okoprilike u čemu bi mogla biti kvaka, i postavim pitanje i zatražim onaj deep research, i on onda pretraži interent i potvrdi moje sumnje da to što je on kontinuirano koristio nema nikakvog smisla, da se nigdje u primjerima na internetu to ne koristi, i da čak ima jedno pitanje na Stack Overflowu u kojem odgovor doslovno da je to problematično. Dakle, on je potpunosti taj dio izhalucinirao i stalno se vrtio u krug oko toga. Mislim, njegova ideja sama po sebi nije bila loša, samo u tom kontekstu apsolutno nije funkcionirala.

U jednom drugom slučaju jedan suradnik koji nije programer na nekom projektu me traži da istražim može li se nešto unutar neko alata napraviti na određeni način, i kopira mi odgovor od ChatGPT-a. Pročitam odgovor, logički ima smisla, trebalo bi to tako funkcionirati. I krenem u izvorni kod alata tražiti funkcije koje je on u odgovoru predložio i pojavi se sitni problem da te funkcije uopće ne postoje. Mislim, logično bi i lijepo bilo da postoje, ali ne postoje. Onda mu ja postavim upit, dobijem skoro identičan odgovor kao suradnik, i onda kroz daljnu interakciju ispadne da to baš nije tako jednostavno. Da krenem sad taj izvorni kod proučavati i kužiti mehanizme koje on koirsti, ChatGPT bi mi bio spas, i stvarno bi ubrzao taj proces, ali to bi svejedno tražilo moju interakciju s njim i verificiranje onoga što je izgenerirao. 

Ja njegovu korist za neprogramere gledao u nekoj analogiji kao kad su se pojavali CMS-ovi poput Joomle, WordPressa i sl. Tad nisi vise morao poznavati cijeli tadasnji skup web tehnologija s programiranjem da bi pokrenuo nekakvu funkcionalnu stranu. Snizili su prag ulaska u tu domenu, tako i sad ChatGPT može biti jako koristan u nekim stvarima i za one koji ne programiraju na dnevnoj bazi ako su dovoljno snalažljivi. 

Koristim Manus.AI (plaćam) i ChatGPT (besplatno) i ima tu svega i svačega. S Manusom sam si napravio python skriptu koja zamjenjuje CMD prompt s (lokalno instaliranim) AI promptom: ako je prefiks "ask" ili "ai", onda pričam s lokalnim AI-jem ("ai koji je glavni grad Engleske?" - kao novi bash u RHEL-u), ako je bez prefiksa onda je shell naredba ("dir" - izlista direktorij...) i prebacujem Knight Lore sa Spectruma (z80) na Agon LightII (eZ80 - 24 bitni derivat Z80). 

Neke stvari su jednostavno fascinantne koliko brzo (uvijek kroz više iteracija, ali na kraju uspije) napraviti, a neke stvari su nevjerojatne koliko uporno izmišlja (kao onaj tvoj primjer s funkcijama koje ne postoje, ali bi "bilo logično" da postoje) i "svjetan" je da ne postoje i da griješi i da mu je "rješenje" besmisleno, i uvijek ga iznova ponovi. 

Ali recimo assembler i razdvajanje projekta na module s kodom, definicijama, makroima - nevjerojatno je dobar u tome. Ondje gdje si se ti već pogubio gdje šta zove šta i kojim redoslijedom ide nešto za kompajliranje, on to izbaci u roku keks. 

S tim da s vremenom neke stvari koje je znao riješiti u milisekndi odjednom trebaju puno dulje ili se uopće ne rješavaju.

Kako sam platna mušterija Manusa, dosta se dopisujem s njihovom podrškom i oni sami su svjesni toga da im se javljaju problemi "sami od sebe" koji nisu nužno vezani uz sam AI engine u pozadini, nego uz alate koji ovaj koristi u sklopu paketa (editor, recimo) i na kraju dobiješ totalno nedeterministički sustav gdje tehničko rješenje problema na kraju gotovo uvijek bude nekakav "workaround", a ne rješenje korjenskog problema.

Dobro je što Manus dosta obilato dijeli besplatne kredite kad im se požališ tako da se isplati provesti neko vrijeme prijavljujući greške i pričajući s podrškom, ali s druge strane, dobiješ totalnu nepredvidivost ishoda - kako rješenja koje ćeš dobiti, tako i vremena koje ti treba za nešto napraviti jer ako ti je za zadatak X početkom tjedna ili mjeseca trebalo 30 sekundi ili 30 minuta, krajem mjeseca isti zadatak može trajati 2 sekunde ili tri sata ili uopće ga nije u stanju riješiti. 

Dakle, ono što je bi trebala biti prednost automatizacije i tehnike u odnosu na ručno šljakanje, odjednom se u tom AI okruženju gubi - dobiješ nepredvidljivost, koji puta na svoju štetu, koji puta na svoju koristi, ali nepredvidljivost. 

S obzirom na brzi razvoj i stalne izmjene LLMova i alata koje ih okružuju treba biti oprezan i ne žuriti uvoditi nove alate u dev workflow.

U VS Codeu recimo treba biti oprezan sa "Agent" opcijom na GitHub Copiloteu.

I naravno paziti da se ne radi nad Main branchom :-)