Četrdeset dva posto koda koji ulazi u zajedničke repozitorije danas dolazi od AI alata. Devedeset šest posto programera tom kodu ne vjeruje potpuno.
Brojke su iz ankete koju je Sonar proveo među više od 1100 programera, a prenosi ih IEEE Spectrum u pregledu objavljenom 8. rujna. U struci se za to udomaćio izraz AI slop: kod koji na prvi pogled izgleda ispravno, a nosi pogrešne pretpostavke, sigurnosne rupe i greške koje se pokažu tek kad sve već radi u produkciji.
Trideset osam posto ispitanika kaže da pregled strojno napisanog koda traži više truda nego pregled ljudskog. Njih 61 posto da alat često proizvede kod koji izgleda točno, a nije pouzdan.
Prvo specifikacija, pa alat
Tvrtke koje Spectrum navodi, među njima Synthesia, Amazon, IBM, Temporal i Bonterra, mijenjaju način rada na sličan način. Specifikacija se piše prije nego alat išta napiše. Prvu provjeru radi poseban agent. Rizične izmjene idu ljudima.
Od programera se traži i da naglas objasni zašto je kod riješen baš tako. To je najbrži način da se vidi razumije li uopće što je predao.
„Ne znam hoćemo li ikad doći do točke u kojoj se agentski napisanom kodu može stvarno vjerovati", kaže Peter Hill, tehnički direktor Synthesije. Samar Abbas, direktor Temporala, kaže da neće dopustiti da pregled koda postane odlagalište neprovjerenog izlaza modela.
Juniori koji nikad neće postati seniori
Najoštriju primjedbu daje Tanuja Korlepra iz Bonterre: ako industrija prestane zapošljavati juniore, prestat će proizvoditi seniore. Poslove na kojima su mlađi programeri učili zanat sada radi alat, a za pregled tog rada treba iskustvo koje se stjecalo upravo tim poslovima.
Postoci pritom dolaze iz ankete, dakle iz onoga što programeri kažu o sebi, ne iz mjerenja koda. Tvrdnja da strojni kod ima više grešaka nigdje nije potkrijepljena neovisnim brojem kvarova. Podatak da CodeRabbit obavlja dva milijuna pregleda tjedno za 17.000 klijenata dolazi od same tvrtke.
Odgovor će dati tek podaci o incidentima u produkciji. Dok njih nema, cijeli se spor vodi na anketama.
