Programeri često prihvaćaju generativni AI (genai) jer im pomaže Kod bržeIpak, alat ima potencijal izložiti organizacije koje nisu odgovorne za rizike – posebno ako je upotreba neovlaštena ili zanemarena najbolja praksa.
“S Genaijem, vidimo i nevjerojatne rezultate i zapanjujuće glupe rezultate za isti Dev tim, a to nam govori da imamo posla na procesu i stranu alata”, kaže David Colwell, potpredsjednik AI i Strojno učenje (ML) u dobavljaču testnih automatizacija, Tricentis. “Moje osobno mišljenje je da AI može biti Dunning-Kruger efekt utjeloviti. “
Dunning-Kruger efekt je prirodna kognitivna pristranost; Što manje vještine ili znanja o određenoj temi, veća je vjerojatnost da ćete precijeniti kompetenciju u tom području.
Neki članovi tima s prosječnom količinom vještine mogli bi pregledati dio koda i misle da to izgleda u redu. Istinski stručnjaci, s druge strane, mogu pogledati isti kod i vidjeti izgradnju punu sigurnosnih ranjivosti, loših paketa i drugih pitanja, objašnjava Colwell.
Način na koji se bavite time i izbjegavajte rizik od više novih vrsta pogrešaka koje prije niste vidjeli može biti izazovan. Alat je dostupan, ali prvo vam trebaju snažna sigurnosna politika, snažne i prisilne prakse i procese koji osiguravaju upravljanje. A budući da Genai može brže stvoriti kod, organizacije se mogu boriti za testiranje dovoljno da bi bile u toku s stopom proizvodnje koda.
U 2025 anketiranje od Tricentisa, oko 63% od 2.700 vođa – uglavnom rukovoditelja, menadžera i IT profesionalaca – anketirano je priznalo da je otprema neprovjereni kodeks, a 90% je ukazalo na povjerenje Genaiu za donošenje odluka o oslobađanju softvera.
Sadržaj objave
Obrana od površno impresivnih rezultata
Manje poznati članovi tima mogu se tražiti Genaj alati za izradu aplikacije za određeni zadatak. Rezultirajući kôd može biti površno impresivan ako nemate pojma o problemima koje bi mogao sadržavati.
Kao prvo, razvoj softvera, temeljen na AI ili ne, mora biti siguran postupak. Ako počinite kôd, on mora proći sigurnosna skeniranja, provjere provjere valjanosti, dinamička skeniranja i ostalo. Međutim, ne možete u potpunosti ukloniti pogreške u kodu – “kod koji u njemu ima glupost”, potvrđuje Colwell.
Jedan primjer za to može biti ako korisnik aplikacije ili web stranice s ograničenom dobnom ograničenom dob je mlađi od 18 godina, ali kôd ne uskrati pristup na određenim ulaznim točkama ili ako korisnik slučajno klikne pogrešan gumb ili na neki drugi način ponudi pogrešan odgovor. Takve jednostavne pogreške moraju se provjeriti svaki put jer su česte. Međutim, sav kôd mora proći procese pregleda i provjere valjanosti. Sve treba nadzor.
Naravno, ključna je dokumentacija o tome što timovi rade. I donekle, AI testiranje, alati za praćenje mreže i zaostalo upravljanje AI-om mogu pomoći u otkrivanju problema s kodom i prioritetnim promjenama prema riziku.
A McKinsey Studija sugerira da korištenjem anketa postojećih podataka i alata za upravljanje zaostatkom može smanjiti oštećenja softvera koji su prijavljeni za kupca za 20-30%. Softver za otkrivanje aplikacija za otkrivanje alata za sprečavanje upotrebe AI i gubitka podataka (DLP) za utvrđivanje neprimjerenih dijeljenja informacija također se može pokazati vrijednim.
Alati za analizu pokrivanja koda mogu pratiti koji se dijelovi koda provode tijekom funkcionalnih testova. Oni bi mogli identificirati bitove koda koji nisu izvršeni tijekom testa, što sugerira nepotreban ili pogrešan kod koji je AI uveo. Također, relevantni alat može prepoznati suvišne ili nevažne uvjete dokumentiranih zahtjeva. AI -ovi ponekad mogu dodati čudne stvari kako bi se kodo napravio test “proći” ili zadovoljiti određene situacije.
Ali prije svega, napominje Colwell, obrane organizacije od rizika koje je u kodeks uveo neovlašteno ili nepravilno korištenje Genaja znači ulaganje u obuku i obrazovanje. Organizacijama bi se savjetovala da se upuste. Ako znate da su timovi za programere dobro obrazovani u najboljoj praksi i rizicima ako pogriješe, možete imati povjerenja u njihove politike, dokumentaciju i prakse.
“Naučite svoje inženjere i ljude koji koriste Genai ograničenja određenog alata koji imaju”, kaže Colwell. “Mnogi će ljudi smatrati Genaijem kao manje ili više Čarobnom kutijom za razmišljanje, ali ono što zapravo imate je okvir za rješavanje problema s prirodnim jezikom s kratkom memorijom, tendencija da brzo odgovori, a ne da pronađu konkretne činjenice, bez pristupa njegovom vanjskom okruženju i amneziji izvan posljednje točke treninga.”
Doista, možda ga nećete moći kupiti. Ankur Anand, CIO iz Nash Squared, koji posjeduje Harvey Nash IT regrut, kaže da je nedostatak AI vještina najveći u tehnologiji 15 godina.
AI vještine uključuju razumijevanje kako iskoristiti platforme i CRM, učenje oko uputa i „odgovornost koja dolazi s tim“, uključujući reviziju rezultata prije upotrebe. Genai vještine traže programere, menadžere proizvoda i menadžere projekata, kao i kvalitetu podataka, rodove podataka i skupove upravljanja podacima.
Ispod toga, Nash Squared je svibanj Izvješće pronađeno Na primjer, povećana potražnja za Python programerima s znanjem velikog jezičnog modela (LLM). Genai je postao “lijepo imati” i u mnogim drugim opisima poslova.
“To postavlja sve veće zahtjeve tehnološkog tima jer se ne radi o samo jednom području”, dodaje Anand.
Facundo Giuliani, inženjer Solutions iz CMS -ovog dobavljača Storyblok, široko se slaže: “Kod generiran od strane Genai može biti dobro polazište – nadgledao je čovjek koji zna što radi i što se događa u pozadini.”
Vještine programera ostat će ključne ako događaji ne pretegnu našu budućnost brže nego što očekujemo. U međuvremenu, ostaje imperativ kontrolirati razvojne procese, posebno kada je uključeno više timova.
Dodatni pristupi kvalitetnoj praksi kodiranja AI
Giuliani to napominje kodirati Generirani AI modelima obučenim na javnom internetu često se temelje na skupovima podataka koji nisu ništa poput izvora istine. Tragovi da nešto nedostaje ili nije u redu u Kodeksu ili jednostavno da je kopiranje i zalijepiti raspoređen ili pretjerano korišten, može uključivati dugačka ili tangencijalna rješenja.
Postoji li više grešaka nego što biste očekivali ili se stvari događaju prebrzo ili spori? Obratite pažnju na produktivnost metrikakao što su DevOps Research and Assection (DORA) i svemir/dobrobit, aktivnost, performanse, komunikacija, učinkovitost/protok (svemir), analiza doprinosa i talent.
Potrebno je formalno upravljanje AI upravljanjem i modelom AI modela (MRM). Također se razvijaju okviri i standardi koji pomažu u procjeni AI rizika.
Međunarodna organizacija za standarde (ISO) Standard 42.001 odnosi se na upravljanje AI odgovorno, a američki Nacionalni institut za standarde i tehnologiju (NIST) (NIST) AI okvir za upravljanje rizikom (i knjiga za reprodukciju) su u razvoju.
Giuliani kaže da bilo koji obrasci iz uobičajenih zahtijevaju pomlju inspekciju loših praksi kodiranja. “Možda ćete vidjeti rješenja prekomjernog složenog sloja za jednostavne probleme. Isto se događa s kodom koji su stvorili ljudi bez iskustva. Suputnik ili mentor trebali bi im pomoći da uzdignu svoje znanje. Osoba mora postati nekako odgovorna za Kodeks prije proizvodnje”, kaže on.
Provjeravanje koda na odgovarajući način znači raspoređivanje različitih tehnika ili procesa, uključujući osiguranje da kolega ili supervizor radi ručne provjere koda prije podnošenja u proizvodno okruženje. To je bez obzira na to kako je kôd stvoren, dodaje Giuliani.
Jody Bailey, glavni službenik za proizvod i tehnologiju (CPTO) u Overflow -u zajednice programera, široko se slaže: „Morate osigurati da je ono što se izlaže i dalje kvaliteta. Potrebni su vam nadzor i recenzije. Mnogi ljudi koriste upute za pisanje svog koda, ali čak i tada procjenjuju te nastavke.“
Ali izazov za programere nikada nije bio zapravo o tome koliko brzo pišete i koliko brzo pišete kôd. Više se radi o tome imate li prave ideje i razmišljate li o problemima logično i učinkovito, kaže Bailey. Slaže se da bi potvrđivanje AI moglo uključivati korištenje AI. Jedan pristup mogao bi upotrijebiti antrop nasuprot Blizancima, na primjer, jer različiti modeli imaju različite snage i slabosti.
“Na raznim pločama, to se može promijeniti iz mjeseca u mjesec. Neki su više usmjereni na kod, a drugi su općenitije”, kaže on.
Iako možda nikada nećete u potpunosti ukloniti uporabu sjene, općenitije praćenje može pružiti pomoć, uključujući alate za web interakcije i upravljanje krajnjim točkama. Ali ako ljudi predstave nešto sami, a rezultati su dobri, organizacija će se možda pokrenuti s tim.
“Ne mogu si pomoći nego pomisliti na sport, gdje netko puca, a trener ide” Ne, ne, ne tako! “, A onda cilj ulazi i to je” yay! ” [instead]”, Kaže Bailey.
Odabrani pristupi ovisit će o okolnostima i potrebama, ali kod mora imati nadzor i kontrolu kvalitete da li se Genai koristi ili ne. Alternativa, dodaje Bailey, ima vrlo zaključano okruženje u kojem je rizik gubitak okretnosti i inovacija.