Predstavlja Red Hat
Na nedavnom događaju VentureBeat AI Impact, gdje se rasprava usredotočila na to što razdvaja poduzeća koja skaliraju agentsku umjetnu inteligenciju od onih koja odugovlače u pilot modu, Brian Gracely, viši direktor strategije portfelja u Red Hatu, detaljno je opisao s čime se tvrtke zapravo susreću kada agenti dođu do proizvodnje.
Zaronio je u troškovnu disciplinu, sigurnosne mrtve točke jedinstvene za autonomne sustave i organizacijska trvenja koja određuju hoće li se usvajanje agenata proširiti izvan ranih prvaka.
Sadržaj objave
Poduzeća precjenjuju koliko zaostaju za agentima umjetne inteligencije
Mnogi čelnici poduzeća, posebno oni koji prate uvodne napomene u industriji i najave umjetne inteligencije, brinu se da već opasno zaostaju za konkurentima uvođenjem agenata u velikoj mjeri. Ali prema Gracelyju, veći dio te tjeskobe odražava pogrešno shvaćanje o tome koliko brzo organizacije uče nakon što počnu graditi. Timovi često napreduju na krivulji učenja mnogo brže nego što očekuju.
Međutim, taj brzi napredak stvara drugačiji izazov. Kako se upotreba agenata širi, troškovi umjetne inteligencije rastu jednako brzo, pretvarajući upravljanje troškovima iz inženjerske brige u stalnu raspravu u dvorani.
Korištenje umjetne inteligencije Agentica više je nego u eri chatbota, zbog čega troškovi umjetne inteligencije postaju sve veća briga za poduzeća. Istodobno, organizacije postaju sve svjesnije svoje ovisnosti o malom broju pružatelja modela. Prema Gracei, ta kombinacija tjera mnoga poduzeća da istražuju alternative koje im daju veću kontrolu nad troškovima i infrastrukturom.
"Dva ili tri vrhunska pružatelja već govore tržištu da gube novac i pokušavaju izaći u javnost kako bi nadoknadili te nedostatke," objasnio je. "U nekom trenutku, ovisnost o tome znači da ćete ili kupovati po vrlo visokoj cijeni ili ćete smisliti alternative za kontrolu onoga što radite."
AI modeli prave veličine najbrža su poluga za smanjenje troškova agenata
Najveći problem s troškovima je taj što poduzeća pretjerano troše odabirom najsposobnijeg dostupnog modela bez obzira na složenost zadatka.
"Ako samo pokušavam riješiti zahtjev za osiguranje, ne moram znati o povijesti zapadne civilizacije u mom modelu, ne moram znati rezultate Svjetskog prvenstva u nogometu," rekla je Gracely.
Semantičko usmjeravanje je mehanizam koji mnoge tvrtke koriste za automatsku procjenu, klasificirajući zahtjeve i šaljući svaki na model veličine zadatka bez potrebe da korisnici biraju, dok infrastrukturne tehnike poput predmemoriranja ponavljajućih upita smanjuju koliko često zahtjev uopće treba doći do GPU računala. Zajedno, rekao je, ovi alati uklanjaju pretpostavku da učinkovitost i inovacija vuku u suprotnim smjerovima.
"Postoji mnogo toga što možete učiniti na razini GPU infrastrukture, a poprilično toga možete učiniti u smislu fleksibilnosti modela," objasnio je. "Oni daju izvrsne izbore u smislu poluga koje pokušavate povući, bilo da vam je potrebna učinkovitost ili vam je potrebna inovacija. To ne bi trebao biti binarni izbor."
Financijska disciplina potrebna za potrošnju tokena slična je FinOps praksi kojoj su trebale godine da sazrije kako bi preuzela kontrolu nad potrošnjom računala u oblaku. Ti temeljni okviri će se prenijeti čak i ako se rječnik promijeni, rekla je Gracely, posebno dok organizacije guraju internu edukaciju o odabiru modela kako bi timovi prestali odabirati najistaknutiju opciju za zadatke koji to ne trebaju.
"Na isti način na koji smo prvo morali podučiti financijske ljude što je EC2 instanca, a što S3 bucket, vi ćete im morati početi objašnjavati tokene," rekao je. "Ne treba nam uvijek Rolls-Royce. Ne trebamo uvijek kavijar, jer pokušavamo raditi osnovne stvari."
Brzina zakrpe sada je kritična jer AI alati brže pronalaze ranjivosti
Otkrivanje ranjivosti koje pokreće AI tjera poduzeća da preispitaju koliko brzo mogu identificirati, potvrditi i implementirati zakrpe. Dugo uspostavljeni ciklusi upravljanja zakrpama možda više nisu dovoljno brzi u okruženju u kojem AI može mnogo brže otkriti — a napadači mogu iskoristiti — nove ranjivosti.
"Većina kompanija će vjerojatno imati prozor od negdje između sedam i 14 dana da ostanu ispred," rekao je. "Postoje grupe, uključujući Red Hat, koje će napraviti zakrpe za njih, ali će razdoblje embarga biti kratko."
AI također mijenja ono što branitelji trebaju tražiti. Umjesto jednostavnog otkrivanja izoliranih kritičnih nedostataka, sigurnosni alati umjetne inteligencije mogu identificirati kombinacije naizgled manjih ranjivosti koje postaju opasne samo kada su povezane u lance. Kako se i složenost softvera i otkrivanje ranjivosti ubrzavaju, Gracely je tvrdio da sposobnost brzog upravljanja i ažuriranja softvera postaje strateška sposobnost, a ne samo operativna.
Stručnjaci za predmet i timovi za usklađenost odlučuju hoće li agenti skalirati
Na kraju, organizacijsko usvajanje svodi se na potrebu za dubokom, trajnom uključenošću stručnjaka za predmet čije znanje agent treba kodirati, što čini stjecanje njihove podrške preduvjetom, a ne naknadnom mišlju.
"Morate razmišljati o poticajima, što radite za ljude koji sudjeluju u ovom poslu kako se ne bi osjećali ugroženima da će im to oduzeti posao, i kako dugoročno potaknuti ljude da surađuju s tom inovacijom," rekao je.
Sponzorirani članci su sadržaji koje proizvodi tvrtka koja ili plaća za objavu ili ima poslovni odnos s VentureBeatom i uvijek su jasno označeni. Za više informacija kontaktirajte sales@venturebeat.com.