Podaci Google Cloud -a obećavaju da će okončati 80% problema s trudom koji muče timove za podatke

Podaci se ne pojavljuju samo na pravom mjestu za analitiku poduzeća ili AI, već se moraju pripremiti i usmjeriti s podatkovnim cjevovodima. To je domena podatkovnog inženjerstva i već je dugo jedan od najzanimljivijih i zamornijih zadataka s kojim se poduzeća trebaju baviti.

Danas Google Cloud izravno cilja na tedij pripreme podataka s pokretanjem niza AI agenata. Novi agenti obuhvaćaju cijeli životni ciklus podataka. Agent za inženjering podataka u Bigqueryu automatizira složeno stvaranje cjevovoda putem naredbi prirodnog jezika. Agent za znanost o podacima pretvara prijenosne računale u inteligentne radne prostore koji mogu autonomno izvoditi tijekove rada strojnog učenja. Poboljšani agent za razgovore sada uključuje tumač koda koji upravlja Advanced Python Analytics za poslovne korisnike.

“Kad razmislim o tome tko danas radi inženjering podataka, to nisu samo inženjeri, analitičari podataka, znanstvenici podataka, svaka osoba s podacima žali se koliko je teško pronaći podatke, koliko je teško ometati podatke, koliko je teško dobiti pristup visokokvalitetnim podacima”, Yasmeen Ahmad, direktor podataka u Google Cloud -u, rekao je VentureBeat. “Većina tijekova rada o kojima čujemo od naših korisnika je 80% upletena u te naporne poslove oko vatrenja podataka, podataka, inženjerstva i dostizanja podataka s kvalitetnim podacima s kojima mogu raditi.”

Ciljanje uskog grla za pripremu podataka

Google je izgradio agenta za inženjering podataka u BigQuery -u kako bi stvorio složene cjevovode podataka putem upita za prirodni jezik. Korisnici mogu opisati multistep tijekove rada i agent obrađuje tehničku implementaciju. To uključuje gutanje podataka iz pohrane u oblaku, primjenu transformacija i provođenje provjera kvalitete.

Agent automatski piše složene SQL i Python skripte. Bavi se otkrivanjem anomalije, planira cjevovodi i rješavanje problema. Ovi zadaci tradicionalno zahtijevaju značajnu inženjersku stručnost i kontinuirano održavanje.

Agent ruši zahtjeve za prirodni jezik u više koraka. Prvo razumije potrebu za stvaranjem veza s izvorima podataka. Tada stvara odgovarajuće strukture tablice, učitava podatke, identificira primarne ključeve za spajanje, razloge zbog problema s kvalitetom podataka i primjenjuje funkcije čišćenja.

“Obično bi taj cijeli tijek rada napisao puno složenog koda za inženjera podataka i izgradio ovaj složeni cjevovod, a zatim upravljao i ponavljao taj kôd s vremenom”, objasnio je Ahmad. “Sada, s agentom za inženjering podataka, može stvoriti nove cjevovode za prirodni jezik. Može izmijeniti postojeće cjevovode. To može riješiti probleme.”

Kako će timovi za podatkovni podaci raditi s agentima podataka

Inženjeri podataka često su vrlo praktična skupina ljudi.

Različiti alati koji se obično koriste za izgradnju cjevovoda podataka, uključujući strujanje podataka, orkestraciju, kvalitetu i transformaciju, ne odlaze s novim agentom za inženjering podataka.

“Inženjeri su i dalje svjesni onih temeljnih alata, jer ono što vidimo iz načina na koji ljudi s podacima djeluju jest, da, vole agenta, a ovaj agent zapravo vide kao stručnjaka, partnera i suradnika”, rekao je Ahmad. “Ali često naši inženjeri zapravo žele vidjeti kôd, oni zapravo žele vizualno vidjeti cjevovode koje su stvorili ovi agenti.”

Kao takvi, dok agenti za inženjering podataka mogu raditi autonomno, inženjeri podataka zapravo mogu vidjeti što agent radi. Objasnila je da će podatkovni profesionalci često gledati kod koji je napisao agent, a zatim će dati dodatne prijedloge agenta za daljnje prilagođavanje ili prilagođavanje cjevovoda podataka.

Izrada ekosustava za agenciju podataka s API temeljom

U podatkovnom prostoru postoji više dobavljača koji izrađuju agentove AI tijekove rada.

Startupi poput Altimate AI stvaraju određene agente za tijekove rada podataka. Veliki dobavljači, uključujući Databricks, Snowflake i Microsoft, stvaraju svoje vlastite agentičke AI tehnologije koje mogu pomoći i podacima.

Googleov pristup malo je drugačiji po tome što izrađuje svoje Agentic AI usluge za podatke sa svojim API -jem s Glimini Agents Agents. To je pristup koji programerima može omogućiti ugradnju Googleovih mogućnosti obrade prirodnog jezika i interpretacije koda u njihove vlastite aplikacije. To predstavlja pomak od zatvorenih, prvih alata na proširivi pristup platformi.

“Iza kulisa za sve ove agente zapravo se grade kao skup API -ja”, rekao je Ahmad. “S tim API uslugama sve više namjeravamo učiniti te API -je našim partnerima.”

Usluga Umbrella API -ja objavit će temeljne API usluge i ACI -jeve API -ja. Google ima programe za pregled svjetionika gdje partneri ugrađuju ove API -je u svoja sučelja, uključujući davatelje prijenosnih računala i ISV partnere koji grade alate za cjevovode podataka.

Što to znači za timove za podatke o poduzeću

Za poduzeća koja žele voditi u podatkovnim operacijama usmjerenim na AI, ova najava signalizira ubrzanje prema autonomnim tijekovima rada. Te bi mogućnosti mogle pružiti značajne konkurentske prednosti u učinkovitosti vremena i resursa. Organizacije bi trebale procijeniti svoj trenutni kapacitet tima podataka i razmotriti pilot programe za automatizaciju cjevovoda.

Za kasnije usvajanje poduzeća, integracija ovih mogućnosti u postojeće usluge Google Cloud mijenja krajolik. Infrastruktura za napredne agente podataka postaje standardna, a ne premija. Ovaj pomak potencijalno povećava osnovna očekivanja za mogućnosti platforme podataka u cijeloj industriji.

Organizacije moraju uravnotežiti povećanje učinkovitosti u odnosu na potrebu za nadzorom i kontrolom. Googleov pristup transparentnosti može pružiti sredinu, ali čelnici podataka trebali bi razviti okvire upravljanja za autonomne operacije agenata prije širokog raspoređivanja.

Naglasak na raspoloživosti API -ja ukazuje da će razvoj prilagođenih agenata postati konkurentski diferencijator. Poduzeća bi trebala razmotriti kako iskoristiti ove temeljne usluge za izgradnju agenata specifičnih za domenu koji se bave svojim jedinstvenim poslovnim procesima i izazovima podataka.