Kubernetes, motor izvornog računalstva u oblaku, dobiva turbo punjenje za AI

Pratite ZDNET: Dodajte nas kao željeni izvor na Googleu.

Ključni podaci ZDNET-a za van

• Ovaj program osigurava da korisnici mogu migrirati AI radna opterećenja između distribucija Kubernetesa.
• Kubernetes će konačno podržati vraćanje za povratak na radni klaster ako nešto pođe po zlu.
• Nekoliko drugih poboljšanja učinit će Kubernetes još ugodnijim za AI radna opterećenja.

Prije više od deset godina postojale su mnoge alternative Kubernetesu za orkestraciju spremnika. Danas, osim ako ste dugo, dugo u računalstvu izvornom u oblaku, bilo bi vam teško imenovati bilo kojeg od njih. To je zato što je Kubernetes očito bio najbolji izbor.

Tada su kontejneri, zahvaljujući Dockeru, bili nova vruća tehnologija. Premotajte desetljeće, a tehnologija koja je svima pomogla je AI. U tu svrhu, Cloud Native Computing Foundation (CNCF) pokrenuo je Certificirani Kubernetes AI program usklađenosti (CKACP) na KubeCon North America 2025. u Atlanti kao standardizirani način postavljanja AI radnih opterećenja na Kubernetes klastere.

Sigurna, univerzalna platforma za AI radna opterećenja

CKACP-ov cilj je stvoriti otvorene standarde koje definira zajednica za dosljedno i pouzdano pokretanje AI radnih opterećenja u različitim Kubernetes okruženjima.

Također: zašto čak i američki tehnološki div sada pokreće ‘suverenu potporu’ Europi

CNCF-ov tehnički direktor Chris Aniszczyk rekao je: “Ovaj program usklađivanja stvorit će zajedničke kriterije kako bi se osiguralo da se radna opterećenja umjetne inteligencije ponašaju predvidljivo u svim okruženjima. Nadovezuje se na isti uspješan proces vođen zajednicom koji smo koristili s Kubernetesom kako bismo pomogli u postizanju dosljednosti u više od 100 Kubernetes sustava kao skale usvajanja AI.”

Konkretno, inicijativa je osmišljena za:

• Osigurajte prenosivost i interoperabilnost za radna opterećenja umjetne inteligencije i strojnog učenja (ML) u javnim oblacima, privatnoj infrastrukturi i hibridnim okruženjima, omogućujući organizacijama da izbjegnu vezanost dobavljača kada premještaju radna opterećenja umjetne inteligencije gdje god je to potrebno.
• Smanjite fragmentaciju postavljanjem zajedničke osnovne linije mogućnosti i konfiguracija koje platforme moraju podržavati, što tvrtkama olakšava usvajanje i skaliranje AI na Kubernetesu s povjerenjem.
• Dajte dobavljačima i suradnicima otvorenog izvornog koda jasan cilj usklađenosti kako biste osigurali da njihove tehnologije rade zajedno i podržavaju implementacije umjetne inteligencije spremne za proizvodnju.
• Omogućite krajnjim korisnicima brzu inovaciju, uz sigurnost da su certificirane platforme implementirale najbolju praksu za upravljanje resursima, integraciju GPU-a i ključne potrebe infrastrukture umjetne inteligencije, koje je testirao i potvrdio CNCF.
• Potaknite pouzdani, otvoreni ekosustav za razvoj umjetne inteligencije, gdje standardi omogućuju učinkovito skaliranje, optimizaciju i upravljanje radnim opterećenjima umjetne inteligencije kako se upotreba povećava u industrijama.

Ukratko, inicijativa je usmjerena na pružanje zajedničkog, testiranog okvira i poduzećima i dobavljačima kako bi se osiguralo da umjetna inteligencija radi pouzdano, sigurno i učinkovito na bilo kojoj certificiranoj Kubernetes platformi.

Ako vam ovaj pristup zvuči poznato, pa, trebao bi jer se temelji na CNCF-ovom uspješnom Certified Kubernetes Programu usklađenosti. To je zbog tog plana i sporazuma iz 2017. s kojim, recimo, ako niste zadovoljni, Red Hat OpenShiftmožete pokupiti svoja radna opterećenja u kontejnerima i dopremiti ih u kolica Mirantis Kubernetes Engine ili Usluga Amazon Elastic Kubernetes bez brige o nekompatibilnostima. Ova prenosivost je razlog zašto je Kubernetes temelj za mnoge hibridne oblake.

Također: Kodiranje s AI? Mojih 5 najboljih savjeta za provjeru rezultata – i izbjegavanje problema

Budući da 58% organizacija već koristi AI radna opterećenja na Kubernetesu, očekuje se da će novi program CNCF-a značajno pojednostaviti način na koji timovi implementiraju, upravljaju i inoviraju AI. Nudeći uobičajene kriterije testiranja, referentne arhitekture i potvrđene integracije za podršku za GPU i akcelerator, program ima za cilj učiniti infrastrukturu umjetne inteligencije robusnijom i sigurnijom u okruženjima s više dobavljača i više oblaka.

Kao što je Jago Macleod, inženjerski direktor za Kubernetes & GKE u Google Cloudu, rekao na Kubeconu, “U Google Cloudu smo certificirali Kubernetes AI Conformance jer vjerujemo da su dosljednost i prenosivost ključni za skaliranje AI. Ranim usklađivanjem s ovim standardom, programerima i poduzećima olakšavamo izradu AI aplikacija koje su spremne za proizvodnju, prenosive i učinkovite, bez ponovnog pronalaženja infrastrukture za svaki raspoređivanje.”

Razumijevanje poboljšanja Kubernetesa

To nije bilo jedino što je Macleod imao za reći o budućnosti Kubernetesa. Google i CNCF imaju druge planove za vodećeg orkestra kontejnera na tržištu. Ključna poboljšanja koja dolaze uključuju podršku za vraćanje, mogućnost preskakanja ažuriranja i nove kontrole niske razine za GPU i drugi hardver specifičan za AI.

U svom uvodnom govoru MacLeod je objasnio da po prvi put korisnici Kubernetesa sada imaju pouzdana značajka vraćanja manje verzije. Ova značajka znači da se klasteri mogu sigurno vratiti u poznato dobro stanje nakon nadogradnje. Ova mogućnost završava dugogodišnji problem “jednosmjerne ulice” nadogradnje Kubernetesove kontrolne razine. Vraćanja unatrag značajno će smanjiti rizik usvajanja kritičnih novih značajki ili hitnih sigurnosnih zakrpa.

Uz ovo poboljšanje, korisnici Kubernetesa sada mogu preskočiti određena ažuriranja. Ovaj pristup daje administratorima veću fleksibilnost i kontrolu pri planiranju migracija verzija ili reagiranju na proizvodne incidente.

Osim CKACP-a, Kubernetes se preuređuje kako bi izvorno podržavao zahtjeve AI radnog opterećenja. Ova podrška znači da će Kubernetes korisnicima dati detaljnu kontrolu nad hardverom kao što su GPU, TPU i prilagođeni akceleratori. Ova mogućnost također se bavi ogromnom raznolikošću i zahtjevima veličine modernog AI hardvera.

Također: SUSE Enterprise Linux 16 je ovdje, a njegova ubojita značajka je digitalni suverenitet

Osim toga, novi API-ji i značajke otvorenog koda, uključujući Agent Sandbox i Kontrolne točke na više razinanajavljeno je na događaju. Ove će značajke dodatno ubrzati zaključivanje, obuku i agentičke AI operacije unutar klastera. Inovacije poput dodjele resursa na razini čvora, dinamičke opskrbe GPU-a i optimizacije raspoređivača za AI hardver postaju temeljne za istraživače i poduzeća koja pokreću klastere s više zakupaca.

Agent Sandbox okvir je otvorenog koda i kontroler koji omogućuje upravljanje izoliranim, sigurnim okruženjima, također poznatim kao sandboxes, dizajniranim za pokretanje pojedinačnih radnih opterećenja s statusom, kao što su autonomni AI agenti, tumači koda i razvojni alati. Glavne značajke Agent Sandboxa su:

• Izolacija i sigurnost: Svaki sandbox je snažno izoliran na razini kernela i mreže korištenjem tehnologija kao što su gVizor ili Kata kontejneritako da je sigurno pokrenuti nepouzdani kod (npr. generiran velikim jezičnim modelima) bez ugrožavanja integriteta glavnog sustava ili klastera.
• Deklarativni API-ji: Korisnici mogu deklarirati sandbox okruženja i predloške koristeći Kubernetes izvorne resurse (Sandbox, SandboxTemplate, SandboxClaim), omogućujući brzo, ponovljivo stvaranje i upravljanje izoliranim instancama.
• Razmjer i izvedba: Agent Sandbox podržava tisuće istodobnih sandboxova s ​​praćenjem stanja s brzim pružanjem usluga na zahtjev. Ova će mogućnost biti izvrsna za radna opterećenja agenta umjetne inteligencije, izvršavanje koda ili postojana razvojna okruženja.
• Snimka i oporavak: Uključeno Google Kubernetes Engine (GKE)Agent Sandbox može koristiti Pod Snapshots za brzu provjeru, hibernaciju i trenutni nastavak, dramatično smanjujući latenciju pokretanja i optimizirajući korištenje resursa za AI radna opterećenja.

Danas, Kontrolne točke na više razina u Kubernetesu prvenstveno je dostupan na GKE. U budućnosti će ovaj mehanizam omogućiti pouzdanu pohranu i upravljanje kontrolnim točkama tijekom obuke velikih ML modela.

Također: poduzeća nisu spremna za svijet zlonamjernih AI agenata

Evo kratke skice o tome kako funkcionira Multi-Tier Checkpointing:

• Više razina pohrane: Kontrolne točke se prvo pohranjuju u brzu, lokalnu pohranu (kao što su volumeni u memoriji ili lokalni disk na čvoru) za brzi pristup i brzi oporavak.
• Replikacija preko čvorova: Podaci o kontrolnim točkama repliciraju se na ravnopravne čvorove u klasteru radi zaštite od kvarova čvorova.
• Trajna sigurnosna kopija pohrane u oblaku: Povremeno se kontrolne točke sigurnosno kopiraju u izdržljivu pohranu u oblaku kako bi se osigurala pouzdana zamjena u slučaju kvarova na razini klastera ili slučajeva kada lokalne kopije nisu dostupne.
• Orkestrirano upravljanje: Sustav automatizira spremanje kontrolnih točaka, replikaciju, sigurnosno kopiranje i vraćanje, smanjujući ručnu intervenciju tijekom obuke.

Prednost za AL i ML radna opterećenja je u tome što Multi-Tier Checkpointing omogućuje brzi nastavak treninga od posljednje kontrolne točke bez gubitka značajnog napretka. Mehanizam također pruža toleranciju na pogreške štiteći poslove obuke od čestih prekida osiguravajući da su kontrolne točke sigurno pohranjene i replicirane.

Povrh svega toga, Multi-Tier Checkpointing daje skalabilnost podržavajući velike distribuirane poslove obuke koji se izvode na tisućama čvorova. Konačno, značajka, naravno, radi sa svim glavnim AI okvirima, kao što su JAX i PyTorchte se integrira s njihovim mehanizmima kontrolnih točaka.

Uz povrate, selektivno preskakanje ažuriranja i upravljanje AI hardverom proizvodne razine, Kubernetes je spreman pokretati najzahtjevnije AI i poslovne platforme na svijetu. CNCF-ovo pokretanje Kubernetes AI Conformance programa dodatno učvršćuje ulogu ekosustava u postavljanju standarda za interoperabilnost, pouzdanost i izvedbu za blisku budućnost AI izvorne u oblaku.

Također: 6 osnovnih pravila za oslobađanje umjetne inteligencije u vašem procesu razvoja softvera – i rizik broj 1

Kubernetesovo prvo desetljeće bilo je usmjereno na premještanje IT-a s golog metala i virtualnih strojeva (VM) na spremnike. Njegovo sljedeće desetljeće bit će definirano njegovom sposobnošću upravljanja umjetnom inteligencijom na planetarnoj razini pružanjem sigurnosti, brzine i fleksibilnosti za novu klasu radnih opterećenja.