DeepSeek snizio cijene za 75%. Problem 100x ostaje

Nedavna odluka DeepSeeka da drastično smanji cijene svog modela V4-Pro za 75% trebala je biti nedvosmisleno dobra vijest za dobavljače i programere AI-a za poduzeća. Umjesto toga, mnogi otkrivaju da se jeftiniji modeli ne pretvaraju automatski u zdravije marže.

Razlog je jednostavan: dok troškovi zaključivanja strmoglavo padaju, agentski sustavi halapljivo troše tokene brže nego što cijene padaju. Posljednja 2 desetljeća ekonomiju softvera diktiralo je isto pravilo. Infra je svake godine postajala sve jeftinija, a aplikacije sve sposobnije. U početku se pretpostavljalo da AI slijedi isti obrazac. Kako su se granični modeli poboljšavali, a cijene tokena padale, mnogi su pretpostavljali da će zaključak postati zanemariv operativni trošak. Ta se pretpostavka počela eksponencijalno rušiti.

Chatbot obično pretvara jedno korisničko pitanje u jedan model poziva. Agent ga pretvara u lanac planiranja, dohvaćanja, korištenja alata, verifikacije, sažimanja i daljnjih odluka. Korisnik vidi jedan odgovor. Prodavač plaća za petlju. To je problem 100x: isti zahtjev vidljiv korisniku može koštati puno više da služi kao tijek rada agenta nego kao chatbot ili odgovor generiranja proširenog dohvaćanja (RAG). U dugotrajnijim tijekovima rada, množitelj je veći. Pad cijena modela pomaže, ali ne popravlja arhitekturu proizvoda koja pretvara jedan upit u desetke naplativih operacija.

Razmjeri onoga što je sada na kocki jasni su u tome kako sami pružatelji modela određuju cijene odnosa s programerima. Predloženi program OpenAI-ja da svakom startupu Y Combinatora da 2 milijuna dolara u API kreditima – broj koji bi financirao cijeli startni krug u bilo kojem prethodnom tehnološkom ciklusu, a kada je ista kohorta dobila nekoliko tisuća dolara AWS kredita – manje je povlastica pri zapošljavanju nego priznanje koliko sada košta vođenje tvrtke izvorne AI kroz prvu godinu proizvoda. Za etablirana poduzeća koja opremaju agente u postojeće linije proizvoda, apsolutni brojevi su još veći.

Što je amplifikacija tokena

U chatbotu s jednim okretom, jedna korisnička poruka proizvodi otprilike jedan model poziva. Omjer inputa i fakture je oko 1:5.

U agentu u više koraka koji se koristi za korisničku podršku, prodajne operacije, financije, pravni pregled i inženjering, taj omjer rutinski pada na 1:700 ili više. Svaka iteracija petlje prenosi kumulativni razgovor, rezultate alata i tragove razmišljanja. Svaki korak dodaje; ništa nije ispušteno.

A "jednostavan" upit agenta poput “Što je naš najveći kupac pitao prošli tjedan?” obično dotakne sedam cijenjenih operacija prije vraćanja odgovora:

1. Korisnički upit (~50 tokena)

2. Definicije sustava i alata (~3000 tokena, ponavlja se pri svakom pozivu)

3. Dohvaćanje (~5000 tokena konteksta)

4. Poziv modela #1 — odabir alata (8,000 in / 200 out)

5. Izvršenje alata (~4000 vraćenih tokena)

6. Model poziva #2 — sažimanje (12 000 ulaza / 400 izlaza)

7. Model poziva #3 — naknadna odluka (12 400 ulaza / 100 izlaza)

U jednoj rečenici naplaćuje se otprilike 35 000 ulaznih tokena. Negdje između 0,10 i 0,40 USD po upitu na graničnom modelu. Pomnožite to s milijun upita mjesečno — volumenom stolnih uloga za bilo koju B2B značajku poduzeća — i stavka retka iznosi šest znamenki.

Zašto ovo krši postojeći AI poslovni model

Dominantna priča o cijenama za AI poduzeća bila je SaaS na bazi sjedala: Plaćanje po korisniku mjesečno, isporuka sposobnosti agenta, zauzimanje marže. Taj model pretpostavlja razumno ograničenu cijenu po korisniku.

Povećanje tokena razbija pretpostavku. Napredni korisnik koji izvodi 50 poziva agenta dnevno na planu od 40 USD po sjedalu može koštati više u zaključivanju nego što plan naplaćuje. Povećanje tokena razbija tradicionalni SaaS model određivanja cijena. Kada dnevna aktivnost agenta naprednog korisnika košta više od njihove mjesečne naknade za pretplatu, bruto marže dobavljača postaju negativne, što je paradoks koji se povećava kako korisnici produbljuju svoje prihvaćanje agenta, upravo krivulju korištenja koju dobavljači prodaju svojim upravama. Nekoliko dobavljača sada privatno izvješćuje o negativnim bruto maržama na teške korisnike, odražavajući nedavna izvješća o troškovima u oblaku iz kohorte Bessemer ‘Supernova’, gdje se korelacija između usvajanja AI-agenta i smanjenja bruto marže pomaknula s teorijskog rizika na primarni suprotan vjetar dobiti i gubitka.

Vidljivi simptomi počeli su curiti u javnost. Bloomberg je ovaj tjedan dokumentirao sve veći jaz između Salesforceovih marketinških demonstracija Agentforcea i mogućnosti koje se zapravo isporučuju kupcima. Ovo je vrsta praznine koja se otvara predvidljivo kada je obećana funkcionalnost tehnički moguća, ali neekonomična za posluživanje po cijeni koju podrazumijeva raspored sjedala. Salesforce je najgledaniji slučaj, nije jedinstven.

"Za moj tim, trošak računanja daleko je veći od troškova zaposlenika." — Bryan Catanzaro, potpredsjednik primijenjenog dubokog učenja, Nvidia

Strateška implikacija nije "AI je skup." To je da dominantni poslovni model koji pretpostavlja većina planova tvrtki s izvornom umjetnom inteligencijom ne preživljava kontakt s agentskim radnim opterećenjem.

Jednostavan primjer

Zamislite dobavljača poslovnog softvera koji naplaćuje 40 USD po korisniku mjesečno pomoćnika za podršku s omogućenom umjetnom inteligencijom. Tradicionalni chatbot mogao bi koštati samo nekoliko centi po korisniku dnevno u zaključku, ostavljajući zdrave bruto marže.

Sada zamijenite taj chatbot s potpuno agentskim tijekovima rada koji mogu istraživati ​​tikete, postavljati upite internim sustavima, sastavljati odgovore, potvrđivati ​​rezultate i eskalirati iznimke. Ako veliki korisnik izvrši 50 do 100 zahtjeva agenta dnevno, potrošnja zaključivanja može se povećati za red veličine. Ono što je nekada bio zanemariv infrastrukturni trošak postaje značajan operativni trošak.

To stvara neobičnu dinamiku: kupci koji dobivaju najveću vrijednost od proizvoda često su kupci koji stvaraju najveće troškove zaključivanja. U ekstremnim slučajevima, dobavljači se mogu naći sa svojim najangažiranijim korisnicima koji doprinose najmanjem profitu. Rezultat je sve veća spoznaja u poslovnom softveru da usvajanje agenta i širenje marže više nisu automatski usklađeni.

Orkestracija agenata je novi jarak

Tehnički odgovori su poznati i konvergiraju. Nisu novost, ali su kritični za preživljavanje

• Troškovno svjesno usmjeravanje: Ova tehnika uključuje mali model klasifikatora koji odlučuje koja razina (ekvivalenti Haikua, Soneta, Opusa) obrađuje svaki upit. Dobro podešeni usmjerivači smanjuju račune za zaključivanje za oko 60% bez ikakve degradacije kvalitete

• Brzo predmemoriranje: Anthropic, OpenAI i Google sada nude 75 do 90% popusta na predmemorirane prefikse.

• Disciplina konteksta: Možete skratiti rezultate alata, odrezati tragove razmišljanja i ograničiti dubinu alata kako biste spriječili svog agenta da ode u zečju rupu

• Spekulativno dekodiranje: za samodomaćene implementacije, ova tehnika jamči 2 do 3X učinkovitu propusnost na istim GPU-ovima.

"Organizacije koje koriste upravljanje vođeno orkestracijom izvješćuju o snažnijim dobicima u produktivnosti — holistički sloj orkestracije povezan je sa šest puta većim učinkom na produktivnost od pristupa koji se temelje samo na usklađenosti" — IBM

Tvrtke koje dobro grade ovaj sloj sve manje počinju izgledati kao operateri mikroservisa, a sve više sustavi financijskog trgovanja: Svaka odluka o usmjeravanju s određenom cijenom, svaki put s vlastitim P&L, svaki stanar s ograničenim proračunom.

Što bi vođe poduzeća zapravo trebale učiniti

Fnaši potezi odvajaju tvrtke koje će i dalje imati maržu za 24 mjeseca od onih koje neće:

1. Učinite trošak zaključivanja prvorazrednom metrikom. Pratite ga po značajci, po zakupcu, po klasi upita na isti način na koji su se troškovi oblaka pratili počevši od sredine 2010-ih.

2. Proračun kao media buyer. Postavite gornje granice cijene po tisuću upita po značajci. Začepite ih. Upozorenje na prekoračenja. Inženjering to neće sam nametnuti.

3. Tretirajte usmjerivač kao temeljnu infrastrukturu, a ne optimizaciju. To je novi balanser opterećenja.

4. Upute za reviziju kvartalno. Sistemski prompt od 4000 tokena koji je organski rastao tijekom šest mjeseci je šesteroznamenkasti račun u usporenoj snimci. Većina timova nikada nije pročitala svoje upute za proizvodnju od kraja do kraja.

5. Rano pregovarajte o količinama obveza. Dobavljači Frontier modela sada nude unaprijed plaćene obveze u stilu rezerviranih instanci uz znatne popuste. Kataloška cijena je najgora cijena koju će bilo koje poduzeće ikada platiti.

Sljedeća 24 mjeseca

Strukturni pomak ispod agentske umjetne inteligencije nije zato što je skup. Kao što DeepSeek-ovo današnje sniženje cijene naglašava, jedinični troškovi graničnog zaključivanja padaju otprilike 3 puta godišnje, a krivulja se ne usporava.

Pomak je to pojačanje nadmašuje smanjenje cijena. Smanjenje troškova po tokenu za 75% ne pomaže tvrtki čiji agenti rade 700 puta više tokena po upitu korisnika nego što je pretpostavljeno u modelu određivanja cijena. Po prvi put od početka ere oblaka, arhitektonske odluke ponovno su financijske odluke u stvarnom vremenu. Brzi redizajn je marginalni događaj. Loše vezana petlja agenta je prekid rada s priloženom kreditnom karticom.

Tvrtke koje prežive sljedeća 24 mjeseca određivanja cijena infrastrukture umjetne inteligencije neće biti one s najjeftinijim modelom. Oni će biti ti čiji su agenti pametni i znati koliko koštaju misliti.

To je problem 100X. I stiže brže nego što to sniženje cijena može sakriti.

Maitreyi Chatterjee je viši softverski inženjer u velikoj tehnološkoj tvrtki.

Devansh Agarwal radi kao ML inženjer u vodećoj tehnološkoj tvrtki.

Web izvor