Kulud ja mudelite käitamine

Ühe mudeli kasutamine kõige jaoks on algaja viga. Tootmises olevad AI-süsteemid suunavad erinevad päringud erinevatesse mudelitesse — säästes 60–90% kuludest ja parandades samal ajal kvaliteeti. Mustrid, marsruutimise loogika ja kompromissid.

Mitme mudeli orkestreerimine: marsruutimine hinna, latentsi ja kvaliteedi järgi

Hinda lahendusmustrit, tõrkeviise ja kaitsepiirdeid enne päris töövoo ehitamist.

12 min lugemist

LLM-inferentsi kulusid saab õigete tehnikatega sageli oluliselt vähendada. Prompti vahemälu, mudeli marsruutimine, väljundi kontroll, partiide kasutamine ja paar vähem tuntud mustrit. Numbrid, mustrid ja tootmisdistsipliin, mis eristavad hästi juhitud inferentsi kontrolli alt väljuvast arvest.

Inferentsi kulude optimeerimine: prompti vahemälu, marsruutimine ja väljundi kontroll

Vähendad LLM-inferentsi kulu vahemällu salvestamise, marsruutimise, väljundi kontrolli, partiitöö ja eelarvepiirangutega.

11 min lugemist

Millise mastaabi juures võidab ise hostimine API-kõnesid? Tegelik matemaatika, operatiivsed reaalsused ja mustrid, mis eristavad tiime, kes peaksid ise hostima, neist, kes peaksid hallatud inferentsi eest edasi maksma.

Ise hostitud vs hallatud inferents: vLLM, TGI ja tasuvuspiiri matemaatika

Arvutad, millal ise hostitud inferents võib hallatud API-dest parem olla, ja hindad realistlikult operatsioonilist koormust.

Veel selles teemas

13 min lugemist

Praktiseeriva arhitekti vaade 2026. aasta LLM-i tehnoloogiavirnale — mudelitasemed, päringuteenuse pakkujad, orkestreerimiskihid, hindamistööriistad ja kompromissid, mis tegelikult loevad, kui paned tootmisesse AI-rakenduse. Kõik see, mida oleksid soovinud, et keegi oleks sulle enne alustamist ette

2026. aasta LLM-i tehnoloogiavirn: mudelid, päringud, tööriistad ja kompromissid

Kaardistad tootmise LLM-süsteemi kihid ning valid mudeli, päringu-, orkestreerimis-, hindamis- ja jälgitavusvalikud teadlikult, mitte tööriistahaibi järgi.

10 min lugemist

AI lokaalne käivitamine on küpsenud. Ollama või LM Studio ja moodsa Maciga saad jooksutada võimekaid mudeleid offline'is, tasuta ja privaatselt. Mis töötab, mis mitte ja millised kasutusjuhud sellest tegelikult kasu saavad.

Kohalik AI sinu Macis: Ollama, LM Studio ja see, mida 7B mudelid tegelikult suudavad

Hinda lahendusmustrit, tõrkeviise ja kaitsepiirdeid enne päris töövoo ehitamist.

6 min lugemist

Žargoonivaba võrdlus tasuta ChatGPT-st, ChatGPT Plusist, Pro-st ja tööplaanidest — mis muutub uuendamisel ja kuidas aru saada, kas sul on seda päriselt vaja.

Tasuta vs tasuline ChatGPT: mida tasuline plaan tegelikult juurde annab

Võrdled ChatGPT peamisi plaane ja otsustad oma tegeliku kasutuse põhjal, kas tasuta tase, Plus või Pro on mõistlik.

AI-ga alustaja

32 minutit

Anyscale. Käib läbi, miks naiivne LLM-serveerimine raiskab 60–80% GPU mälust, kuidas PagedAttention laenab OS-i stiilis pagineerimist seda parandama ja miks pidev batching toodab 24× läbilaskvuse numbreid, mida artikkel oma matemaatikas kasutab. Pärast seda lakkab artikli "õnneks tabad 50% kasutusastet" rida abstraktne olemast.

Kiire LLM-serveerimine vLLM-i ja PagedAttentioniga

56 minutit

OpenAI. OpenAI enda Build Hour prompti caching'ust — 1024-tokeni künnis, eesliite-stabiilsuse nõue, audio caching 99% soodustusega realtime'i jaoks, time-to-first-token mõjud pikkade sisendite korral. Kasulik, kui mõõdad inseneri-pingutust, mida nõuab cache'i päriselt usaldusväärselt tabamine oma produktsiooni-promptidel.

Build Hour: Prompt Caching

19 minutit

Prompt Engineering. Käib läbi Anthropicu prompti caching'u vs Gemini konteksti-caching'u koos konkreetsete latentsuse ja kulu vähenemistega kasutusjuhtumi kohta (pikkade dokumentide chat, few-shot, multi-turn). Cache-write lisatasu vs cache-read soodustuse lahtimõtestamine on täpselt see, mida artikkel eeldab, kui ta räägib sellest, millal caching ennast ära tasub.

Kas see on RAG-i lõpp? Anthropicu UUS prompti caching

40 minutit

Y Combinator. Karpathy AI Startup Schooli keynote raamib LLM-id kui uut tüüpi arvutid — kommunaalteenus, kiibitehas ja OS kokku keeratuna — ja argumenteerib "osalise autonoomia" toodete poolt, kus on inimese-kontrollitud rihm. See on puhtaim sõnastus stäki-tasandi mõttemudelist, mida artikkel eeldab: et sa valid inference-tarnijaid ja tööriistu programmeeritava substraadi, mitte vestlusboti jaoks.

Andrej Karpathy: tarkvara on (jälle) muutumas

211 minutit

Andrej Karpathy. See on selgeim otsast otsani selgitus YouTube'is selle kohta, mis LLM päriselt on — eelttreening, tokenization, SFT, RLHF, reasoning RL, tööriistade kasutus, hallutsinatsioonid — sellise detailitasemega, mida insenerile mudeli kompromisside üle arutlemiseks vaja on. Vaata see korra ära ja artiklis olevad "GPT-klassi vs open-weights vs reasoning-mudeli" otsused ei tundu enam bränd-valikutena ja hakkavad tunduma treening-retsepti valikutena.

Sügav sukeldumine LLM-idesse nagu ChatGPT

9 minutit

Matthew Berman. Käib läbi LMSYSi RouteLLM-i artikli ja koodi: väike klassifikaator istub tugeva/nõrga mudeli paari ees ja otsustab, kumba kutsuda, tabades umbes 95% tugeva mudeli kvaliteedist murdosaga kulust. Vaatamiste arv on alla tavalise 100k piiri, aga konkreetse "näita mulle päris mudeli-marsruutimist, mitte ainult mudelivõrdlusi" niši jaoks on see puhtaim selgitus YouTube'is ja sobib otse artikli kvaliteedi/kulu kompromissi sektsiooniga.

RouteLLM saavutab 90% GPT4o kvaliteedi JA on 80% odavam

19 minutit

Tina Huang. Puhas tuur praegusest mudelimaastikust, grupeeritud tasandi järgi — lipulaevad, lite-mudelid, keskklass, spetsialiseeritud — koos konkreetsete valikutega selle kohta, milles iga tasand päriselt hea on. See on artikli "tunne enne marsruutimist oma võimalusi" pool ja Huang raamib kulu-vs-võimekuse samamoodi nagu artikkel, ilma võrdlustabelite haibile toetumata.

Iga AI mudel seletatud