Analiza: Jak naprawdę trenuje się i serwuje GPT, Claude i Gemini — Reiner Pope

0. Karta materiału

Tytuł: How GPT, Claude, and Gemini are actually trained and served — Reiner Pope

Autor/Prowadzący: [V01] — gospodarz programu. Materiał nigdzie nie nazywa go z imienia; z kontekstu (nowe studio zaprojektowane pod wywiady przy tablicy, ujawniona inwestycja anielska w start-up gościa, segmenty sponsorowane Jane Street i Cursor) jest to Dwarkesh Patel. [PRAWDOPODOBNE]

Uczestnicy:

• Reiner Pope [V02] — CEO start-upu chipowego MatX, wcześniej zajmował się architekturą TPU w Google. Kontekst motywacyjny: jako producent układów ma strukturalny interes w tezie, że kluczowym „odblokowaniem" dla postępu AI są większe domeny sieciowe i nowe projekty szaf serwerowych.
• Prowadzący [V01] — sam ujawnia (00:00:51), że jest aniołem inwestorem w MatX. Deklaruje, że to „nie ma związku z podcastem", ale konflikt interesów pozostaje realny.
• [V03] Clark — inżynier Jane Street; występuje wyłącznie w segmencie sponsorowanym (00:20:43 — 00:21:49), wykluczonym z analizy.
• [V04] — kilkanaście krótkich replik przy tablicy („I guess", „Nice", uwagi pomocnicze przy rysowaniu). Najpewniej artefakt diarization lub osoba z ekipy studyjnej. [NIEZIDENTYFIKOWANY]

Data publikacji: 2026-08-29 (data z nagłówka SRT).

Długość: około dwóch godzin i czternastu minut.

Typ: wywiad-wykład przy tablicy (blackboard lecture) — hybryda: prowadzący zadaje pytania motywujące, a Pope wyprowadza fizykę inferencji i treningu na prostych modelach matematycznych.

Główna teza (jedno zdanie): Ceny API, latencja, długość kontekstu i tempo wzrostu rozmiarów modeli AI nie są arbitralnymi decyzjami produktowymi, lecz wynikają z dwóch fizycznych zegarów — pasma pamięci i mocy obliczeniowej — oraz z rozmiaru batcha, a tę mechanikę da się wstecznie odczytać nawet z publicznych taryf dostawców.

Kontekst motywacyjny: Pope buduje własny układ, więc jego akcentowanie roli sprzętu jest nieswobodne; prowadzący inwestuje w firmę gościa. Całość ma charakter edukacyjny (nowe studio, format wykładowy), nie perswazyjny — algebra jest jawna i sprawdzalna, co częściowo neutralizuje ryzyko.

Uwagi do transkrypcji (błędy ASR): Transkrypcja WhisperX powtarza systematycznie kilka błędów rozpoznawania mowy, które koryguję w całej analizie: „Maddox" → MatX; „DeepSeq" → DeepSeek; „KB cache" → KV cache; „HPM" → HBM; „G-sharge" → GShard; „white matrices" → weight matrices; „Harvard" (01:18:16) → Hopper; „script you" (01:41:18) → prawdopodobnie „arbitrage you". Trzy segmenty reklamowe (Jane Street 00:20:43–00:21:49, Gemma 00:44:00–00:44:41, Cursor 01:02:30–01:03:28) są wykluczone z analizy i osi czasu.

1. Słownik kluczowych pojęć

Analiza dachkowa (roofline analysis) — metoda szacowania czasu wykonania od dołu: czas nie może być krótszy niż czas pobrania danych z pamięci ani krótszy niż czas samych obliczeń; wynik to maksimum z obu.

Batch (rozmiar batcha) — liczba sekwencji (użytkowników/żądań) przetwarzanych równolegle w jednym przejściu przez model. Uwaga terminologiczna z materiału: batch równy 2000 oznacza 2000 unikalnych sekwencji, dla których generowany jest po jednym kolejnym tokenie.

Pasmo pamięci (memory bandwidth) vs pojemność pamięci (memory capacity) — odpowiednio: ile bajtów na sekundę można odczytać oraz ile bajtów można przechować. W materiale to rozróżnienie jest osią kilku wniosków — skalowanie szaf rozwiązuje problem pasma, a nie pojemności.

HBM (High Bandwidth Memory — pamięć o wysokiej przepustowości) — szybka pamięć umieszczona przy układzie GPU; ASR zapisywał ją jako „HPM".

Parametry aktywne vs całkowite — w architekturze rozrzedzonej na jeden token pracuje tylko część wag (aktywne), ale z pamięci trzeba odczytać wszystkie (całkowite). Przykład z materiału: DeepSeek V3 ma około 37 miliardów aktywnych z około 700 miliardów całkowitych.

Rozrzedzenie (sparsity) — stosunek parametrów całkowitych do aktywnych; DeepSeek V3 ma rozrzedzenie około 19, w uproszczeniu około 8 przy liczeniu „ekspertów".

Mieszanka ekspertów (mixture of experts, MoE) — architektura, w której warstwa składa się z wielu małych sieci („ekspertów"), a warstwa-router kieruje każdy token tylko do ich ułamka (np. jeden na trzydzieści dwa).

Pamięć podręczna klucz-wartość (key-value cache, KV cache) — wewnętrzne reprezentacje wcześniejszych tokenów, przechowywane, by nowy token mógł się do nich „przyglądać" bez ponownego liczenia. ASR zapisywał „KB cache".

Wypełnianie wstępne (pre-fill) i dekodowanie (decode) — dwa tryby pracy: pre-fill przetwarza naraz długi kontekst wejściowy (obliczeniowo ograniczony), decode generuje kolejne tokeny po jednym (ograniczony pasmem pamięci).

Domena scale-up i sieć scale-out — odpowiednio: szybka, pełna łączność wewnątrz jednej szafy serwerowej (NVLink/NVSwitch) oraz wolniejsza (typowo ośmiokrotnie) sieć między szafami, przez przełączniki centrum danych.

Paralelizm ekspertowy (expert parallelism), potokowy (pipeline parallelism), tensorowy (tensor parallelism), danych (data parallelism) — cztery sposoby rozcinania modelu na wiele układów: po ekspertach, po warstwach (szafach), wewnątrz macierzy, po danych.

Bąbel potoku (pipeline bubble) i mikro-batch — czas bezczynności etapów potoku oraz podział globalnego batcha na mniejsze porcje, które wypełniają potok; liczba mikro-batchy wynosi tyle, ile etapów potoku.

Wykorzystanie mocy obliczeniowej (model FLOPs utilization, MFU) — ułamek szczytowej mocy układu faktycznie używanej przez obliczenia modelu.

Prawo skalowania Chinchilli (Chinchilla scaling law) i wzór 6ND — Chinchilla podaje, ile tokenów treningowych przypada na parametr (około dwudziestu); 6ND to koszt treningu: sześć razy liczba parametrów razy liczba tokenów (dwa na przejście w przód, cztery na wsteczne).

Uczenie przez wzmacnianie (reinforcement learning, RL) — faza po pre-treningu, w której model generuje rozwiązania (rollouty) i jest na nich (częściowo) trenowany; przez dekodowanie i selekcję danych ma niższą efektywność maszynową.

Rematerializacja (remat) — odtworzenie KV cache przez ponowne obliczenie z tokenów, zamiast przechowywania go w pamięci.

Uwaga rozrzedzona (sparse attention) — mechanizm uwagi, który odczytuje tylko podzbiór historii; w publikowanych wariantach DeepSeek wstawia pierwiastek kwadratowy do składnika kosztu pamięci zależnego od długości kontekstu.

Głowica KV i głowica Q; wymiar głowicy (d-head) — głowice KV przechowują historię tokenów w pamięci (typowo od jednej do ośmiu), głowice Q służą tylko do pobrania jej przez nowy token; d-head (typowo 128) to wymiar wektora każdej głowicy.

Kryptoanaliza różniczkowa (differential cryptanalysis) — atak na szyfr polegający na śledzeniu, jak mała zmiana wejścia zmienia wyjście; odpowiednik „różniczkowania szyfru".

Sieć Feistela i sieci odwracalne (Reversible Networks, RevNet) — konstrukcja kryptograficzna czyniąca dowolną funkcję odwracalną; RevNet przenosi ją do sieci neuronowych, by nie przechowywać aktywacji w treningu.

2. Oś czasu z blokami tematycznymi

[00:00:00 — 00:01:39] Pytanie motywujące: czym mechanicznie jest „tryb szybki"

Tezy:

• Prowadzący otwiera od konkretu produktowego: Claude, Codex i Cursor oferują „Fast Mode", w którym sześciokrotność ceny kupuje przyspieszenie strumieniowania tokenów o czynnik dwa i pół.
• Trzy podpytania ramują cały wykład: dlaczego dopłata w ogóle kupuje niższą latencję, czy stukrotna dopłata kupiłaby jeszcze większą prędkość, oraz czy istniałby opłacalny „tryb wolny" z minutowymi oczekiwaniami i niższą ceną.
• Pope zdradza od razu odpowiedź: główny mechanizm to rozmiar batcha, a efektem drugiego rzędu jest dekodowanie spekulacyjne.

Prowadzący buduje wykład wokół zagadki cenowej, którą każdy użytkownik AI widzi na fakturze, i obiecuje, że fizyka klastra ją wyjaśni. Pope sygnalizuje strukturę odpowiedzi (batch size przede wszystkim, dekodowanie spekulacyjne „może później") — jest to obietnica, której materiał już nie spłaca. W tym bloku pada też ujawnienie, że prowadzący jest aniołem inwestorem w firmę gościa.

[00:01:39 — 00:05:39] Model roofline: dwa zegary — pamięć i obliczenia

Tezy:

• Czas jednego kroku inferencji szacuje się od dołu jako maksimum dwóch składników: czasu pobrania danych z pamięci i czasu obliczeń.
• Czas obliczeń to batch razy parametry aktywne podzielone przez wydajność układu (operacje zmiennoprzecinkowe, FLOPs); Pope świadomie pomija obliczenia uwagi jako mały składnik.
• Czas pamięci to pobranie wszystkich wag (parametry całkowite przez pasmo) plus pobranie KV cache (batch razy długość kontekstu razy bajty na token, przez pasmo).
• Już prosty model ma siłę predykcyjną: wszystko później — ceny, latencja, rozmiary modeli — jest z niego wyprowadzane.

Pope tłumaczy, że jeden krok dekodowania to pełne przejście przez macierze wag i jedno „spojrzenie" nowego tokena na historię trzymaną w KV cache — a to spojrzenie jest zdominowane przez odczyty z pamięci, nie przez mnożenia. Prowadzący na tym etapie wyjaśnia publiczności, że batch to równoczesna obsługa wielu użytkowników, a Pope motywuje go skalą zjawiska [PEWNE w ramach modelu]: bez batchingu ekonomia jest rzędu tysiąckrotnie gorsza.

Cytaty:

"if you do not batch together many users, the cost and the economics you get can be like a thousand times worse than if you do batch many users together" -- [Pope], [00:04:23] Kryterium: [SYGNAŁ] Kontekst: Zdanie wypowiedziane mimochodem na początku wykładu, ale to faktyczna podstawa całego modelu cenowego usług AI — koszt tokena jest dzielony przez liczbę pasażerów „tej samej pamięci".

[00:06:00 — 00:15:43] Krzywe latencji i kosztu względem batcha

Tezy:

• Na wykresie latencji od batcha czas obliczeń rośnie liniowo, czas pamięci startuje od stałego progu (pobranie wag) i też rośnie liniowo przez KV cache; wynik to maksimum obu — istnieje zatem dolna granica latencji równa czasowi odczytu wszystkich wag.
• Na wykresie kosztu na token (czas przez batch) pobranie wag zamienia się w hiperbolę malejącą z batchem, a obliczenia i KV stają się stałe — istnieje dolna granica kosztu.
• Wniosek dla „trybu wolnego": taka usługa siedziałaby na płaskiej asymptocie — KV cache i obliczenia są unikalne dla każdej sekwencji, więc nie ma czego amortyzować; minuty oczekiwania niewiele tanieją.
• Rośnięcie długości kontekstu przesuwa system z reżimu obliczeniowego w pamięciowy; punkt, w którym nachylenia się równają (równy udział pamięci i obliczeń), jest punktem idealnego zbalansowania.
• Uwaga rozrzedzona (sparse attention) skaluje składnik KV pierwiastkowo zamiast liniowo; Pope jest nią „pretty excited", ale przyznaje, że nie wie, czego używają laboratoria — DeepSeek publikował taki mechanizm.

Prose: Pope i prowadzący wspólnie przechodzą od wykresu latencji do wykresu kosztu, pokazując, że oba mają granice fizyczne, a nie produktowe. Prowadzący trafnie wychwytuje, że „Claude Code slow" nie zaoszczędziłby wiele, bo koszt minimalny na token jest zdominowany przez składniki, których nie da się współdzielić między użytkownikami [PEWNE w modelu]. Dyskusja o nachyleniach prowadzi do pierwszego wtrąconego tematu, który wróci później: architektura uwagi decyduje o tym, czy długi kontekst jest wykładnikiem, linią, czy pierwiastkiem.

[00:15:43 — 00:20:40] Punkt równowagi: batch równy około 300 razy rozrzedzenie

Tezy:

• Przyrównanie czasu pobrania wag do czasu ich mnożenia daje warunek: batch powinien przekraczać około 300 razy rozrzedzenie (dla DeepSeek: 300 × 8 ≈ 2400 sekwencji).
• Stała około 300 to praktycznie bezwymiarowy stosunek mocy obliczeniowej do pasma pamięci (po uwzględnieniu precyzji, np. FP4 jako pół bajta na parametr) — co ważne, pozostaje stabilna od A100 przez H100 po B100/Blackwell, bo moc i pasmo rosną wspólnie.
• Praktyka idzie dwa–trzy razy powyżej punktu równowagi, bo rzeczywista sprawność jest gorsza niż model dachkowy.
• Terminologiczne doprecyzowanie: „batch 2000" to 2000 unikalnych sekwencji w jednym przejściu, nie 2000 tokenów.

Tu pojawia się najmocniejszy liczbowy wynik wykładu: optymalny rozmiar batcha zależy wyłącznie od rozrzedzenia modelu i stałej sprzętowej, a nie od skali modelu jako takiej [PEWNE w modelu]. Pope podkreśla, że wynik jest „remarkably accurate to practice", co dla tak uproszczonego modelu jest istotną deklaracją empiryczną.

[00:21:49 — 00:25:40] Harmonogram „pociągów" co 20 milisekund

Tezy:

• Usługa nie czeka na zapełnienie batcha: GPU wystawia nowy „pociąg" co około 20 milisekund; pasażerowie (żądania) wsiadają, jeśli są gotowi, a pociąg odjeżdża nawet niepełny.
• Najgorsza latencja kolejkowa żądania to dwa kroki (przyjście tuż po odjezdzie: czekanie na następny pociąg plus jego przejazd) — około 40 milisekund.
• Skala 20 milisekund to pojemność HBM podzielona przez pasmo HBM („czas opróżnienia pamięci"); dla generacji Rubin około 288 gigabajtów przez około 20 terabajtów na sekundę daje około 15 milisekund.
• Dłuższy krok nie ma sensu: pozwalałby odczytać pamięć dwa razy, ale nie ma powodu czytać wag dwukrotnie — dostępy do HBM to niemal wyłącznie odczyty, bo wagi są tylko do odczytu, a KV cache jest przeważnie czytane.

Prowadzący dopytuje, czy przy tysiącach jednoczesnych użytkowników batch buduje dodatkowe opóźnienie; Pope odpowiada modelem planu jazdy, nie czekaniem na komplet. To wyjaśnia, dlaczego latencja usług API jest praktycznie stała mimo gigantycznej skali [PEWNE mechanicznie].

[00:25:40 — 00:28:30] Skala ruchu: 128 tysięcy tokenów na sekundę a Gemini

Tezy:

• Przepustowość jednej instalacji to batch razy liczba kroków na sekundę: 2000 sekwencji razy około 60–64 daje rząd 128 tysięcy tokenów na sekundę.
• Z pamiętanych przez Pope'a komunikatów Google'a Gemini obsługuje setki milionów tokenów na sekundę globalnie — pojedyncza, dobrze obciążona instalacja to rząd tysięcznej skali lidera.
• Wniosek prowadzącego o centralizacji: ekonomie skali z batchingu istnieją, ale próg konkurencyjności (tysięczna skali Gemini) nie jest astronomiczny.

Pope zastępuje intuicję „liczby równoczesnych użytkowników" bardziej operacyjną miarą ruchu w tokenach na sekundę. Warto jednak zauważyć, że skala Gemini jest przywołana z pamięci i z materiałów marketingowych samych dostawców — to miękki punkt wnioskowania (patrz sekcja 4).

[00:28:30 — 00:31:55] Granice rozrzedzenia: ile parametrów kosztuje jakość

Tezy:

• Pytanie, jak daleko można pchnąć rozrzedzenie, jest empiryczne, nie analityczne — Pope sięga po paper „Unified Laws for Routed Language Models".
• W starszych technikach MoE (GShard, Switch Transformer) przy stałej liczbie parametrów aktywnych jakość rośnie z liczbą ekspertów, ale słabo: model z 64 ekspertami i 370 milionami aktywnych parametrów dorównuje gęstemu modelowi 1,3 miliarda — to sześćdziesięcioczterokrotny wzrost parametrów całkowitych za czterokrotny zysk, a właściwie gorszy.
• Z punktu widzenia kosztu serwowania wzrost parametrów całkowitych to prawie czysty zysk, bo koszt pobrania wag amortyzuje batch: „rób to, dopóki nie skończą ci się użytkownicy".
• Cena drugiego rzędu: większe rozrzedzenie pochłania pojemność pamięci (nie pasmo), co wróci jako ściana w dalszej części.
• Wyniki bardzo zależą od techniki MoE; DeepSeek zmienił reguły gry drobniejszymi ekspertami i aktywacją większej ich liczby.

Prose: prowadzący próbuje wycisnąć z rozrzedzenia wniosek o darmowych oszczędnościach obliczeniowych, a Pope koryguje go dwukrotnie — najpierw empirycznie (zwrot z parametrów totalnych jest słaby), potem rachunkowo (serwowanie amortyzuje wagi, więc „kosztuje" tylko pojemność). To najbliższe prawdziwemu sporowi te miejsca wykładu [PRAWDOPODOBNE, że stanowiska są zgodne po wyjaśnieniach].

Cytaty:

"From the point of view of the analysis we've done here, this is pure win. Keep doing it. Keep doing it until you run out of available users, basically." -- [Pope], [00:31:00] Kryterium: [KONTROWERSJA] Kontekst: Teza, że rozrzedzenie warto zwiększać niemal bez ograniczeń, jest prawdziwa tylko w ekonomice serwowania — wbrew doświadczeniu treningowemu, w którym jakość przy ekstremalnym rozrzedzeniu degraduje; sam Pope chwilę wcześniej pokazuje na to empiryczne krzywe.

[00:31:55 — 00:36:10] Anatomia warstwy MoE i paralelizm ekspertowy

Tezy:

• Warstwa MoE: router kieruje każdy token do małej frakcji ekspertów (przykład: jeden na trzydzieści dwa); każdy ekspert to zwyczajna jednokierunkowa sieć neuronowa (projekcja w górę, nieliniowość, projekcja w dół); wyniki są sumowane, a token dodatkowo płynie połączeniem rezydualnym.
• Standard praktyczny to paralelizm ekspertowy: różni eksperci na różnych GPU (256 ekspertów DeepSeek na 64 GPU daje czterech ekspertów na układ).
• W rzeczywistości router jest zreplikowany na każdym GPU, więc każdy układ może wysyłać tokeny do każdego — wzorzec komunikacji każdy-z-każdym (all-to-all).
• Konfiguracja Blackwell NVL72 jest idealnie skrojona pod all-to-all — ale tylko w granicach jednej szafy.

Pope przechodzi od wzoru do fizyki: decyzje modelu (które tokeny do których ekspertów) stają się pakietami w sieci. Ta sekcja uzasadnia, dlaczego „szafa" jest naturalną jednostką skalowania architektur rozrzedzonych.

[00:36:10 — 00:47:00] Fizyka szafy: scale-up, scale-out, okablowanie i rozmiary modeli

Tezy:

• Jedna szafa ogranicza wielkość warstwy ekspertów; wyjście poza szafę oznacza sieć scale-out o około ośmiokrotnie mniejszym paśmie niż scale-up (NVLink).
• Topologia NVIDII: GPU po bokach szafy, przełączniki NVSwitch w środku; każdy GPU jest dwa „skoki" od każdego innego w obrębie szafy.
• Granica skalowania scale-up (Hopper 8 → Blackwell 72 → zapowiadane około 500 w Rubin) to głównie fizyka okablowania: gęstość złączy, promień gięcia kabli, masa konstrukcji, zasilanie i chłodzenie — prowadzący jest zaskoczony, że ograniczeniem jest dosłownie miejsce na kable.
• Przeskok z 8 do 72 był decyzją produktową (z tacki serwerowej na szafę), nie barierą techniczną; przeskok do około 500 wymaga już nowego, trudnego projektu fizycznego.
• Historyczna zagadka rozmiarów: GPT-4 rzekomo przekroczył bilion parametrów w 2023, a dopiero domeny scale-up Blackwella z 10–20 terabajtami pamięci pozwalają pomieścić mniej więcej pięciobillionowy model wraz z KV cache wystarczającej liczby użytkowników; Pope nazywa większe domeny „huge unlock" i sugeruje, że przewaga Gemini w pre-treningu wiązała się z wielkimi domenami TPU.
• Ograniczenia są spójne: parametry aktywne ogranicza koszt obliczeń, a parametry całkowite — rozmiar domeny scale-up.

Prose: to najbardziej „sprzętowy" blok wykładu i jednocześnie ten, w którym kontekst motywacyjny Pope'a jest najmocniejszy: teza o znaczeniu większych domen sieciowych i nowego projektu szaf jest zbieżna z produktem MatX. Prowadzący aktywnie szuka kontry (pytanie o „galaxy brain" nić projektową później), ale algebra i opisy fizyczne pozostają nienaruszone [PEWNE co do mechanizmu].

Cytaty:

"The fundamental thing here is that one rack is actually the bounds the size of an expert layer you can do." -- [Pope], [00:36:29] Kryterium: [DEFINICJA] Kontekst: Definiuje relację sprzęt–architektura: wielkość szafy wyznacza, jak rozległa może być pojedyncza warstwa ekspertów, a tym samym jak rozrzedzony może być model serwowany z akceptowalną latencją.

[00:47:00 — 01:02:29] Paralelizm potokowy: algebra, bąbel i mikro-batche

Tezy:

• Obok ekspertowego istnieją paralelizmy: tensorowy (utracił znaczenie, bo eksperci są dziś zbyt mali, by go podtrzymać), danych i potokowy — warstwy rozłożone na kolejne szafy.
• Warunek opłacalności przejścia między szafami: czas na scale-up ma przewyższać czas na scale-out; przy ośmiokrotnej przewadze pasma scale-up wystarczy, że iloczyn liczby aktywowanych ekspertów, liczby warstw na etap i dwóch (droga w obie strony) przekroczy osiem — co jest łatwe.
• W inferencji bąbel potoku znika naturalnie: kolejną partię wystawia się natychmiast po zakończeniu poprzedniej; w treningu jest twardy stop, bo krok wsteczny chce pełnego batcha naraz.
• Rozmiar batcha treningowego: mniejszy daje świeższe gradienty i lepszą zbieżność, większy lepiej wykorzystuje sprzęt — optimum jest kompromisem.
• Literatura oferuje harmonogramy zero-bubble i one-forward-one-backward; w bąblu można liczyć gradienty wag (albo, żartem Pope'a, „kopać bitcoiny").
• Korzyść z pipelingu w inferencji to wyłącznie pojemność pamięci na szafę — nie latencja i nie koszt; w treningu trade-off jest ostrzejszy.
• Referencje: prywatny wykład Horace'a He dla prowadzącego i znana opinia Ilji (Sutskevera), że „dziś wiemy, żeby nie robić pipeline parallelism" — Pope odpowiada, że komplikacje są realne (przykład Kimi z rezydualnymi połączeniami sięgającymi wcześniejszych warstw utrudnia cięcie), ale trzeba ważyć koszty i korzyści.

Prowadzący formułuje najmocniejszy kontrargument materiału, powołując się na inżyniera Axela z Jane Street: mikro-batche oznaczają, że wagi nie amortyzują się przez pełny globalny batch. Pope przyjmuje zarzut i rysuje diagram: w inferencji rozróżnienie mikro-batch/batch jest praktycznie obojętne, bo bąbla nie ma; różnica ujawnia się dopiero w treningu, gdzie istnieje optimum batcha ze względu na zbieżność.

[01:03:28 — 01:18:50] Ściana pamięci: pipelining zbija wagi, ale nie KV cache

Tezy:

• Blok otwiera paradoks: rynkowo pamięci dramatycznie brakuje (cytowany przez prowadzącego Dylan [prawdopodobnie Dylan Patel z SemiAnalysis] podaje, że hiperscalerzy wydają w tym roku połowę nakładów inwestycyjnych na pamięć; spodziewany spadek sprzedaży smartfonów o 30%), a jednocześnie w szafach pamięci jest „za dużo".
• Model pojemności na GPU: parametry całkowite oraz KV cache dzielone przez iloczyn zasięgu paralelizmu ekspertowego (E) i liczby etapów potoku (P).
• Kluczowy wynik algebraiczny: globalny batch to mikro-batche razy lokalny batch, a liczba mikro-batchy równa się liczbie etapów potoku — po podstawieniu P skraca się w składniku KV. Pipelining zmniejsza ślad wag na GPU, ale nie ślad KV cache.
• Tym samym KV cache jest nieamortyzowalny podwójnie: ani przez batch, ani przez pipeline; już po dwóch etapach potoku dominuje pamięć.
• Praktyka (zgłaszana w paperze DeepSeek): maksymalny paralelizm ekspertowy aż do rozmiaru domeny scale-up i minimalny (zero do dwóch etapów) pipelining — czyli inferencja modeli frontier praktycznie mieści się w jednej domenie scale-up.
• Rozmiar domeny scale-up podnosi zagregowane pasmo odczytu wag (liczba GPU razy pasmo pojedynczego GPU), więc skraca latencję; to pasmo, nie pojemność, jest powodem, dla którego większe domeny są „odblokowaniem" — a większe pasmo to także praktyczniejsze długie konteksty.
• Przeskok między szafami kosztuje rzędu kilku milisekund na etap i sumuje się sekwencyjnie przy dekodowaniu: cztery etapy potrafią wydłużyć krok z 20 do około 30 milisekund.

Prose: paradoks pamięci rozwiązuje się w dwóch krokach. Po pierwsze „za dużo" dotyczy wag, które pipelining rozcina dowolnie, więc ich pojemnościowy problem jest rozwiązany; po drugie KV cache nie daje się ani amortyzować, ani rozciąć w potoku — i to on wyznacza prawdziwą ścianę. Prowadzący najpierw błądził („KV nie jest dzielone między warstwy, więc pipelining powinien pomagać") i Pope wyprowadza go z błędu: pomaga na wagach, lecz nie na aktywacjach, bo liczba sekwencji w locie rośnie o tyle samo, o ile spada przechowywanie per szafa.

Cytaty:

"Pipelining totally solves the capacity problem, but scale up size helps solve the bandwidth problem." -- [Pope], [01:18:22] Kryterium: [SYGNAŁ] Kontekst: Rozdzielenie dwóch problemów często mylonych jako jeden — dzięki niemu jasne jest, czemu kierunek rozwoju sprzętu (większe domeny, więcej kabli) jest właściwie skierowany na pasmo, a nie na pojemność.

"But at the same time, we have too much memory? People are willing to put too much memory into these systems?" -- [prowadzący], [01:04:04] Kryterium: [NAPIĘCIE] Kontekst: Pytanie wskazujące pozorną sprzeczność rynku pamięciowego; odpowiedź Pope'a (składnik wag jest amortyzowalny i rozcinany, KV nie) jest osią całego bloku 11. Uwaga: to replika prowadzącego, nie Pope'a.

[01:18:50 — 01:32:50] Alokacja budżetu obliczeniowego: pre-trening, RL i inferencja

Tezy:

• Heurystyka Pope'a: minimum sumy przeciwstawnych kosztów leży zwykle tam, gdzie oba są równe, więc koszt pre-treningu ≈ koszt RL ≈ koszt inferencji (podział w przybliżeniu na trzy równe części; sam autor oznacza to jako heurystykę i dopuszcza podział 50/50 między trening a inferencję).
• Formuły kosztu: pre-trening to słynne 6ND; RL ma mnożnik nieefektywności alfa szacowany na dwie dziesiąte (dekodowanie przy niższym MFU i trenowanie tylko części rolloutów); inferencja to 2ND z mnożnikiem beta rzędu jednej dziesiątej.
• Po skróceniu parametrów aktywnych wypada, że liczba tokenów inferencji ≈ liczba tokenów pre-treningu ≈ liczba tokenów RL — w granicach rzędu wielkości.
• Szacunek na palcach: około 50 milionów tokenów na sekundę przypadających na konkretny model, razy około dwa miesiące życia wersji, daje rząd 200 bilionów tokenów inferencji — zbieżne z plotkowymi około 150 bilionami tokenów pre-treningu; wobec prawidła Chinchilli (dwadzieścia tokenów na parametr aktywny, czyli około dwa biliony przy stu miliardach aktywnych) modele są „przetrenowane" rzędu stukrotnie.
• Korekta na ryzyko: przyszłe tokeny inferencji należy dyskontować, bo model, który przestanie być na froncie, zostanie wycofany — przewidywanie ruchu jest niedoskonałe.
• Prowadzący przekręca wynik w metaforę: jeśli tokeny inferencji mają równać się tokenom pre-treningu, a korpus pre-treningu to „suma ludzkiej wiedzy", to każdy model powinien w swoim życiu wygenerować sumę ludzkiej wiedzy.

Prose: to sekcja, w której metoda „przybliżaj wszędzie, błędy i tak są ogromne" jest zarazem najmocniejsza (pozwala oszacować dane treningowe GPT-5 z obserwowanego ruchu API) i najsłabsza (każde ogniwo kaskady ma niepewność rzędu wielkości, a mnożniki alfa i beta są ustawiane niemal dowolnie — Pope sam koryguje odwrotnie zapisany stosunek i przyznaje, że 30% „mogło być zbyt hojne"). Wartość leży w rzędzie wielkości i w procedurze, nie w liczbie [PEWNE jako procedura, SPEKULATYWNE co do wyników liczbowych].

Cytaty:

"This is why you should just approximate everywhere because there's so big error bars on this. But yeah, it's kind of empowering to just set A equal to B and figure it out." -- [Pope], [01:32:41] Kryterium: [META] Kontekst: Deklaracja epistemologii całego wykładu: zamiast wiedzy wewnętrznej z laboratoriów — modele pierwszych zasad, w których równanie dwóch kosztów daje rząd wielkości wystarczający do decyzji.

"the total amount of tokens that have gone into pre-training is the sum of all human knowledge. So each model should generate the sum of human knowledge on the output that it gets on the input." -- [prowadzący], [01:29:00] Kryterium: [NAPIĘCIE] Kontekst: Metafora przypisana prowadzącemu, nie Pope'owi — łączy prawidło rachunkowe z poetycką równością korpusu i generowania, ale zacierając różnicę między „danymi treningowymi" a „sumą wiedzy"; Pope nie potwierdza ani nie dementuje, tylko przechodzi do ryzyka przewidywania ruchu.

[01:32:51 — 02:03:50] Kryminalistyka cen API: próg 200 tysięcy, różnica wejście–wyjście i tiery pamięci

Tezy:

• Gemini 3.1 bierze o połowę więcej za konteksty powyżej 200 tysięcy tokenów: dwustopniowa taryfa na krzywej kosztu z punktem przegięcia sugeruje, że przejście z reżimu obliczeniowego w pamięciowy wypada u dostawcy około 200 tysięcy.
• Wsteczne przeliczenie tego progu daje około 1,6–2 kilobajtów na token KV cache — spójne z gęstą uwagą o globalnym kontekście dzielonym między warstwy (jak we wpisie Character AI i w modelach Gemma) oraz konfiguracją z ośmioma głowicami KV i d-head równym 128; alternatywnie z uwagą rozrzedzoną.
• Wypełnianie wstępne (pre-fill) jest ograniczone obliczeniami, a dekodowanie pasmem pamięci — stąd tokeny wejściowe są typowo trzy–pięć razy tańsze niż wyjściowe; przyjmując pięciokrotność, prowadzący i Pope wnioskują, że dekodowanie u dostawców jest „tremendously memory bandwidth bottlenecked".
• Cenniki trafień cache (dziesięć razy taniej przy trafieniu, drożej przy zapisie) to ekonomia dwóch sposobów wyprodukowania KV: rematerializacja (przeliczenie z tokenów) kontra przechowywanie w kolejnych tierach pamięci (HBM, DDR, Flash, dysk talerzowy).
• Reguła doboru tieru: przechowuj w tej pamięci, której „czas opróżnienia" (pojemność przez pasmo) jest rzędu planowanego czasu przechowywania; HBM opróżnia się w milisekundy, DDR w sekundy, Flash w minuty, dysk talerzowy w godzinę — stąd pięciominutowy i godzinowy czas życia cache w API pasują najpewniej do Flash i dysku talerzowego, a nie do HBM. Pope jest wyraźnie zaskoczony, że tak starej technologii (dysków talerzowych) w ogóle się używa.
• Wątek długich kontekstów: skok z 8 tysięcy do 100–200 tysięcy przy GPT-4, potem dwa lata plateau; Pope uważa, że to zbalansowany punkt kosztowy, a dróg przebicia ściany pasma HBM nie widać; sparse attention to „get-out", ale zbyt agresywna rozrzedza uwagi i pogarsza jakość.
• Meta-wniosek: dostawcy są motywowani cenami blisko kosztów, bo inaczej konkurencja ich arbitrażuje — dlatego cenniki „wyciekają" architekturę laboratoriów.

Prose: blok jest najbardziej spekulacyjny z metodologicznego punktu widzenia: od taryfy do parametrów uwagi to co najmniej trzy założenia (próg cenowy = punkt przegięcia kosztu, batch dostatecznie duży by zaniedbać wagi, aktywne parametry około 100 miliardów). Mimo to procedura jest reprodukowalna, a wyniki spójne z niezależnie znanymi szczegółami architektur (Character AI, Gemma) [PRAWDOPODOBNE]. Najmocniejszy wniosek ma naturę strukturalną: asymetria cen wejścia i wyjścia jest odczytem dwóch fizycznie różnych trybów pracy, a nie chwytem marketingowym.

Cytaty:

"So the result we want to work towards is that pre-fill is compute limited and decode is memory bandwidth limited." -- [Pope], [01:45:06] Kryterium: [DEFINICJA] Kontekst: Najbardziej użyteczna para pojęć całego wykładu dla czytelnika cenników API — wyjaśnia, dlaczego wejście i wyjście mają różne ceny i skąd bierze się ekonomia cache.

"I think that actually indicates that that's sort of the reasonably balanced cost point and going massively beyond that would be cost prohibitive. [...] I actually don't see a very good path to solving that. The HBM is at where it is." -- [Pope], [01:54:08 — 01:54:33] Kryterium: [PREDYKCJA] Kontekst: Konkretna, sprawdzalna prognoza: plateau długości kontekstów (100–200 tysięcy tokenów) utrzyma się, dopóki pasmo HBM nie ulegnie przełomowej zmianie; data weryfikacji — horyzont dwunastu do dwudziestu czterech miesięcy (2027-08).

[02:03:50 — 02:13:40] Kryptografia a sieci neuronowe: różniczkowalność i sieć Feistela

Tezy:

• Punkt wyjścia (z wpisu na blogu Pope'a): protokoły kryptograficzne i sieci neuronowe konwergują architektonicznie, bo oba muszą „zamieszać" informację po wszystkich wejściach — szyfr, by struktura stała się nierozróżnialna od losowości; sieć, by z pozornie losowych danych (sekwencje białek, DNA) wydobyć strukturę.
• Linią podziału jest różniczkowalność: sieć uczy się gradientem na liczbach rzeczywistych, a połączenia rezydualne i normalizacje warstw celowo utrzymują pochodną prostą; w kryptografii różniczkowanie szyfru (działającego na ciele dwuelementowym) to atak — kryptoanaliza różniczkowa, a dobrze zaprojektowany szyfr maksymalizuje zmianę wyjścia przy minimalnej zmianie wejścia.
• Wspólny grunt: przykłady adversarial (adwersarialne) — minimalna perturbacja wejścia totalnie zmienia wyjście — są w sieciach wadą, a w szyfrach wymaganą właściwością „lawiny"; backdoor we wstecznym przejściu to próba ukrycia wejścia gradientu.
• Konstrukcja sieci Feistela czyni dowolną funkcję odwracalną (pamiętaj jedno wejście, wyprowadź je wprost i dodaj funkcję drugiego); papery RevNet (2017–18) przenoszą ją do sieci neuronowych: cała sieć staje się odwracalna.
• Sens w treningu: przejście wsteczne może odtwarzać aktywacje w locie zamiast przechowywać ich ślad liniowy w HBM — płacąc obliczeniami, oszczędza się pamięć; to dokładna odwrotność KV cache (pamięć zamiast obliczeń) i przy obecnym sprzęcie relacja pamięć-za-obliczenia jest na ogół bardziej opłacalna.

Prose: temat końcowy luźno wiąże się z główną oś, ale domyka ją konceptualną ramą: na każdym poziomie (trening, inferencja, cache, szyfry) decyzja brzmi „co przechować, a co przeliczyć" — a czytając ją w drugą stronę, można z kryptografii importować konstrukcje do uczenia maszynowego. Prowadzący zaznacza, że backdoor w sieci to sytuacja, w której oba światy się stykają [PRAWDOPODOBNE jako analogia].

Cytaty:

"One of the biggest attacks against cryptographic ciphers is also to differentiate the cipher. [...] you can absolutely differentiate a cipher and this is called differential cryptanalysis and basically what it says is that if you take a small difference of the input it's quite difficult to make the difference of the output be small." -- [Pope], [02:06:18] Kryterium: [SYGNAŁ] Kontekst: Pokazuje, że gradient i atak różniczkowy to jedno zjawisko o przeciwnych celach — a tym samym, że własności, których uczenie maszynowe broni (gładkiej pochodnej), są dokładnie tym, czego kryptografia unika.

3. Rejestr prognoz

#	Prognoza	Kto mówi	Horyzont	Data weryfikacji	Falsyfikowalność
1	Długości kontekstów modeli frontier pozostaną na plateau 100–200 tysięcy tokenów; przekroczenie byłoby zaporowo drogie, a ściana pasma HBM nie ma na horyzoncie dobrego rozwiązania	Pope	bieżący / 12–24 miesiące	2027-08	Średnia: kryterium jasne (brak skoku długości kontekstu u głównych dostawców), ale z zastrzeżeniem, że sparse attention „może być już w cenie"
2	Uwaga rozrzedzona (sparse attention) stanie się ważnym kierunkiem w modelach frontier	Pope („I'm pretty excited", przyznaje, że nie wie, czego używają laboratoria)	nieokreślony	brak	Niska: brak horyzontu i kryterium sukcesu — sygnał kierunkowy, nie predykcja; słaba falsyfikowalność sama w sobie jest sygnałem ostrożności wypowiedzi

Rejestr jest celowo krótki: większość twierdzeń materiału to szacunki stanu obecnego (np. przetrenowanie względem Chinchilli, bajty na token Gemini), nie prognozy dotyczące przyszłych zdarzeń.

4. Detekcja technik retorycznych i błędów logicznych

Czas/Lokacja	Typ	Opis	Ocena wpływu na argumentację
01:20:57 — 01:32:50 (blok 12)	Heurystyka zamiast dowodu	Zasada „minimum sumy kosztów leży tam, gdzie koszty są równe" jest przyjęta bez wyprowadzenia, na podstawie analogii do krzywych potęgowych; sam Pope nazywa ją heurystyką i dopuszcza odpowiedź 50/50	Niski dla uczciwości (pełna transparentność), ale wysoki dla wyniku — cała tabela podziału budżetu (jedna trzecia na każdy z etapów) stoi na tym założeniu
01:30:40 — 01:32:50 (blok 12)	Kaskada przybliżeń prezentowana jako wynik	2,6 tryliona tokenów dzielone „na pięć–dziesięć" arbitralnie, plotkowe 150 bilionów tokenów treningowych, około 100 miliardów parametrów aktywnych — na tej kaskadzie powstaje teza o stukrotnym przetrenowaniu względem Chinchilli	Użyteczna jako rząd wielkości, nie jako fakt; Pope sam deklaruje „approximate everywhere", co zawczasu demontuje zarzut, ale nie redukuje niepewności
00:26:15 — 00:28:00 (blok 6)	Zakotwiczenie na jednej liczbie	Skala Gemini („setki milionów tokenów na sekundę") przywołana z pamięci i z komunikatów marketingowych dostawców, którzy mają interes w szczycieniu się skalą	Wniosek o progu wejścia na rynek (jedna tysięczna skali lidera) jest odporny na błąd mniejszy niż rząd wielkości, więc szkoda ograniczona — ale źródło jest słabe
00:53:11 — 00:54:42 (blok 10)	Apel do autorytetu (równoważony)	Wykład Horace'a He i opinia Ilji przeciw pipeline'owi są przywoływane jako autorytety; Pope nie podważa ich treścią, tylko waży koszty i korzyści	Napięcie pozostaje nierozstrzygnięte — materiał nie pokazuje, czy u Horace'a i Ilji chodzi o trening, inferencję, czy ograniczenia architektoniczne (Kimi)
01:05:00 — 01:13:00 (blok 11)	Modelowanie z założeniem idealności	Idealne rozcinanie wag i kontekstów po układach i szafach jest przyjęte „pomijając szczegóły" (hand-waving); przy tej konwencji wynik „P skraca się, więc pipelining nie pomaga KV" wynika z założeń, nie z empiryki	Wniosek jest fizycznie sensowny i zgodny z praktyką DeepSeek, ale alternatywy (nierównomierny routing, priorytetyzacja) są nierozważone
Całość	Kontekst motywacyjny / dobór akcentów	CEO producenta układów opowiada się za większymi domenami scale-up i nowymi projektami szaf — zbieżnie z tezą biznesową MatX; prowadzący jest aniołem inwestorem (ujawnione)	Algebra pozostaje sprawdzalna i nienaruszona, ale wybór „co jest odblokowaniem" jest nieswobodny; czytelnik powinien czytać fragmenty sprzętowe z poprawką

5. Analiza wieloperspektywiczna

Perspektywa ekonomiczna. Materiał pokazuje, że ceny usług AI są fizyką plus dyskryminacją cenową: z powodu spadku kosztu na token z rozmiarem batcha dostawca może sprzedawać szybszą usługę znacznie drożej, niż rosną jego koszty (sześciokrotność ceny za niewielkie przyspieszenie), bo niska latencja wymaga małych batchy, a małe batche to wysoki koszt jednostkowy. Perspektywa ujawnia też, co model fizyczny pomija: ile w cenie Fast Mode jest marży, a ile kosztu, nie da się odczytać z algebry na tablicy — tu kończy się moc predykcyjna materiału. Założenie Pope'a, że dostawców „trzyma przy kosztach" groźba arbitrażu, zakłada konkurencyjność rynku, której materiał nie bada.

Perspektywa socjologiczno-organizacyjna. Wykład eksponuje, że tempo postępu AI jest dziś współwyznaczane przez decyzje produktowe i fizykę budowy maszyn: przeskok z ośmiu do siedemdziesięciu dwóch układów w domenie nie był odkryciem, lecz zmianą form factoru. To odwraca potoczny obraz, w którym „badacze" ustalają kierunek — w tej opowieści architekci szaf, projektanci kabli i planiści zasilania ustawiają granice, w których badacze się poruszają. To także perspektywa wyjaśniająca centralizację: kto kontroluje fizyczne projekty domen, kontroluje dopuszczalne architektury.

Perspektywa filozoficzna. Finałowy wątek kryptograficzny ujawnia istotę epistemologiczną głębokiego uczenia: różniczkowalność, która jest warunkiem uczenia, jest jednocześnie dokładnie tą własnością, której kryptografia się wyprze. Przykłady adwersarialne i backdoory pokazują, że obie dziedziny spotykają się tam, gdzie jedna kończy się bezpieczeństwem, a druga zaczyna podatnością. Perspektywa rzuca światło na pytanie niewypowiedziane wprost: sieci neuronowe nie są „szyframi odwrotnymi", bo szyfru nie da się trenować — ale można je nawzajem infiltrować konstrukcjami (Feistel → RevNet).

6. Czego brakuje

Pytania, które powinny paść:

• Ile w cenie Fast Mode (sześciokrotności za przyspieszenie o czynnik dwa i pół) jest kosztem mniejszego batcha, a ile czystą marżą? Materiał wyjaśnia mechanizm, ale nikt nie dopytuje o strukturę ceny produktu.
• Co dzieje się z jakością przy ekstremalnym rozrzedzeniu współczesnych MoE — niestabilność treningu, balansowanie obciążenia ekspertów? Pope sam zastrzega, że wyniki z cytowanego paperu są wrażliwe na technikę, ale temat umyka po jednym wykresie ze starszej pracy.
• Czy laboratoria rozdzielają pre-fill i dekodowanie na osobne klastry (disaggregated serving), skoro ich fizyka jest tak różna? To naturalna konsekwencja asymetrii kosztów, a nie pada ani razu.
• Jaka jest realna strata sprawności względem modelu dachkowego (MFU) i gdzie ona powstaje? Materiał operuje dolnymi granicami, ale nie mierzy odstępstwa.

Pominięte kontrargumenty:

• Dekodowanie spekulacyjne (speculative decoding) — sam Pope zapowiada je na starcie jako drugi mechanizm Fast Mode i obiecuje powrót, po czym materiał kończy się bez słowa o nim. To największy pominięty wątek: drugi fizyczny mechanizm przyspieszania nie został przeanalizowany.
• Kwantyzacja KV cache (niższe precyzje dla pamiętanej historii) obniża bajty na token bezpośrednio i jest realną odpowiedzią na „ścianę pamięci" — w materiale w ogóle nierozważona mimo licznych rozważań o precyzji wag.
• Alternatywne drogi na ścianę pasma (obliczenia w pamięci, łączność optyczna, CXL) — poza stwierdzeniem „nie widzę dobrej drogi" nie zostały przejrzane ani odrzucone.

Brakujące dane:

• Rzeczywiste koszty marginalne tokena u dostawców oraz ich realne MFU — całe „czytanie architektury z cen" jest bez tego ćwiczeniem z założeń.
• Empiryczne krzywe jakości względem rozrzedzenia dla współczesnych, drobnoziarnistych MoE.
• Struktura ruchu: ile tokenów to pre-fill, ile dekodowanie — proporcja przesądza o ekonomii obu trybów.

Pominięte perspektywy:

• Operatorzy inferencji niezależni od laboratoriów (hostingu open-source), którzy płaciliby cennikową cenę za własną infrastrukturę i mogliby zweryfikować tezę o cenach blisko kosztów.
• Głos ekipy TPU Google — Pope sam zaznacza, że „nie było go wtedy" przy podejmowaniu decyzji o wielkich domenach, więc hipoteza o przewadze Gemini w pre-treningu jest z zewnątrz.
• Perspektywa użytkownika trybu wolnego: czy minuty oczekiwania byłyby akceptowalne produktowo, nawet jeśli oszczędność jest fizykalnie mała.

Tematy-duchy:

• Konflikt interesów prowadzącego: ujawniony, ale nikt nie pyta, jak inwestycja w MatX wpływa na dobór tez odcinka i fakt, że gościem jest właśnie CEO tej firmy.
• Geopolityka pasma i pamięci: przy twierdzeniu, że hiperscalerzy wydają połowę nakładów na pamięć, naturalne pytanie o łańcuch dostaw HBM i kontrolę eksportu wisi w powietrzu.
• Energia: przy omawianiu fizyki szaf pojawiają się zasilanie i chłodzenie jako ograniczenia, ale koszt i dostępność energii jako ograniczenie całej branży — nieobecne.

7. Wnioski końcowe

Synteza. Materiał dostarcza jeden spójny aparat myślowy: dwa fizyczne zegary (pasmo pamięci i moc obliczeniowa) oraz amortyzacja przez batch wyjaśniają ceny API, latencję, długość kontekstu i tempo wzrostu rozmiarów modeli. Siłą wykładu jest zdolność predykcyjna przy minimalnym modelu: stała sprzętowa około 300, krok dwudziestu milisekund jako czas opróżnienia HBM, dwustutysięczny kontekst jako punkt przegięcia kosztu — z takich liczb da się czytać taryfy i komunikaty dostawców jak teksty zaszyfrowane. Słabością jest oparcie kluczowych szacunków na kaskadach przybliżeń i na heurystyce równych kosztów, pominięcie zapowiedzianego wątku dekodowania spekulacyjnego oraz nieswobodny dobór sprzętowych akcentów zgodny z interesem zawodowym wykładowcy.

Centralne napięcie. KV cache jest jedynym składnikiem systemu, który nie poddaje się żadnej znanej amortyzacji — ani przez batch (jest unikalny dla sekwencji), ani przez pipeline (mikro-batche anulują oszczędność). Na tej nieredukowalności opierają się wszystkie pokazane ściany: latencja minimalna, plateau długości kontekstu, różnica cen wejścia i wyjścia, nawet ekonomia cache. Jedyny znany wyłaz — uwaga rozrzedzona — kosztuje jakość modelu, więc napięcie pozostaje strukturalne, nie inżynieryjne.

Data przydatności. Liczbowe stałe sprzętowe (około 300, ośmiokrotność scale-out, dwadzieścia milisekund) zestarzeją się z kolejnymi generacjami układów (Rubin i dalej, 2026–27); wnioski strukturalne — amortyzacja wag, twardość KV cache, rozdział pre-fill/decode — są trwalsze. Prognozę o plateau kontekstów weryfikujemy na horyzoncie do 2027-08.

8. Źródła zewnętrzne

#	Wzmianka w materiale	Kto wspomniał	Forma (deklarowana)
1	„Unified Laws for Routed Language Models" — krzywe jakości względem liczby ekspertów przy stałej liczbie parametrów aktywnych	Pope	paper
2	DeepSeek V3 (ASR: „DeepSeq") — około 37 miliardów aktywnych z około 700 miliardów parametrów całkowitych; 256 ekspertów przy aktywacji ósmej części; publikacje o uwadze rozrzedzonej z pierwiastkiem w koszcie pamięci	Pope	model + papery
3	GShard i Switch Transformer — wcześniejsze techniki MoE (od około 2017 roku)	Pope	papery
4	Wpis na blogu Character AI o gęstej uwadze z dzielonym globalnym kontekstem i naprzemiennymi warstwami długiego i krótkiego kontekstu; motyw obecny też w modelach Gemma	Pope	post blogowy
5	„Scaling book" Pope'a — prowadzący pobrał ją do przygotowań do rozmowy [PRAWDOPODOBNE chodzi o „How to Scale Your Model"; tytuł w materiale nie pada]	prowadzący	książka/skrypt
6	Prywatny wykład Horace'a He (ASR: „Horacy") o wielkoskalowym pre-treningu dla prowadzącego i jego znajomych	prowadzący	wykład (prywatny)
7	Opinia Ilji (Sutskevera — nazwisko nie pada, [PRAWDOPODOBNE]): „dziś wiemy, żeby nie robić pipeline parallelism"	prowadzący	talk
8	Twierdzenie „Dylana" (Patel, SemiAnalysis — [PRAWDOPODOBNE]): hiperscalerzy wydają w tym roku około połowę nakładów inwestycyjnych na pamięć	prowadzący	ustna wzmianka
9	Papery o sieciach odwracalnych (RevNet, 2017–18) i konstrukcja sieci Feistela w kryptografii	Pope	papery / konstrukcja klasyczna
10	Kryptoanaliza różniczkowa jako atak na szyfry; analogia do przykładów adwersarialnych	Pope	technika dziedziny
11	Publiczne cenniki API: Fast Mode w Claude/Codex/Cursor (sześciokrotność ceny za przyspieszenie), Gemini 3.1 (pięćdziesiąt procent drożej powyżej 200 tysięcy tokenów), różnica cen wejścia i wyjścia (trzy–pięć razy), TTL cache (pięć minut i godzina) przy dziesięciokrotnie tańszych trafieniach	prowadzący	cenniki publiczne
12	Kimi — połączenia rezydualne, w których uwaga sięga warstw wcześniejszych, utrudniające cięcie potoku	prowadzący	model