AI Skaleerimisseaduste selgitus: kas üldine tehisintellekt on lähemal, kui me tegelikult arvame?

Nurk. AI's Tõus järgib sama seaduspärasusi kui kõik füüsikaseadused: rohkem arvutusvõimsust, paremad algoritmid ja rohkem andmeid ostavad prognoositavat kasu ning ülesande pikkus, mille piirimudeli abil saab iseseisvalt lõpule viia, on alates 2023. aastast kahekordistunud umbes iga nelja kuu tagant.

Üldine tehisintellekt ei ole lüliti, mis ühel päeval ümber lülitub. See on trepp ja digitaalsete, täpselt määratletud tööde puhul ronime seda kiiresti. Uudsete, avatud ja füüsiliste tööde puhul on trepid endiselt järsud.

Trikk

Palu vestlusrobotil kirjutada sonett, parandada sinu koodi või selgitada sinu vereanalüüsi tulemusi ja see tundub nagu maagia. Trikk töötab, sest sa näed ainult lava. Lava taga pole võlurit. On kolm ketast ja elektriarve.

1. Esimene valik on arvutus: mitu arvutust mudeli treenimiseks kulub.
2. Teine on algoritmid: kui nutikalt iga arvutust kasutatakse.
3. Kolmas on andmed: kui palju teksti, koodi ja videot mudel õpib.

Alates 2024. aastast on neile lisandunud neljas ketas: mõtlemisaeg – arvutusaeg, mille mudel enne vastuse andmist arutleb. Keera ketast suuremaks ja jõudlus paraneb märkimisväärselt prognoositaval viisil.

See ennustatavus ongi tõeline ilmutus. Isaac Newton andis meile seadused, mis kirjeldavad asjade liikumist. AI teadlased on leidnud seaduspärasusi, mis kirjeldavad, kuidas intelligentsus, vähemalt masinalaadne, ressurssidega paraneb. Nagu Newton's seadused, toimivad nad oma ulatuse piires suurepäraselt ja murduvad servades. See teos käsitleb mõlemat: seadusi ja servi.

Mojo's Seadus: närvilise skaleerimise seadus

2020. aasta jaanuaris osales Openi meeskondAI eesotsas Jared Kaplan näitas, et keelemudel's viga, selle „kaotus“, langeb selle treenimiseks kasutatud arvutuse sujuva astmefunktsioonina. Kirjutatult on see peaaegu pettumust valmistavalt lihtne:

L(C) = \left(\frac{C_c}{C}\right)^{\alpha_C}, \qquad \alpha_C \approx 0.050

L on kaotus, C on treeningarvutus ja C_c on konstant. Kogu lugu on astendaja. Kui α on umbes 0.05, siis arvutuse korrutamine 10-ga vähendab kaotust vaid umbes 11% võrra, sest 10 astmes miinus 0.05 on umbes 0.89. Iga kümnekordne samm annab sarnase, tagasihoidliku paranemise igaveseks, kuni midagi muud otsa saab. Kaplan's meeskond leidis mudeli suuruse ja andmete jaoks sobivad astmeseadused.

Kaks aastat hiljem parandas DeepMindi Chinchilla artikkel (Hoffmann ja kolleegid, märts 2022) retsepti. Fikseeritud eelarve korral peaksid parameetrid ja treeningtokenid koos kasvama, mis teeb umbes 20 treeningandmete tokenit parameetri kohta . Chinchilla, millel oli 70 miljardit parameetrit, mida treeniti 1.4 triljonil tokenil, edestas sama arvutusvõimsusega treenitud mudelit, mis oli sellest neli korda suurem.

Ja näidikud mitmekordistuvad. Kui piirialade treeningarvutus kasvab umbes 5 korda aastas (Epoch AI) ja paremad algoritmid vähendavad sama tulemuse saavutamiseks vajalikku arvutusmahtu poole võrra iga 8 kuu tagant (Ho ja kolleegid, 2024), siis parima mudeli efektiivne arvutusmaht kasvab umbes 14 korda aastas, sest 2 astmes 12/8 on umbes 2.8 ja 5 korda 2.8 on 14. See on Mojo aritmeetika, mitte mõõdetud arv, aga see selgitab, miks iga aasta mudelid tunduvad erineva liigina.

Mida need näidikud tegelikult näitavad?

Kõik neli ketast pöörlevad endiselt, kuid andmeketas läheneb peatumisele.

Arvuta. Ajastu AI Hinnangute kohaselt on piirialade koolituse arvutusmaht alates 2020. aastast kasvanud umbes 5 korda aastas, kusjuures koolituskulud on kasvanud umbes 3.5 korda aastas. GPT-3 treeniti 2020. aastal umbes 3 × 10^23 operatsiooniga; GPT-4 umbes 2 × 10^25 operatsiooniga 2023. aastal.

Ajastu's Suurim hinnang 2026. aasta jooksuks, OpenAI's GPT-6 Astra suurus on umbes 9 × 10^26 ja ühtegi katset 10^27 suuruse suurusega pole veel kinnitatud. Epoch hindas, et Grok 4 treenimine 2025. aastal kasutas umbes 310 gigavatt-tundi elektrit ja maksis umbes 490 miljonit dollarit.

Algoritmid. Anson Ho ja tema kolleegide 2024. aasta uuring näitas, et keelemudeli jõudluse fikseeritud taseme saavutamiseks vajalik arvutusvõimsus väheneb umbes iga 8 kuu tagant, kuigi suuremad arvutusvõimsused tegid ikkagi rohkem tööd.

Andmed. See on peatusmärgiga sihverplaat. Epoch AI hinnangud avaliku sektori varade mahu kohta inimese kirjutatud tekst umbes 300 triljoni tokeni juures ja eeldatakse, et seda kasutatakse täielikult treeninguks kuskil aastatel 2026–2032. Nüüd oleme selles ajavahemikus. Laborid pöörduvad sünteetiliste andmete, litsentsitud andmete, video ja mudelite enda arutlusjälgede poole.

Mõtlemisaeg. Uusim skaala. 2024. aasta septembris näitas OpenAI o1, et mudeli pikema arutlusaja lubamine suurendab täpsust sujuvalt: 2024. aasta matemaatikavõistlusel saavutas see ühe katsega 74% ja 1,000 katse valimi ja ümberjärjestamise korral 93%, võrreldes GPT-4o 12%-ga. 2024. aasta uuring näitas, et järeldusarvutuste targalt kulutamine võimaldas väikesel mudelil edestada 14 korda suuremat mudelit.

Richard Sutton's 2019. aasta essees „Mõru õppetund“ nähti seda ette: male, go, kõne ja nägemise puhul on üldised meetodid, mis kasutavad rohkem arvutusi, iga kord võitnud nutikalt käsitsi loodud teadmisi. Kuus aastat hiljem on see õppetund ikka veel valus.

Mida ütleb füüsika piiride kohta?

Ülaltoodud tarkvaraseadused kehtivad riistvara kohta ja riistvara vastab füüsikale. Kogu arutelu raamivad kolm numbrit.

Kiibid muutuvad ikka kiiremaks, lihtsalt mitte vanaviisi. Moore'i seadus, mis kahekordistab transistoride arvu umbes iga kahe aasta tagant, on aeglustunud; Nvidia Jensen Huang kuulutas selle 2022. aastal surnuks.

Kuid Nvidia's Andmekeskuse kiibid tõstsid tiheda 16-bitise jõudluse oma spetsifikatsioonide kohaselt umbes 125 triljonilt operatsioonilt sekundis V100-l (2017) umbes 4,000 triljonini Rubinil (2026), mis on üheksa aasta jooksul umbes 32 korda. Suurem osa kasust tuli spetsiaalsest disainist ja madalama täpsusega matemaatikast, mitte väiksematest transistoridest.

Ajastu AI meetmed masinõppe riistvara muutudes iga 2.1 aasta järel umbes kaks korda kulutõhusamaks.

Su aju on piinlikult tõhus. Inimese aju töötab umbes 20 vatti energiatarbega, vastavalt USA Riiklikule Standardite ja Tehnoloogia Instituudi andmetele. Üks Nvidia H100 tarbib umbes 700 vatti. Open Philanthropy parim oletus aju toore arvutusvõimsuse kohta on umbes 10^15 operatsiooni sekundis, umbes sama palju kui üks H100 pakub. Võrdlus on nagu õunad apelsinidega, kuid efektiivsuse erinevus on reaalne ja näitab, kui palju ruumi riistvaral veel on.

Põrand on olemas. Landaueri printsiip, mis esitati 1961. aastal ja kinnitati eksperimentaalselt 2012. aastal, määrab minimaalse energia, mis on vajalik ühe biti informatsiooni kustutamiseks toatemperatuuril: umbes 3 × 10^-21 džauli. Tänapäeva kiibid kasutavad sellest palju suurusjärke rohkem. Füüsika ei ole veel siduv piir. Elektrijaamad on.

Rahvusvaheline Energiaagentuur's 2025. aasta energia ja AI Aruande kohaselt kasutasid andmekeskused 2024. aastal umbes 415 teravatt-tundi elektrit, mis moodustab umbes 1.5% maailma tarbimisest.'s kokku ja prognoositakse 2030. aastaks umbes 945 teravatt-tundi.

Küsimuse kohta on numbrid väikesed ja langevad: Google mõõtis 2025. aasta mais Geminitele saadetud tekstisõnumite keskmise energiatarbimiseks 0.24 vatt-tundi, mis on veidi alla Epoch AI-le vastava näitaja.'s hinnanguliselt umbes 0.3 vatt-tundi tüüpilise ChatGPT päringu kohta selle aasta alguses ja Google teatas 33-kordsest energialangusest päringu kohta 12 kuu jooksul.

Konks on Jevonsi paradoks: iga päringu odavnedes küsime neid miljardeid rohkem.

Mojo horisondi kell: kui kaua see kestab AI töötada omal käel?

2019. aastal sai GPT-2 hakkama umbes 3 sekundiliste ülesannetega. 2026. aasta aprillis METR's esialgne hinnang inimtegevuse kohta's Claude Mythose eelvaade kestis üle 16 tunni.

See on umbes 21 000-kordne suurenemine seitsme aasta jooksul. Kui ma sobitasin iga uue rekordi trendijoonega, siis kahekordistus horisont aastatel 2019–2026 umbes iga 6 kuu järel ja alates 2023. aastast umbes iga 4.1 kuu järel . METR-i enda 2026. aasta jaanuari värskendus andis 2023. aasta järgseks kahekordistumise ajaks umbes 4.3 kuud, seega on meie sõltumatu lähendus kooskõlas.

Pikendades 2023. aasta järgset joont puhtalt illustreerimiseks, ületab see 40-tunnise töönädala 2026. aasta lõpu paiku ja 167-tunnise töökuu 2027. aasta teisel poolel.

Nüüd hoiatused, sest need on olulised.

1. Esiteks, 50% edu ei ole usaldusväärsus; 80% edu korral on silmapiirid palju lühemad.
2. Teiseks on need iseseisvad tarkvarad ja uurimisülesanded, mitte segased tööd kolleegide, klientide ja füüsiliste objektidega.
3. Kolmandaks, mõõdupuu ise on katki läinud: METR väidab, et nende hinnangud üle 16 tunni on ebausaldusväärsed ning ettevõte lõpetas oma edetabeli aktiivse uuendamise 2026. aasta septembris.

Kui joonlaud saab otsa enne mõõdetavat eset, on see juba iseenesest signaal.

Miks võrdlusnäitajad pidevalt langevad?

Sest mudelid täiustuvad ja võrdlusalused on eesmärgid. Mõlemad on tõesed ja teine ​​on põhjus, miks ma suhtun igasse edetabelisse hoolikalt.

Kõige rabavam juhtum on ARC-AGI-3, mille ARC Prize Foundation käivitas 25. märtsil 2026 interaktiivsete mõistatuste komplektina ilma juhisteta, mida inimesed saavad hõlpsalt lahendada. Turuletoomise ajal oli parim AI sai 0.51%. 3. septembril 2026 kinnitas ARC auhind OpenAI-d's GPT-6 Astra saavutas standardtesti seadistuses 62.7%. (Viraalsed väited 98–99% kohta pärinesid teisest seadistusest, mida ARC Prize standardiks ei loe.) Aastaid vastu pidama loodud võrdlusalus kaotas suurema osa oma potentsiaalsusest umbes kuue kuuga.

Mujal kordub muster. SWE-bench Verifiedil kodeerimise osakaal tõusis 4.4%-lt 2023. aastal umbes 96%-le teenusepakkujate esitatud 2026. aasta tulemustes, mis tähendab, et see ei erista enam parimaid mudeleid. 2025. aasta juulis Google DeepMind's Gemini Deep Think lahendas kuuest rahvusvahelise matemaatikaolümpiaadi ülesandest viis, saades ametliku hindesüsteemi alusel 42 punktist 35, mis on kuldmedali standard.

Siinne objektiiv on Goodhart.'s seadus: kui mõõdikust saab sihtmärk, lakkab see olemast hea mõõdik. Laborid treenivad kuulsate võrdlusaluste poole; testküsimused lekivad treeningandmetesse. See ei muuda edusamme võltsiks. See tähendab, et ausad mõõdikud on need, mis näevad välja nagu päris töö, näiteks METR.'s ajahorisondid ja need, mis on masinate jaoks endiselt keerulised ja inimeste jaoks lihtsad, näiteks ARC-AGI-3 ja Humanity's Viimane eksam ilma tööriistadeta, kus parim ametlik tulemus oli 38.3%.

Kui lähedal AGI siis on?

Ekraanidel lähemal kui mujal maailmas ja lähemal, kui enamik inimesi väljaspool valdkonda arvab. Kuid „AGI” tähendab igale inimesele erinevat asja, mis on pool põhjusest, miks arutelu ringiratast liigub.

Definitsioonid. Google'i DeepMindi raamistik „Levels of AGI” (Morris ja kolleegid, 2023) hindab süsteeme kahel teljel: kui hästi need toimivad ja kui üldised nad on, ning liigitas tolleaegsed vestlusrobotid „tekkivateks” AGI-deks. Laborijuhid räägivad süsteemidest, mis suudavad teha kõige majanduslikult väärtuslikumat tööd; Anthropicu Dario Amodei kirjeldab „geeniuste riiki andmekeskuses”. Skeptikud defineerivad seda kui inimlikku kogemustest õppimist, mida praegused mudelid ei tee.

Prognoosid.

Laborijuhid on agressiivsemad: jaanuaris 2026, Anthropic's Dario Amodei kirjutas sellest võimast AI võib juhtuda ühe kuni kahe aasta pärast. Demis Hassabis ütles 2023. aastal, et see võib juhtuda kümne aasta jooksul. Yann LeCun, kes lahkus Metast ja kogus uue labori jaoks 1.03 miljardit dollarit, nimetab suuri keelemudeleid ummikteeks ning Richard Sutton väidab, et need pigem jäljendavad kui õpivad.

Mojo kolm väravat. Ühe finišijoone asemel jälgin kolme, millest igaühel on mõõdetav test.

Värav	test	Staatus, november 2026	Mojo's lugenud
1. Digitaalne autonoomia	AI teeb nädala jooksul reaalset tarkvara- või uurimistööd kõrge usaldusväärsusega	50% horisondist möödub 16 tundi; usaldusväärsed horisondid on palju lühemad; mõõtmistulemused on katkendlikud.	Usaldusväärne 1–3 aasta jooksul
2. Uudsus	Inimtasemel mõistatused, mis on inimestele lihtsad ja masinate jaoks uued (ARC-AGI-3)	Parim kontrollitud 62.7%; inimestel 100%	Kiire sulgemine; tõenäoline 1–2 aasta jooksul
3. Füüsiline maailm	Robotid teevad üldist füüsilist tööd konkurentsivõimelise hinnaga	Kulukonkurentsivõimeline umbes 0.3% füüsiliste ülesannete puhul (Anthropic, september 2026)	Kümme aastat või rohkem

Minu hinnang: tehisintellekti digitaalne pool on enne 2030. aastat reaalne võimalus. Füüsiline pool ehk see osa, mis pesu voldib, boilereid parandab ja haigeid põetab, on palju kaugemal. Moravec's Paradoks kehtib endiselt: mis on meile raske, on masinatele lihtne ja mis on meile lihtne, on neile raske. Igaüks, kes ütleb, et üldine tööstusdisain saabub ühel kindlal kuupäeval, müüb midagi maha.

Nõude kontroll

nõue	Kes seda teeb	MES	Mojo's lugenud
Skaalaseadused kehtivad endiselt	AI laborid, Epoch AI	4 tugev	Kaotus väheneb arvutuste arvuga; andmevalija on siduv risk
AI on "vastu seina jooksmine"	Skeptikud, perioodiliselt	0 Ei pidanud vastu	Silmapiirid ja kõvad võrdlusalused tõusid kogu 2026. aasta jooksul
Ülesannete horisont kahekordistub iga 4–7 kuu tagant	MEETER	4 tugev	Meie enda sobivuse poolt kinnitatud; mõõtmised katkevad üle 16 tunni
AI võita inimesi matemaatikaolümpiaadi tasemel	Google DeepMind	4 tugev	Ametlikult hinnatud kuldstandard, juuli 2025
AGI saabub 2027. aastaks	Mõned laborijuhid	1 nõue	Oleneb definitsioonist; digitaalne pool on varsti usutav
LLM-id on tupiktee	Yann LeCun	1 nõue	Tõsine vähemuse seisukoht; tulemused ei näita veel kindlat lage
AI energiakulu päringu kohta on väike	Google, OpenAI	3 Paljutõotav	Enesehinnangu põhjal, kuid kooskõlas Epoch AI-ga's sõltumatu hinnang
Meil saavad treeningandmed otsa	Epochi tehisintellekt	3 Paljutõotav	Aken aastatel 2026–2032 on avanenud; sünteetilised andmed on lahtine küsimus

Vastunurk

Kõige tugevam argument minu lugemise vastu on see, et ma ajan mõõdupuu asja endaga segi. Ajahorisondid ja võrdlusalused on teadlaste loodud testid ning mudeleid treenitakse üha enam testide läbimiseks.

Ma võtan seda tõsiselt ja seepärast vajavad minu väravad usaldusväärset tööd nädala jooksul ning füüsiline värav jääbki kaugele. Kuid see trend on seitsme aasta jooksul üle elanud mitu mõõdupuu vahetust. Kui iga uus test langeb kiiremini kui eelmine, on kõige tõenäolisem seletus see, et mõõdetav asi tõesti paraneb.

Mojo's Prognoosid

1. METR-i või võrreldava sõltumatu hindaja avaldatud hinnang paneb mudeli paika's 50% ajahorisont üle 40 tunni 31. detsembriks 2027. Tõenäosus: 60%.
2. ARC-AGI-3 skaalal skoor 85% või rohkem's ARC Prize kinnitab standardse testi seadistuse 31. detsembriks 2027. Tõenäosus: 55%.
3. Ajastu AI prognoosib 31. detsembriks 2027 koolitusperioodiks üle 10^27 operatsiooni. Tõenäosus: 85%.

Kõik kolm lähevad Mojo ennustuste arvestusse ja nende punktid avaldatakse avalikult.

Kus seda järgmisena arutatakse

KKK