AI Законы масштабирования объяснены: действительно ли искусственный общий интеллект ближе, чем мы думаем?

Ракурс. AI's Рост подчиняется законам, столь же закономерным, как и любые законы физики: больше вычислительных мощностей, лучшие алгоритмы и больше данных обеспечивают предсказуемый прирост, а продолжительность задачи, которую передовая модель может выполнить самостоятельно, удваивается примерно каждые четыре месяца с 2023 года.

Автоматизированный общий интеллект (AGI) — это не выключатель, который включается однажды. Это лестница, и в цифровой, четко определенной работе мы поднимаемся по ней быстро. В новой, открытой и физической работе лестница по-прежнему остается крутой.

Хитрость

Попросите чат-бота написать сонет, исправить ваш код или объяснить результаты анализа крови, и это будет похоже на волшебство. Фокус работает, потому что вы видите только сцену. За кулисами нет никакого волшебника. Есть три циферблата и счет за электроэнергию.

1. Первый параметр — вычислительные ресурсы: сколько вычислений требуется для обучения модели.
2. Второй аспект — это алгоритмы: насколько грамотно используется каждое вычисление.
3. Третий фактор — это данные: сколько текста, кода и видео модель использует для обучения.

Начиная с 2024 года, к ним добавился четвертый параметр: время обдумывания, то есть вычислительные ресурсы, которые модель тратит на рассуждения, прежде чем дать ответ. Увеличение любого параметра приводит к удивительно предсказуемому росту производительности.

Именно эта предсказуемость и является настоящим откровением. Исаак Ньютон дал нам законы, описывающие движение вещей. AI Исследователи обнаружили законы, описывающие, как интеллект, по крайней мере машинный, улучшается с увеличением ресурсов. Подобно Ньютону.'s Законы прекрасно работают в пределах своего диапазона и нарушаются на его границах. Эта статья посвящена и законам, и их границам.

Mojo's Закон: закон нейронного масштабирования

В январе 2020 года команда на OpenAI во главе с Джаред Каплан показала, что языковая модель's Ошибка, или её «потери», убывает по степенному закону в зависимости от вычислительных ресурсов, использованных для её обучения. В письменном виде это выглядит до боли просто:

L(C) = \left(\frac{C_c}{C}\right)^{\alpha_C}, \qquad \alpha_C \approx 0.050

L — это функция потерь, C — вычислительная мощность обучения, а C_c — константа. Показатель степени — это всё, что нужно знать. При α около 0.05 умножение вычислительной мощности на 10 уменьшает потери всего примерно на 11%, потому что 10 в степени минус 0.05 — это примерно 0.89. Каждый десятикратный шаг обеспечивает аналогичное, скромное улучшение, и так будет продолжаться бесконечно, пока не закончится что-то ещё. Каплан's Команда обнаружила степенные законы, совпадающие по размеру модели и объему данных.

Два года спустя в статье DeepMind о модели Chinchilla (Хоффманн и коллеги, март 2022 г.) была внесена поправка в методику. При фиксированном бюджете количество параметров и обучающих токенов должно расти вместе, что составляет примерно 20 токенов обучающих данных на один параметр . Модель Chinchilla, имеющая 70 миллиардов параметров и обученная на 1.4 триллионах токенов, превзошла модель в четыре раза большего размера, обученную на тех же вычислительных мощностях.

И цифры увеличиваются. Если вычислительные ресурсы для обучения лучших моделей растут примерно в 5 раз в год (Epoch AI), а более совершенные алгоритмы уменьшают вдвое вычислительные ресурсы, необходимые для достижения того же результата, примерно каждые 8 ​​месяцев (Хо и коллеги, 2024), то эффективные вычислительные ресурсы, лежащие в основе лучшей модели, увеличиваются примерно в 14 раз в год, потому что 2 в степени 12/8 — это примерно 2.8, а 5 умножить на 2.8 — это 14. Это арифметические расчеты Mojo, а не измеренная цифра, но они объясняют, почему модели каждого года кажутся совершенно другими.

Какие показания на самом деле отображают циферблаты?

Все четыре циферблата продолжают вращаться, но циферблат с данными приближается к своему пределу.

Вычислить. Эпоха AI По оценкам, вычислительные мощности, необходимые для обучения моделей на переднем крае вычислительной мощности, увеличивались примерно в 5 раз в год с 2020 года, а затраты на обучение росли примерно в 3.5 раза в год. В 2020 году модель GPT-3 была обучена примерно за 3 × 10^23 операций; модель GPT-4 — примерно за 2 × 10^25 операций в 2023 году.

Эпоха's крупнейший прогнозируемый период работы в 2026 году, OpenAI's Мощность GPT-6 Astra составляет примерно 9 × 10^26, а мощность ни одного запуска, достигавшая 10^27, пока не подтверждена. По оценкам Epoch, обучение Grok 4 в 2025 году потребовало бы около 310 гигаватт-часов электроэнергии и обошлось бы примерно в 490 миллионов долларов.

Алгоритмы. Исследование, проведенное в 2024 году Энсоном Хо и его коллегами, показало, что вычислительные мощности, необходимые для достижения фиксированного уровня производительности языковой модели, сокращаются примерно вдвое каждые 8 ​​месяцев, хотя более мощные вычислительные мощности по-прежнему выполняют большую часть работы.

Данные. Это циферблат с ограничителем. Эпоха AI оценивает запасы общественного текст, написанный человеком Объем рынка составляет около 300 триллионов токенов, и ожидается, что он будет полностью использован для обучения где-то между 2026 и 2032 годами. Сейчас мы находимся в этом временном окне. Лаборатории обращаются к синтетическим данным, лицензированным данным, видео и собственным логикам рассуждений моделей.

Время на обдумывание. Новейший индикатор. В сентябре 2024 года модель o1 от OpenAI показала, что предоставление модели больше времени на обдумывание ответа плавно повышает точность: на математическом конкурсе 2024 года она набрала 74% с одной попытки и 93%, когда могла выбрать и переранжировать 1,000 попыток, против 12% у GPT-4o. Исследование 2024 года показало, что разумное использование вычислительных ресурсов для вывода позволило небольшой модели превзойти модель, в 14 раз превышающую её по размеру.

Ричард Саттон's В эссе 2019 года «Горький урок» это было предсказано: в шахматах, го, речи и зрении общие методы, использующие больше вычислительных ресурсов, каждый раз превосходили тщательно разработанные вручную знания. Спустя шесть лет этот урок по-прежнему болезненный.

Что говорит физика о пределах?

Приведенные выше законы программного обеспечения работают на аппаратном обеспечении, а аппаратное обеспечение отвечает законам физики. Три числа определяют всю суть дискуссии.

Процессоры продолжают ускоряться, но уже не по-старому. Закон Мура, определяющий удвоение количества транзисторов примерно каждые два года, замедлился; Дженсен Хуанг из Nvidia назвал его устаревшим еще в 2022 году.

Однако Nvidia's По собственным спецификациям, производительность 16-битных процессоров для центров обработки данных выросла примерно со 125 триллионов операций в секунду на V100 (2017 г.) до примерно 4,000 триллионов на Rubin (2026 г.), то есть примерно в 32 раза за девять лет. Большая часть прироста была достигнута за счет специализированной конструкции и математических вычислений с более низкой точностью, а не за счет уменьшения размеров транзисторов.

Эпоха AI меры аппаратное обеспечение для машинного обучения Экономическая эффективность увеличивается примерно вдвое каждые 2.1 года.

Ваш мозг невероятно эффективен. По данным Национального института стандартов и технологий США, человеческий мозг потребляет около 20 ватт. Одна видеокарта Nvidia H100 потребляет около 700 ватт. По оценке Open Philanthropy, вычислительная мощность мозга составляет примерно 10^15 операций в секунду, что примерно соответствует производительности одной видеокарты H100. Сравнение некорректно, но разница в эффективности реальна и указывает на то, какой огромный потенциал у аппаратного обеспечения.

Существует нижний предел. Принцип Ландауэра, предложенный в 1961 году и экспериментально подтвержденный в 2012 году, устанавливает минимальную энергию, необходимую для стирания одного бита информации при комнатной температуре: около 3 × 10⁻²¹ джоулей. Современные микросхемы используют на много порядков больше этой энергии. Физика пока не является пределом. Пределом являются электростанции.

Международное энергетическое агентство's Энергетика и 2025 год AI По оценкам, в 2024 году центры обработки данных потребили около 415 тераватт-часов электроэнергии, что составляет примерно 1.5% от мирового потребления.'s в общей сложности, и прогнозируется около 945 тераватт-часов к 2030 году.

Что касается вопросов, то цифры невелики и продолжают снижаться: по данным Google, в мае 2025 года медианное потребление текстовых запросов к Gemini составило 0.24 ватт-часа, что немного ниже показателей эпохи искусственного интеллекта.'s По оценкам, типичный запрос в ChatGPT потреблял около 0.3 ватт-часа в начале того года, а Google сообщила о 33-кратном снижении энергопотребления на один запрос за 12 месяцев.

Суть в парадоксе Джевонса: по мере того, как каждый запрос становится дешевле, мы запрашиваем их миллиарды раз больше.

Часы Mojo Horizon: как долго они могут работать? AI Работает ли это само по себе?

В 2019 году GPT-2 справлялся с задачами примерно за 3 секунды. В апреле 2026 года METR's предварительная оценка для Anthropic's Предварительный просмотр работ Клода Мифоса длился более 16 часов.

Это примерно 21 000-кратное увеличение за семь лет. Когда я построил линию тренда для каждого нового рекорда, горизонт удваивался примерно каждые 6 месяцев в период с 2019 по 2026 год и примерно каждые 4.1 месяца с 2023 года . В собственном обновлении METR за январь 2026 года указано, что время удвоения после 2023 года составит около 4.3 месяца, поэтому наша независимая модель согласуется с этим.

Если продолжить рассмотрение периода после 2023 года, то к концу 2026 года рабочая неделя достигнет 40 часов, а во второй половине 2027 года — 167 часов в месяц.

Теперь оговорки, потому что они важны.

1. Во-первых, 50% успеха — это не надёжность; при 80% успеха горизонт планирования значительно сужается.
2. Во-вторых, это автономное программное обеспечение, и исследовательские задачиа не грязная работа с коллегами, клиентами и физическими объектами.
3. Во-третьих, сама система измерения выходит из строя: METR заявляет, что ее оценки, превышающие 16 часов, ненадежны, и прекратила активно обновлять свой рейтинг в сентябре 2026 года.

Если линейка заканчивается раньше, чем измеряемый объект, это само по себе является сигналом.

Почему показатели продолжают падать?

Потому что модели постоянно совершенствуются, и потому что бенчмарки — это целевые показатели. Верно и то, и другое, и именно поэтому я с осторожностью отношусь к каждой таблице лидеров.

Наиболее ярким примером является ARC-AGI-3, запущенный Фондом премии ARC 25 марта 2026 года в виде набора интерактивных головоломок без инструкций, которые легко решаются людьми. На момент запуска лучшие результаты показали AI Набрал 0.51%. 3 сентября 2026 года премия ARC Prize подтвердила подлинность OpenAI.'s GPT-6 Astra показал 62.7% на стандартной тестовой конфигурации. (Вирусные заявления о 98-99% были получены на другой конфигурации, которую ARC Prize не считает стандартной.) Бенчмарк, рассчитанный на годы, потерял большую часть своего потенциала примерно за шесть месяцев.

В других областях ситуация повторяется. Доля кода, прошедшего проверку SWE-bench Verified, выросла с 4.4% в 2023 году до примерно 96% в результатах, предоставленных поставщиками, за 2026 год, что означает, что этот показатель больше не позволяет отличить лучшие модели друг от друга. В июле 2025 года Google DeepMind's Программа Gemini Deep Think решила пять из шести задач Международной математической олимпиады, набрав 35 из 42 баллов по официальной системе оценки, что соответствует золотому стандарту.

Здесь объектив принадлежит Гудхарту.'s Закон: когда показатель становится целью, он перестаёт быть хорошим показателем. Лаборатории обучаются, ориентируясь на известные эталонные показатели; тестовые вопросы проникают в обучающие данные. Это не делает прогресс фальшивым. Это означает, что честные показатели — это те, которые выглядят как реальная работа, такие как METR.'s временные горизонты, а также те, которые по-прежнему сложны для машин и просты для людей, такие как ARC-AGI-3 и Humanity.'s Последний экзамен проводился без использования дополнительных инструментов, и лучший официальный результат составил 38.3%.

Насколько же близок к достижению AGI?

На экранах это ближе, чем в реальном мире, и ближе, чем думает большинство людей за пределами этой области. Но «AGI» означает разные вещи для разных людей, и это одна из причин, почему дискуссия заходит в тупик.

Определения. В рамках концепции «Уровни ИИ» Google DeepMind (Моррис и коллеги, 2023) системы оцениваются по двум осям: насколько хорошо они работают и насколько универсальны, а чат-боты того времени были отнесены к категории «развивающегося» ИИ. Руководители лабораторий говорят о системах, способных выполнять наиболее экономически ценную работу; Дарио Амодей из Anthropic описывает это как «страну гениев в центре обработки данных». Скептики определяют это как человекоподобное обучение на основе опыта, чего не делают существующие модели.

Прогнозы.

Руководители лабораторий настроены более агрессивно: в январе 2026 года Anthropic's Дарио Амодеи написал это мощное произведение. AI Возможно, это произойдет через один-два года. Демис Хассабис в 2023 году заявил, что это может случиться в течение десятилетия. Ян Лекун, который покинул Meta и привлек 1.03 миллиарда долларов для новой лаборатории, называет большие языковые модели тупиком, а Ричард Саттон утверждает, что они скорее имитируют, чем учатся.

Три ворот Моджо. Вместо одной финишной линии я отслеживаю три, каждая из которых имеет измеримый показатель.

Мой вердикт: цифровая часть искусственного общего интеллекта вполне осуществима до 2030 года. Физическая часть, та, которая занимается складыванием белья, ремонтом котлов и уходом за больными, — это гораздо более отдаленная перспектива. Моравец's Парадокс по-прежнему верен: то, что трудно для нас, легко для машин, а то, что легко для нас, трудно для них. Любой, кто говорит вам, что искусственный общий интеллект появится в один конкретный день, что-то продает.

Проверка претензии

Противоугол

Самый веский аргумент против моей интерпретации заключается в том, что я путаю измерительный инструмент с самим предметом. Временные горизонты и контрольные показатели — это тесты, разработанные исследователями, и модели все чаще обучаются для прохождения этих тестов.

Я отношусь к этому серьезно, поэтому мои ворота должны надежно работать в течение недели, и именно поэтому сами ворота находятся далеко. Но эта тенденция сохранилась, несмотря на несколько изменений критериев оценки за семь лет. Когда каждый новый тест показывает более низкие результаты, чем предыдущий, наиболее вероятное объяснение заключается в том, что измеряемый показатель действительно улучшается.

Mojo's Прогнозы

1. Опубликованная оценка от METR или аналогичного независимого эксперта позволяет создать модель.'s 50% временного горизонта составляет более 40 часов к 31 декабря 2027 года. Вероятность: 60%.
2. Результат 85% или выше по шкале ARC-AGI-3's Стандартная схема тестирования будет подтверждена в рамках конкурса ARC Prize к 31 декабря 2027 года. Вероятность: 55%.
3. Эпоха AI По оценкам, к 31 декабря 2027 года будет проведено более 10^27 тренировочных операций. Вероятность: 85%.

Все три показателя будут внесены в реестр прогнозов Mojo и будут опубликованы.

Где будет проходить дальнейшее обсуждение этого вопроса?

FAQ