Быстрый рост генеративного AI покорила мир такими моделями, как ChatGPT, GPT-4 и Клод демонстрируя невероятные языковые способности. Однако, как эти AI системы становятся все более распространенными, фундаментальное ограничение становится все более очевидным: ограничения, налагаемые лексический анализ и конструкции лимиты токенов.
По своей сути, генеративные AI Модели, такие как GPT, разбивают входной текст на более мелкие единицы, называемые токенами, перед его обработкой. Токены могут представлять слова, части слов, или даже отдельные персонажи. Работая с токенами вместо необработанного текста, эти модели могут более эффективно обрабатывать и генерировать язык.
Однако этот процесс токенизации сопряжен с проблемами. Несоответствия в том, как разбит текст, могут привести к предвзятости и путанице для AI ухода. Неясность в отношении того, что представляет собой «слово» и как пунктуация обрабатывается во время токенизации, может повлиять на модель's понимание и генерация языка.
Что еще более важно, генеративный AI Модели имеют жесткие ограничения на количество токенов, которые они могут обрабатывать за одно взаимодействие ввода-вывода, известное как контекстное окно, Например, GPT-3 имеет ограничение в 2049 токенов, а GPT-4 может обрабатывать 8192 токена.. Когда подсказки и вводимые данные превышают эти пределы, ИИ's производительность заметно ухудшается.
Эти ограничения на токены представляют собой серьезное препятствие при попытке применить генеративный ИИ для сложных многошаговых задач, требующих обработки больших объемов информации. Предприятия, желающие использовать AI поскольку сложные рабочие процессы часто оказываются ограниченными размерами контекстных окон.
Ведутся работы по расширению этих лимитов и устранению « узкого места, связанного с токенами ». Новейшая модель Gemini от Google расширила этот лимит до 1 миллиона токенов. Однако увеличение контекстного окна требует значительных вычислительных ресурсов, причем затраты растут квадратично с размером окна.
Чтобы обойти ограничения токенов, используются такие методы, как поиск дополненной генерации (ТРЯПКА) изучаются. RAG позволяет AI модель для доступа и включения знаний из внешних источников, выходящих за рамки их первоначального данные обучения. Однако RAG создает свои собственные проблемы, связанные с эффективным получением соответствующей информации и ее бесшовной интеграцией в ИИ.'s вывод.
Ограничения токенизации и лимиты токенов имеют далеко идущие последствия для разных отраслей. В сфере Поисковая оптимизация (SEO), генеративный AI имеет огромный потенциал для таких задач, как исследование ключевых слов, анализ контента и рекомендации по оптимизации. Однако неспособность обрабатывать и генерировать подробный контент может ограничить его эффективность в создании комплексных и углубленных ресурсов.
Как генеративный AI ландшафт развивается, устраняя ограничения лексический анализ и ограничения токенов будут иметь решающее значение. Инновации в модельной архитектуре, такие как модели на уровне байтов которые обходят традиционную токенизацию, многообещающи, но все еще находятся на ранних стадиях исследований.
В ближайшем будущем произойдет сдвиг в сторону советы специализированных AI ухода, каждый из которых сосредоточен на определенной области и улучшен RAG, может предложить путь вперед. Распределяя рабочую нагрузку по нескольким специализированным моделям, опора на одну генеративную AI с огромными лимитами токенов можно было бы уменьшить.
В конечном итоге, успех генеративного ИИ в реальных приложениях будет зависеть от нахождения правильного баланса между специализацией модели, ограничениями по количеству токенов и вычислительной эффективностью.
БОНУС: Получите наши 200 долларов “AI «Мастерский набор инструментов» БЕСПЛАТНО при регистрации!
