Глина

Ключевые выводы Argilla

Что такое Argilla?

Глина Это бесплатная платформа с открытым исходным кодом для аннотирования данных и обратной связи от пользователей, созданная для... AI Инженеры и эксперты в предметной области, которым необходимо создавать высококачественные наборы данных. Первоначально разработанная как автономный инструмент, Argilla теперь является частью Обнимая лицо экосистема. Она поддерживает широкий спектр AI задачи включают классификацию текста, распознавание именованных сущностей, тонкую настройку LLM с помощью обучения с учителем и сбор данных о предпочтениях RLHF. 

Платформа использует Python SDK и браузерный пользовательский интерфейс, позволяющий командам помечать, оценивать, ранжировать и просматривать записи данных с помощью фильтров. AI Вспомогательные подсказки и поиск по сходству. Argilla полностью размещается на собственном сервере и не требует обязательной подписки, что делает её идеальной для команд, которым необходимы полные права собственности и контроль над данными. Она работает на платформах Hugging Face Spaces или в контейнерах Docker и поддерживает программное управление наборами данных для непрерывного совершенствования моделей.

Основные характеристики Argilla

RLHF и сбор данных о предпочтениях

Argilla упрощает сбор данных о предпочтениях людей для обучения с подкреплением на основе обратной связи от пользователей. Аннотаторы могут ранжировать и оценивать несколько ответов модели на один запрос, генерируя наборы данных для сравнения, необходимые для обучения модели вознаграждения. Это делает её одной из самых доступных. инструменты с открытым исходным кодом для приведения больших языковых моделей в соответствие с человеческими ценностями.

Гибкие шаблоны вопросов для обратной связи

Платформа поддерживает типы вопросов: рейтинговые, ранжированные, текстовые, одноклассовые, многоклассовые и охватывающие несколько категорий. Команды могут комбинировать эти шаблоны для создания пользовательские рабочие процессы аннотирования которые подходят практически для любого варианта использования. Такая гибкость означает, что один набор данных может одновременно фиксировать несколько форм обратной связи, экономя время аннотаторов и повышая информативность данных.

Встроенная интеграция с Hugging Face Hub

Наборы данных можно импортировать и экспортировать непосредственно в Hugging Face Hub через пользовательский интерфейс или Python SDK. Такая тесная интеграция упрощает управление версиями проектов аннотирования, обмен наборами данных с сообществом или подключение популярных наборов данных с открытым исходным кодом для быстрых экспериментов. Развертывание в Hugging Face Spaces одним щелчком мыши позволяет запустить полноценный экземпляр Argilla менее чем за пять минут.

Программный SDK для Python

SDK Argilla предоставляет инженерам полный контроль над созданием наборов данных, управлением записями, администрированием пользователей и экспортом данных. Все действия, выполняемые в пользовательском интерфейсе, также можно автоматизировать с помощью скриптов на Python, что позволяет создавать автоматизированные конвейеры, связывающие рабочие процессы аннотирования с циклами обучения моделей. SDK поддерживает Python 3.9–3.13. Пидантик v2.

AI Вспомогательные подсказки и интеллектуальная фильтрация

Argilla позволяет командам добавлять к записям прогнозы модели в качестве подсказок, чтобы аннотаторы могли принимать, изменять или отклонять их, вместо того чтобы создавать разметку с нуля. В сочетании с семантическим поиском и фильтрами метаданных это значительно сокращает время аннотирования. Аннотаторы сосредотачивают свои усилия на наиболее важных записях, вместо того чтобы работать с данными вслепую.

Автоматизация рабочих процессов на основе веб-хуков

В версии 2.5 была добавлена ​​поддержка веб-хуков, позволяющая внешним системам реагировать на события внутри Argilla в режиме реального времени. Когда запись завершена или набор данных изменен, Argilla может запускать последующие процессы, такие как переобучение заданий или проверки качества. Это превращает Argilla из автономного инструмента аннотирования в работающий компонент производственного конвейера MLOps.

Тарифные планы Argilla

Развертывание Argilla на вашей собственной инфраструктуре

Для команд со строгими требованиями к управлению данными Argilla может быть развернута полностью на частной инфраструктуре с использованием Docker. Это обеспечивает полный контроль над хранилищами данных (PostgreSQL плюс Elasticsearch или OpenSearch), аутентификацией пользователей и сетевым доступом. Сервер поддерживает настройку переменных среды для поставщиков OAuth2, SSL и маршрутизации базовых URL-адресов. 

Helm-диаграммы доступны для развертывания в Kubernetes, что упрощает масштабирование возможностей аннотирования параллельно с существующей инфраструктурой машинного обучения. Поскольку платформа распространяется под лицензией MIT, отсутствуют плата за использование, ограничения на количество рабочих мест или ограничения на функциональность для самостоятельно размещенных экземпляров.

Плюсы и минусы

Argilla и экосистема «обнимающего лица»

Компания Argilla присоединилась к Hugging Face в 2024 году, укрепив свои позиции в качестве основного слоя аннотирования в крупнейшем проекте с открытым исходным кодом. AI сообщество. Это приобретение означает более тесную интеграцию с наборами данных Hugging Face Datasets, Transformers и Hub. Пользователи могут напрямую загружать аннотированные наборы данных в Hub для контроля версий и обмена информацией внутри сообщества. 

Библиотека Distilable от той же команды дополняет Argilla, генерируя синтетические данные, которые затем обрабатываются аннотаторами. Вместе эти инструменты создают замкнутый цикл обратной связи, в котором генерация синтетических данных и проверка человеком происходят параллельно, ускоряя создание наборов данных для Проекты магистратуры без ущерба для качества.

Лучшие альтернативы Argilla