Глина

Ключови прозрения за Аргила

Какво е Аргила?

Глина е безплатна платформа за анотиране на данни с отворен код и обратна връзка от хора, създадена за AI инженери и експерти в областта, които трябва да създават висококачествени набори от данни. Първоначално разработена като самостоятелен инструмент, Argilla сега е част от Прегърнато лице екосистема. Тя поддържа широк спектър от AI задачи, включващи класификация на текст, разпознаване на именувани обекти, фина настройка на LLM чрез контролирано обучение и събиране на данни за предпочитания на RLHF. 

Платформата използва Python SDK и потребителски интерфейс, базиран на браузър, който позволява на екипите да етикетират, оценяват, класират и преглеждат записи с данни с филтри, AI асистирани предложения и търсене на сходства. Argilla е изцяло самостоятелно хоствана система без задължителен абонамент, което я прави идеална за екипи, които се нуждаят от пълна собственост и контрол върху данните. Тя работи на Hugging Face Spaces или Docker контейнери и поддържа програмно управление на набори от данни за работни процеси за непрекъснато подобряване на модела.

Основни характеристики на Аргила

RLHF и събиране на данни за предпочитания

Argilla опростява събирането на данни за човешки предпочитания за обучение с подсилване от човешка обратна връзка. Анотаторите могат да класират и оценяват множество отговори на модели на едно и също подканване, генерирайки сравнителни набори от данни, необходими за обучение на модели за награждаване. Това го прави един от най-достъпните инструменти с отворен код за съгласуване на големи езикови модели с човешки ценности.

Гъвкави шаблони за въпроси за обратна връзка

Платформата поддържа типове въпроси с рейтинг, класиране, текст, единичен етикет, множество етикети и обхват. Екипите могат да комбинират тези шаблони, за да изградят персонализирани работни потоци за анотиране , които отговарят на почти всеки случай на употреба. Тази гъвкавост означава, че един набор от данни може да събира множество форми на обратна връзка едновременно, спестявайки време на анотатора и подобрявайки богатството на данните.

Интеграция с вграден Hugging Face Hub

Наборите от данни могат да бъдат импортирани директно от и експортирани към Hugging Face Hub чрез потребителския интерфейс или Python SDK. Тази тясна интеграция улеснява контрола на версиите на проекти за анотации, споделянето на набори от данни с общността или извличането на популярни набори от данни с отворен код за бързо експериментиране. Разгръщането с едно щракване в Hugging Face Spaces осигурява стартиране на пълен Argilla екземпляр за по-малко от пет минути.

Програмен Python SDK

Argilla SDK дава на инженерите пълен контрол върху създаването на набори от данни, управлението на записи, администрирането на потребители и експортирането на данни. Всичко, което може да се направи в потребителския интерфейс, може да бъде написано и чрез скриптове на Python, което позволява автоматизирани конвейери, които свързват работните потоци за анотации с цикли на обучение на модела. SDK поддържа Python от 3.9 до 3.13 и Pydantic v2.

AI Подпомагани предложения и интелигентно филтриране

Argilla позволява на екипите да прикачват прогнози за модели като предложения към записи, така че анотаторите да могат да ги приемат, променят или отхвърлят, вместо да ги етикетират от нулата. В комбинация със семантично търсене и филтри за метаданни, това драстично намалява времето за анотиране. Анотаторите фокусират усилията си върху най-важните записи, вместо да работят с данните на сляпо.

Автоматизация на работния процес, управлявана от уебкуки

Версия 2.5 въведе поддръжка на webhook, позволявайки на външни системи да реагират на събития в Argilla в реално време. Когато записът е завършен или наборът от данни се промени, Argilla може да задейства низходящи процеси, като например задачи за преобучение или проверки на качеството. Това превръща Argilla в активен компонент на производствен MLOps конвейер, а не в самостоятелен инструмент за анотации.

Ценови планове на Argilla

Разгръщане на Argilla върху вашата собствена инфраструктура

За екипи със строги изисквания за управление на данни, Argilla може да бъде разположена изцяло върху частна инфраструктура, използвайки Docker. Това дава пълен контрол върху бекендовете за съхранение (PostgreSQL плюс Elasticsearch или OpenSearch), удостоверяването на потребителите и мрежовия достъп. Сървърът поддържа конфигуриране на променливи на средата за OAuth2 доставчици, SSL и маршрутизиране на базови URL адреси. 

Helm диаграмите са налични за внедрявания на Kubernetes, което улеснява мащабирането на капацитета за анотации, наред със съществуващата ML инфраструктура. Тъй като платформата е лицензирана от MIT, няма такси за ползване, ограничения за места или ограничения за функции за самостоятелно хоствани инстанции.

Предимства и недостатъци

Аргила и екосистемата на прегръщащото лице

Argilla се присъедини към Hugging Face през 2024 г., затвърждавайки ролята си на водещ слой за анотации в рамките на най-голямата платформа с отворен код. AI общност. Това придобиване означава по-тясна интеграция с Hugging Face Datasets, Transformers и Hub. Потребителите могат да изпращат анотирани набори от данни директно към Hub за контрол на версиите и споделяне в общността. 

Библиотеката Distilabel от същия екип допълва Argilla, като генерира синтетични данни, които анотаторите след това обработват. Заедно тези инструменти създават обратна връзка, където генерирането на синтетични данни и човешката валидация протичат едновременно, ускорявайки създаването на набори от данни за LLM проекти , без да се жертва качеството.

Най-добрите алтернативи на Argilla