아르길라 주요 인사이트
아르길라란 무엇인가요?
점토 는 데이터 주석 및 인간 피드백을 위해 개발된 무료 오픈 소스 플랫폼입니다. AI 고품질 데이터 세트를 생성해야 하는 엔지니어 및 도메인 전문가를 위한 도구입니다. 원래 독립형 도구로 개발되었지만, 현재는 통합되어 운영 체제의 일부가 되었습니다. 포옹하는 얼굴 생태계입니다. 광범위한 영역을 지원합니다. AI 텍스트 분류, 개체명 인식, 지도 학습을 통한 LLM 미세 조정, RLHF 선호도 데이터 수집 등의 작업을 포함합니다.
이 플랫폼은 파이썬 SDK와 브라우저 기반 UI를 사용하여 팀이 필터를 통해 데이터 레코드에 레이블을 지정하고, 평가하고, 순위를 매기고, 검토할 수 있도록 합니다. AI 제안 지원 및 유사성 검색 기능을 제공합니다. Argilla는 구독료 없이 완전히 자체 호스팅되므로 데이터에 대한 완전한 소유권과 제어가 필요한 팀에 이상적입니다. Hugging Face Spaces 또는 Docker 컨테이너에서 실행되며 지속적인 모델 개선 워크플로를 위한 프로그래밍 방식의 데이터 세트 관리를 지원합니다.
Argilla는 인간 피드백을 기반으로 강화 학습에 필요한 인간 선호도 데이터를 수집하는 과정을 간소화합니다. 주석 작성자는 단일 프롬프트에 대한 여러 모델 응답을 순위 및 평가할 수 있으며, 이를 통해 보상 모델 학습에 필요한 비교 데이터 세트를 생성할 수 있습니다. 이러한 특징 덕분에 Argilla는 가장 접근성이 뛰어난 도구 중 하나입니다. 오픈 소스 도구 대규모 언어 모델을 인간의 가치관에 맞추기 위해서입니다.
이 플랫폼은 평점, 순위, 텍스트, 단일 레이블, 다중 레이블 및 범위 질문 유형을 지원합니다. 팀은 이러한 템플릿을 조합하여 설문지를 구성할 수 있습니다. 사용자 지정 주석 워크플로 거의 모든 사용 사례에 적합합니다. 이러한 유연성 덕분에 단일 데이터 세트로 여러 형태의 피드백을 동시에 수집할 수 있어 주석 작성 시간을 절약하고 데이터의 풍부함을 향상시킬 수 있습니다.
Hugging Face Hub에서는 UI 또는 Python SDK를 통해 데이터셋을 직접 가져오거나 내보낼 수 있습니다. 이러한 긴밀한 통합 덕분에 어노테이션 프로젝트의 버전 관리가 간편해지고, 커뮤니티와 데이터셋을 공유하거나, 인기 있는 오픈 소스 데이터셋을 가져와 빠르게 실험할 수 있습니다. Hugging Face Spaces에 한 번만 배포하면 5분 이내에 Argilla 인스턴스를 완벽하게 실행할 수 있습니다.
Argilla SDK는 엔지니어에게 데이터셋 생성, 레코드 관리, 사용자 관리 및 데이터 내보내기에 대한 완벽한 제어 권한을 제공합니다. UI에서 수행할 수 있는 모든 작업은 Python 스크립트로도 구현할 수 있어 어노테이션 워크플로우를 모델 학습 루프에 연결하는 자동화된 파이프라인을 구축할 수 있습니다. 이 SDK는 Python 3.9부터 3.13까지 지원합니다. 피단틱 v2.
Argilla를 사용하면 팀에서 모델 예측 결과를 레코드에 제안으로 첨부할 수 있으므로, 주석 작성자는 처음부터 레이블을 지정하는 대신 제안을 수락, 수정 또는 거부할 수 있습니다. 의미 검색 및 메타데이터 필터와 결합하면 주석 작성 시간이 크게 단축됩니다. 주석 작성자는 데이터를 무작정 살펴보는 대신 가장 중요한 레코드에 집중할 수 있습니다.
버전 2.5에서는 웹훅 지원이 도입되어 외부 시스템이 Argilla 내부 이벤트에 실시간으로 반응할 수 있게 되었습니다. 레코드 작업이 완료되거나 데이터 세트가 변경되면 Argilla는 재학습 작업이나 품질 검사와 같은 하위 프로세스를 트리거할 수 있습니다. 이를 통해 Argilla는 독립형 어노테이션 도구가 아닌 실제 운영 환경의 MLOps 파이프라인의 핵심 구성 요소로 자리매김하게 되었습니다.
아르길라 가격 플랜
| 계획 이름 | 비용 | 주요 제한 사항 및 특징 |
|---|---|---|
| 오픈 소스(자체 호스팅) | $0 | 무제한 사용자, 무제한 데이터 세트, 모든 기능 이용 가능, Docker 또는 로컬 서버에 배포 가능 |
| 얼굴을 맞대고 있는 공간은 지속적입니다. | $ 5 / 월부터 | 영구 저장소, 업그레이드된 하드웨어, 소규모 팀에 적합 |
| 허깅 페이스 스페이스 엔터프라이즈 | 관습 | 전용 하드웨어, 조직 SSO, 사설 네트워크 |
자체 인프라에 Argilla 배포하기
데이터 관리 요구 사항이 엄격한 팀의 경우, Argilla는 Docker를 사용하여 프라이빗 인프라에 완전히 배포할 수 있습니다. 이를 통해 스토리지 백엔드(PostgreSQL과 Elasticsearch 또는 OpenSearch), 사용자 인증 및 네트워크 액세스를 완벽하게 제어할 수 있습니다. 서버는 OAuth2 제공업체, SSL 및 기본 URL 라우팅에 대한 환경 변수 구성을 지원합니다.
Helm 차트는 Kubernetes 배포에 사용할 수 있으므로 기존 ML 인프라와 함께 어노테이션 용량을 손쉽게 확장할 수 있습니다. 이 플랫폼은 MIT 라이선스가 적용되므로 자체 호스팅 인스턴스에는 사용료, 좌석 제한 또는 기능 제한이 없습니다.
장단점
- 완전 무료 및 오픈 소스입니다.
- 네이티브 Hugging Face Hub 통합.
- RLHF 워크플로우에 맞춰 특별히 설계되었습니다.
- 유연한 질문 및 필드 템플릿.
- 자동화를 위한 완벽한 Python SDK입니다.
- 사용자 수 및 데이터 세트 수에 제한이 없습니다.
- 관리형 클라우드 호스팅 옵션은 제공되지 않습니다.
- 기존 핵심 팀원들은 모두 떠났습니다.
- 기본 오디오/비디오 주석 기능이 없습니다.
- 설치에는 기술적인 지식이 필요합니다.
아르길라와 포옹 얼굴 생태계
Argilla는 2024년에 Hugging Face에 합류하여 최대 규모의 오픈 소스 프레임워크 내에서 가장 많이 사용되는 주석 레이어로서의 입지를 확고히 했습니다. AI 이번 인수로 Hugging Face Datasets, Transformers 및 Hub와의 통합이 더욱 강화될 것입니다. 사용자는 주석이 달린 데이터셋을 버전 관리 및 커뮤니티 공유를 위해 Hub에 직접 푸시할 수 있습니다.
같은 팀에서 개발한 Distilabel 라이브러리는 주석자가 선별할 수 있는 합성 데이터를 생성하여 Argilla를 보완합니다. 이 두 도구를 함께 사용하면 합성 데이터 생성과 사람 검증이 동시에 진행되는 피드백 루프가 생성되어 데이터셋 생성이 가속화됩니다. LLM 프로젝트 품질을 희생하지 않고.
