Klei

Belangrijke inzichten van Argilla

Wat is Argilla?

Klei is een gratis, open source platform voor data-annotatie en menselijke feedback, speciaal ontwikkeld voor AI Ingenieurs en domeinexperts die hoogwaardige datasets moeten creëren. Argilla, oorspronkelijk ontwikkeld als een op zichzelf staande tool, maakt nu deel uit van het softwarepakket. Gezicht knuffelen ecosysteem. Het ondersteunt een breed scala aan AI Taken omvatten onder andere tekstclassificatie, named entity recognition, LLM finetuning via supervised learning en het verzamelen van RLHF-voorkeursgegevens. 

Het platform maakt gebruik van een Python SDK en een browsergebaseerde gebruikersinterface waarmee teams gegevensrecords kunnen labelen, beoordelen, rangschikken en controleren met behulp van filters. AI Argilla biedt suggesties met ondersteuning en zoekt op basis van overeenkomsten. Het is volledig zelfgehost en er is geen verplicht abonnement, waardoor het ideaal is voor teams die volledige eigendom en controle over hun data nodig hebben. Het draait op Hugging Face Spaces of Docker-containers en ondersteunt programmatisch datasetbeheer voor workflows voor continue modelverbetering.

Belangrijkste kenmerken van Argilla

RLHF en gegevensverzameling over voorkeuren

Argilla vereenvoudigt het verzamelen van gegevens over menselijke voorkeuren voor reinforcement learning op basis van menselijke feedback. Annotators kunnen meerdere modelreacties op één prompt rangschikken en beoordelen, waardoor de vergelijkingsdatasets worden gegenereerd die nodig zijn voor het trainen van beloningsmodellen. Dit maakt het een van de meest toegankelijke tools. open source-tools voor het afstemmen van grote taalmodellen op menselijke waarden.

Flexibele sjablonen voor feedbackvragen

Het platform ondersteunt vraagtypen zoals beoordelen, rangschikken, tekst, vragen met één label, vragen met meerdere labels en vragen met meerdere labels. Teams kunnen deze sjablonen combineren om vragen te bouwen. aangepaste annotatieworkflows die geschikt zijn voor vrijwel elk gebruiksscenario. Deze flexibiliteit betekent dat één dataset meerdere vormen van feedback tegelijk kan vastleggen, waardoor annotatoren tijd besparen en de data waardevoller worden.

Native Hugging Face Hub-integratie

Datasets kunnen rechtstreeks vanuit en naar de Hugging Face Hub worden geïmporteerd via de gebruikersinterface of de Python SDK. Deze nauwe integratie maakt het eenvoudig om versiebeheer toe te passen op annotatieprojecten, datasets te delen met de community of populaire open-source datasets te importeren voor snelle experimenten. Met één klik is een volledige Argilla-instantie op Hugging Face Spaces binnen vijf minuten operationeel.

Programmatische Python SDK

De Argilla SDK geeft engineers volledige controle over het aanmaken van datasets, het beheren van records, gebruikersbeheer en het exporteren van gegevens. Alles wat in de gebruikersinterface kan worden gedaan, kan ook in Python worden gescript, waardoor geautomatiseerde pipelines mogelijk zijn die annotatieworkflows koppelen aan trainingsloops voor modellen. De SDK ondersteunt Python 3.9 tot en met 3.13. Pydantic v2.

AI Ondersteunde suggesties en slimme filters

Met Argilla kunnen teams modelvoorspellingen als suggesties aan records koppelen, zodat annotatoren deze kunnen accepteren, aanpassen of afwijzen in plaats van helemaal opnieuw te labelen. In combinatie met semantisch zoeken en metadatafilters verkort dit de annotatietijd aanzienlijk. Annotatoren kunnen zich concentreren op de records die er het meest toe doen, in plaats van blindelings door de data te werken.

Webhook-gestuurde workflowautomatisering

Versie 2.5 introduceerde ondersteuning voor webhooks, waardoor externe systemen in realtime kunnen reageren op gebeurtenissen binnen Argilla. Wanneer een record is voltooid of een dataset verandert, kan Argilla vervolgprocessen activeren, zoals het opnieuw trainen van taken of kwaliteitscontroles. Hierdoor wordt Argilla een integraal onderdeel van een MLOps-pipeline in productie, in plaats van een op zichzelf staande annotatietool.

Argilla-prijsplannen

Argilla implementeren op uw eigen infrastructuur

Voor teams met strenge eisen op het gebied van gegevensbeheer kan Argilla volledig op een eigen infrastructuur worden geïmplementeerd met behulp van Docker. Dit biedt volledige controle over de opslagbackends (PostgreSQL plus Elasticsearch of OpenSearch), gebruikersauthenticatie en netwerktoegang. De server ondersteunt configuratie van omgevingsvariabelen voor OAuth2-providers, SSL en basis-URL-routering. 

Helm-grafieken zijn beschikbaar voor Kubernetes-implementaties, waardoor het eenvoudig is om de annotatiecapaciteit op te schalen naast de bestaande ML-infrastructuur. Omdat het platform onder de MIT-licentie valt, zijn er geen gebruiksvergoedingen, gebruikerslimieten of beperkingen op functionaliteiten voor zelfgehoste instanties.

Voors en tegens

Argilla en het ecosysteem van de knuffelende gezichten

Argilla sloot zich in 2024 aan bij Hugging Face en verstevigde daarmee zijn positie als de meest gebruikte annotatielaag binnen het grootste open source-platform. AI community. Deze overname betekent een nauwere integratie met Hugging Face Datasets, Transformers en de Hub. Gebruikers kunnen geannoteerde datasets rechtstreeks naar de Hub uploaden voor versiebeheer en het delen binnen de community. 

De Distilabel-bibliotheek van hetzelfde team vult Argilla aan door synthetische data te genereren die vervolgens door annotatoren worden bewerkt. Samen vormen deze tools een feedbacklus waarin synthetische datageneratie en menselijke validatie hand in hand gaan, waardoor het creëren van datasets wordt versneld. LLM-projecten zonder in te boeten aan kwaliteit.

Beste alternatieven voor Argilla