Αργίλλα

Βασικές πληροφορίες για την Argilla

Τι είναι η Αργίλλα;

Αργίλλα είναι μια δωρεάν πλατφόρμα σχολιασμού δεδομένων ανοιχτού κώδικα και ανθρώπινης ανατροφοδότησης που έχει δημιουργηθεί για AI μηχανικούς και ειδικούς στον τομέα που χρειάζονται να δημιουργήσουν σύνολα δεδομένων υψηλής ποιότητας. Αρχικά αναπτύχθηκε ως αυτόνομο εργαλείο, το Argilla αποτελεί πλέον μέρος του Αγκαλιάζοντας το πρόσωπο οικοσύστημα. Υποστηρίζει ένα ευρύ φάσμα AI εργασίες που περιλαμβάνουν ταξινόμηση κειμένου, αναγνώριση ονομασμένων οντοτήτων, βελτιστοποίηση LLM μέσω εποπτευόμενης μάθησης και συλλογή δεδομένων προτιμήσεων RLHF. 

Η πλατφόρμα χρησιμοποιεί ένα Python SDK και ένα περιβάλλον χρήστη που βασίζεται σε πρόγραμμα περιήγησης και επιτρέπει στις ομάδες να επισημαίνουν, να αξιολογούν, να κατατάσσουν και να εξετάζουν αρχεία δεδομένων με φίλτρα. AI υποβοηθούμενες προτάσεις και αναζήτηση ομοιότητας. Το Argilla φιλοξενείται εξ ολοκλήρου αυτομάτως χωρίς υποχρεωτική συνδρομή, καθιστώντας το ιδανικό για ομάδες που χρειάζονται πλήρη ιδιοκτησία και έλεγχο δεδομένων. Εκτελείται σε κοντέινερ Hugging Face Spaces ή Docker και υποστηρίζει προγραμματιστική διαχείριση συνόλων δεδομένων για συνεχείς ροές εργασίας βελτίωσης μοντέλων.

Βασικά χαρακτηριστικά του Argilla

Συλλογή δεδομένων RLHF και προτιμήσεων

Το Argilla απλοποιεί τη συλλογή δεδομένων ανθρώπινων προτιμήσεων για την ενισχυτική μάθηση από την ανθρώπινη ανατροφοδότηση. Οι σχολιαστές μπορούν να κατατάξουν και να αξιολογήσουν πολλαπλές απαντήσεις μοντέλων σε μία μόνο προτροπή, δημιουργώντας τα σύνολα δεδομένων σύγκρισης που απαιτούνται για την εκπαίδευση μοντέλων ανταμοιβής. Αυτό το καθιστά ένα από τα πιο προσβάσιμα. εργαλεία ανοιχτού κώδικα για την ευθυγράμμιση μεγάλων γλωσσικών μοντέλων με τις ανθρώπινες αξίες.

Ευέλικτα πρότυπα ερωτήσεων σχολίων

Η πλατφόρμα υποστηρίζει ερωτήσεις αξιολόγησης, κατάταξης, κειμένου, μίας ετικέτας, πολλαπλών ετικετών και πολλαπλών τύπων. Οι ομάδες μπορούν να συνδυάσουν και να ταιριάξουν αυτά τα πρότυπα για να δημιουργήσουν προσαρμοσμένες ροές εργασίας σχολιασμού που ταιριάζουν σχεδόν σε κάθε περίπτωση χρήσης. Αυτή η ευελιξία σημαίνει ότι ένα μόνο σύνολο δεδομένων μπορεί να καταγράψει πολλαπλές μορφές ανατροφοδότησης ταυτόχρονα, εξοικονομώντας χρόνο σχολιασμού και βελτιώνοντας τον πλούτο των δεδομένων.

Εγγενής ενσωμάτωση Hugging Face Hub

Τα σύνολα δεδομένων μπορούν να εισαχθούν απευθείας από και να εξαχθούν στο Hugging Face Hub μέσω του UI ή του Python SDK. Αυτή η στενή ενσωμάτωση καθιστά εύκολη την εκτέλεση έργων σχολιασμού ελέγχου έκδοσης, την κοινή χρήση συνόλων δεδομένων με την κοινότητα ή την αξιοποίηση δημοφιλών συνόλων δεδομένων ανοιχτού κώδικα για γρήγορο πειραματισμό. Η ανάπτυξη με ένα κλικ στο Hugging Face Spaces εκτελεί μια πλήρη παρουσία Argilla σε λιγότερο από πέντε λεπτά.

Προγραμματικό SDK Python

Το Argilla SDK παρέχει στους μηχανικούς πλήρη έλεγχο στη δημιουργία συνόλων δεδομένων, τη διαχείριση εγγραφών, τη διαχείριση χρηστών και την εξαγωγή δεδομένων. Όλα όσα μπορούν να γίνουν στο περιβάλλον χρήστη μπορούν επίσης να γραφτούν σε Python, επιτρέποντας αυτοματοποιημένες διοχετεύσεις που συνδέουν ροές εργασίας σχολιασμού με βρόχους εκπαίδευσης μοντέλων. Το SDK υποστηρίζει Python 3.9 έως 3.13 και Πυδαντικό v2.

AI Υποβοηθούμενες προτάσεις και έξυπνο φιλτράρισμα

Το Argilla επιτρέπει στις ομάδες να επισυνάπτουν προβλέψεις μοντέλων ως προτάσεις σε εγγραφές, έτσι ώστε οι σχολιαστές να μπορούν να τις αποδέχονται, να τις τροποποιούν ή να τις απορρίπτουν αντί να τις επισημαίνουν από την αρχή. Σε συνδυασμό με τη σημασιολογική αναζήτηση και τα φίλτρα μεταδεδομένων, αυτό μειώνει δραματικά τον χρόνο σχολιασμού. Οι σχολιαστές εστιάζουν την προσπάθειά τους στις εγγραφές που έχουν μεγαλύτερη σημασία αντί να επεξεργάζονται δεδομένα στα τυφλά.

Αυτοματοποίηση ροής εργασίας μέσω Webhook

Η έκδοση 2.5 εισήγαγε την υποστήριξη webhook, επιτρέποντας στα εξωτερικά συστήματα να αντιδρούν σε συμβάντα εντός του Argilla σε πραγματικό χρόνο. Όταν ολοκληρωθεί μια εγγραφή ή αλλάξει ένα σύνολο δεδομένων, το Argilla μπορεί να ενεργοποιήσει διαδικασίες downstream, όπως επανεκπαίδευση εργασιών ή ελέγχους ποιότητας. Αυτό μετατρέπει το Argilla σε ένα ενεργό στοιχείο ενός αγωγού παραγωγής MLOps αντί για ένα αυτόνομο εργαλείο σχολιασμού.

Τιμολογιακά προγράμματα Argilla

Ανάπτυξη Argilla στην δική σας υποδομή

Για ομάδες με αυστηρές απαιτήσεις διακυβέρνησης δεδομένων, το Argilla μπορεί να αναπτυχθεί εξ ολοκλήρου σε ιδιωτική υποδομή χρησιμοποιώντας το Docker. Αυτό παρέχει πλήρη έλεγχο στα backend αποθήκευσης (PostgreSQL συν Elasticsearch ή OpenSearch), τον έλεγχο ταυτότητας χρήστη και την πρόσβαση στο δίκτυο. Ο διακομιστής υποστηρίζει τη διαμόρφωση μεταβλητών περιβάλλοντος για παρόχους OAuth2, SSL και δρομολόγηση βασικών URL. 

Διατίθενται γραφήματα Helm για αναπτύξεις Kubernetes, καθιστώντας εύκολη την κλιμάκωση της χωρητικότητας σχολιασμών παράλληλα με την υπάρχουσα υποδομή ML. Επειδή η πλατφόρμα διαθέτει άδεια MIT, δεν υπάρχουν τέλη χρήσης, όρια θέσεων ή πύλες λειτουργιών σε αυτο-φιλοξενούμενες παρουσίες.

Υπέρ και κατά

Η Argilla και το οικοσύστημα του αγκαλιάζοντος προσώπου

Η Argilla εντάχθηκε στο Hugging Face το 2024, εδραιώνοντας τον ρόλο της ως το βασικό επίπεδο σχολιασμού στο μεγαλύτερο λογισμικό ανοιχτού κώδικα. AI κοινότητα. Αυτή η εξαγορά σημαίνει στενότερη ενσωμάτωση με τα σύνολα δεδομένων Hugging Face, τα Transformers και το Hub. Οι χρήστες μπορούν να προωθούν σχολιασμένα σύνολα δεδομένων απευθείας στο Hub για έλεγχο έκδοσης και κοινή χρήση από την κοινότητα. 

Η βιβλιοθήκη Distilabel από την ίδια ομάδα συμπληρώνει την Argilla δημιουργώντας συνθετικά δεδομένα τα οποία στη συνέχεια επιμελούνται οι σχολιαστές. Μαζί, αυτά τα εργαλεία δημιουργούν έναν βρόχο ανατροφοδότησης όπου η συνθετική παραγωγή και η ανθρώπινη επικύρωση εκτελούνται παράλληλα, επιταχύνοντας τη δημιουργία συνόλων δεδομένων για Έργα LLM χωρίς να θυσιάζει την ποιότητα.

Οι καλύτερες εναλλακτικές λύσεις για την Argilla