חֶרֶס

תובנות מפתח של ארגילה

מה זה ארגילה?

חֶרֶס היא פלטפורמה חינמית בקוד פתוח לביאור נתונים ומשוב אנושי שנבנתה עבור AI מהנדסים ומומחי תחום שצריכים ליצור מערכי נתונים באיכות גבוהה. ארגילה, שפותח במקור ככלי עצמאי, הוא כעת חלק מ... פנים מחבקות מערכת אקולוגית. היא תומכת במגוון רחב של AI משימות הכוללות סיווג טקסט, זיהוי ישויות בעלות שם, כוונון עדין של תואר ראשון במשפטים באמצעות למידה מונחית ואיסוף נתוני העדפות של RLHF. 

הפלטפורמה משתמשת ב-SDK של Python ובממשק משתמש מבוסס דפדפן המאפשר לצוותים לתייג, לדרג, לדרג ולסקור רשומות נתונים באמצעות מסננים. AI הצעות בסיוע וחיפוש דמיון. Argilla מתארח כולו באופן עצמאי ללא מנוי חובה, מה שהופך אותו לאידיאלי עבור צוותים הזקוקים לבעלות ושליטה מלאה על הנתונים. הוא פועל על Hugging Face Spaces או על קונטיינרים של Docker ותומך בניהול נתונים תכנותי לתהליכי עבודה מתמשכים לשיפור מודלים.

תכונות עיקריות של ארגילה

איסוף נתוני RLHF והעדפות

ארגילה מפשטת את איסוף נתוני העדפה אנושית לצורך למידת חיזוק ממשוב אנושי. מפרטים יכולים לדרג ולדרג תגובות מודל מרובות להנחיה אחת, וליצור את מערכי הנתונים להשוואה הדרושים לאימון מודל תגמול. זה הופך אותו לאחד הנגישים ביותר. כלי קוד פתוח ליישור מודלים של שפה גדולה עם ערכים אנושיים.

תבניות גמישות לשאלות משוב

הפלטפורמה תומכת בסוגי שאלות של דירוג, דירוג, טקסט, תווית יחידה, תוויות מרובות וטווח. צוותים יכולים לשלב ולהתאים תבניות אלו כדי לבנות זרימות עבודה של ביאור מותאמות אישית שמתאימים כמעט לכל מקרה שימוש. גמישות זו פירושה שמערכת נתונים יחידה יכולה ללכוד מספר צורות של משוב בו זמנית, לחסוך זמן לכותבי הערות ולשפר את עושר הנתונים.

שילוב Hugging Face Hub מקורי

ניתן לייבא ולייצא מערכי נתונים ישירות מ-Hugging Face Hub דרך ממשק המשתמש או Python SDK. שילוב הדוק זה מאפשר בקרת גרסאות של פרויקטים של ביאור, שיתוף מערכי נתונים עם הקהילה או משיכת מערכי נתונים פופולריים בקוד פתוח לצורך ניסויים מהירים. פריסה בלחיצה אחת ב-Hugging Face Spaces מאפשרת להריץ מופע מלא של Argilla תוך פחות מחמש דקות.

ערכת פיתוח תוכנה של פייתון

ערכת פיתוח התוכנה Argilla מעניקה למהנדסים שליטה מלאה על יצירת מערכי נתונים, ניהול רשומות, ניהול משתמשים וייצוא נתונים. כל מה שניתן לעשות בממשק המשתמש ניתן גם לתסריט בפייתון, מה שמאפשר צינורות אוטומטיים המחברים זרימות עבודה של ביאור ללולאות אימון מודלים. ערכת פיתוח התוכנה תומכת ב-Python 3.9 עד 3.13. פידנטיק גרסה 2.

AI הצעות מסייעות וסינון חכם

Argilla מאפשרת לצוותים לצרף תחזיות מודל כהצעות לרשומות, כך שכותבי הערות יכולים לקבל, לשנות או לדחות אותן במקום לתייג אותן מאפס. בשילוב עם חיפוש סמנטי ומסנני מטא-דאטה, זה מקצר באופן דרמטי את זמן ההערות. כותבי הערות ממקדים את מאמציהם ברשומות החשובות ביותר במקום לעבוד על נתונים בצורה עיוורת.

אוטומציה של זרימת עבודה מונעת Webhook

גרסה 2.5 הציגה תמיכה ב-webhook, המאפשרת למערכות חיצוניות להגיב לאירועים בתוך Argilla בזמן אמת. כאשר רשומה הושלמה או קבוצת נתונים משתנה, Argilla יכולה להפעיל תהליכים במורד הזרם כגון משימות אימון מחדש או בדיקות איכות. זה הופך את Argilla לרכיב חי של צינור MLOps של ייצור ולא לכלי הערות עצמאי.

תוכניות תמחור של ארגילה

פריסת Argilla על התשתית שלך

עבור צוותים עם דרישות ניהול נתונים מחמירות, ניתן לפרוס את Argilla כולו על תשתית פרטית באמצעות Docker. זה נותן שליטה מלאה על מערכות אחסון (PostgreSQL בתוספת Elasticsearch או OpenSearch), אימות משתמשים וגישה לרשת. השרת תומך בתצורת משתני סביבה עבור ספקי OAuth2, SSL וניתוב URL בסיסי. 

תרשימי Helm זמינים עבור פריסות Kubernetes, מה שמקל על הרחבת קיבולת ההערות לצד תשתית למידה חישובית קיימת. מכיוון שהפלטפורמה מורשית על ידי MIT, אין דמי שימוש, מגבלות מושבים או שערי תכונות במופעים המתארחים בעצמם.

יתרונות וחסרונות

ארגילה ומערכת האקולוגית של פנים מחבקות

ארגילה הצטרפה ל-Hugging Face בשנת 2024, וביססה את תפקידה כשכבת ההערות הבסיסית בתוך קוד פתוח הגדול ביותר. AI קהילה. רכישה זו משמעותה אינטגרציה הדוקה יותר עם מערכי נתונים של Hugging Face, Transformers ו-Hub. משתמשים יכולים לדחוף מערכי נתונים עם הערות ישירות ל-Hub לצורך בקרת גרסאות ושיתוף קהילתי. 

ספריית Distilabel מאותו צוות משלימה את Argilla על ידי יצירת נתונים סינתטיים שאותם אוספים הערכים. יחד, כלים אלה יוצרים לולאת משוב שבה יצירה סינתטית ואימות אנושי פועלים זה לצד זה, ומאיצים את יצירת מערכי הנתונים עבור... פרויקטים במשפטים מבלי לוותר על האיכות.

האלטרנטיבות הטובות ביותר לארגילה