ดินเหนียว

ข้อมูลเชิงลึกที่สำคัญเกี่ยวกับอาร์จิลลา

อาร์จิลลาคืออะไร?

ดินเหนียว เป็นแพลตฟอร์มการติดป้ายกำกับข้อมูลและการให้ข้อเสนอแนะจากมนุษย์แบบโอเพนซอร์สและใช้งานได้ฟรี สร้างขึ้นเพื่อ... AI วิศวกรและผู้เชี่ยวชาญเฉพาะด้านที่ต้องการสร้างชุดข้อมูลคุณภาพสูง เดิมที Argilla ถูกพัฒนาขึ้นเป็นเครื่องมือแบบสแตนด์อโลน แต่ปัจจุบันเป็นส่วนหนึ่งของชุดเครื่องมือแล้ว กอดหน้า ระบบนิเวศนี้สนับสนุนสิ่งต่างๆ มากมาย AI งานต่างๆ ได้แก่ การจำแนกประเภทข้อความ การระบุเอนทิตีที่มีชื่อ การปรับแต่ง LLM ผ่านการเรียนรู้แบบมีผู้กำกับดูแล และการรวบรวมข้อมูลความชอบ RLHF 

แพลตฟอร์มนี้ใช้ SDK ของ Python และ UI บนเว็บเบราว์เซอร์ ซึ่งช่วยให้ทีมสามารถติดป้ายกำกับ ให้คะแนน จัดอันดับ และตรวจสอบบันทึกข้อมูลโดยใช้ตัวกรองได้ AI Argilla มีระบบแนะนำอัตโนมัติและการค้นหาความคล้ายคลึงกัน สามารถโฮสต์ได้เองทั้งหมดโดยไม่ต้องเสียค่าสมัครสมาชิก ทำให้เหมาะสำหรับทีมที่ต้องการความเป็นเจ้าของและควบคุมข้อมูลอย่างเต็มที่ ทำงานบน Hugging Face Spaces หรือคอนเทนเนอร์ Docker และรองรับการจัดการชุดข้อมูลแบบโปรแกรมสำหรับเวิร์กโฟลว์การปรับปรุงโมเดลอย่างต่อเนื่อง

คุณสมบัติหลักของอาร์จิลลา

RLHF และการเก็บรวบรวมข้อมูลความชอบ

Argilla ช่วยให้การรวบรวมข้อมูลความชอบของมนุษย์สำหรับการเรียนรู้แบบเสริมแรงจากข้อเสนอแนะของมนุษย์ทำได้ง่ายขึ้น ผู้ให้ข้อมูลสามารถจัดอันดับและให้คะแนนการตอบสนองของโมเดลหลายๆ แบบต่อคำถามเดียว ทำให้เกิดชุดข้อมูลเปรียบเทียบที่จำเป็นสำหรับการฝึกโมเดลรางวัล จึงทำให้ Argilla เป็นหนึ่งในเครื่องมือที่เข้าถึงได้ง่ายที่สุด เครื่องมือโอเพนซอร์ซ เพื่อปรับแบบจำลองภาษาขนาดใหญ่ให้สอดคล้องกับค่านิยมของมนุษย์

แม่แบบคำถามแสดงความคิดเห็นที่ยืดหยุ่น

แพลตฟอร์มนี้รองรับคำถามประเภทการให้คะแนน การจัดอันดับ ข้อความ ป้ายกำกับเดียว หลายป้ายกำกับ และคำถามแบบช่วง ทีมสามารถผสมผสานและจับคู่เทมเพลตเหล่านี้เพื่อสร้างคำถามได้ เวิร์กโฟลว์การใส่คำอธิบายประกอบแบบกำหนดเอง ซึ่งสามารถนำไปปรับใช้ได้แทบทุกกรณี ความยืดหยุ่นนี้หมายความว่าชุดข้อมูลเดียวสามารถรวบรวมข้อเสนอแนะได้หลายรูปแบบพร้อมกัน ช่วยประหยัดเวลาของผู้ให้ข้อมูลและเพิ่มความสมบูรณ์ของข้อมูล

การผสานรวม Native Hugging Face Hub

สามารถนำเข้าและส่งออกชุดข้อมูลไปยัง Hugging Face Hub ได้โดยตรงผ่านทาง UI หรือ Python SDK การผสานรวมอย่างแน่นหนานี้ทำให้การควบคุมเวอร์ชันของโครงการคำอธิบายประกอบ การแบ่งปันชุดข้อมูลกับชุมชน หรือการดึงชุดข้อมูลโอเพนซอร์สยอดนิยมมาใช้เพื่อการทดลองอย่างรวดเร็วทำได้อย่างง่ายดาย การติดตั้งใช้งานบน Hugging Face Spaces เพียงคลิกเดียวก็ทำให้สามารถใช้งาน Argilla ได้อย่างเต็มรูปแบบภายในเวลาไม่ถึงห้านาที

SDK Python แบบโปรแกรม

Argilla SDK ช่วยให้วิศวกรควบคุมการสร้างชุดข้อมูล การจัดการบันทึก การบริหารผู้ใช้ และการส่งออกข้อมูลได้อย่างเต็มที่ ทุกสิ่งที่สามารถทำได้ในส่วนติดต่อผู้ใช้ (UI) สามารถเขียนสคริปต์ด้วย Python ได้เช่นกัน ทำให้สามารถสร้างไปป์ไลน์อัตโนมัติที่เชื่อมต่อเวิร์กโฟลว์การระบุคำอธิบายประกอบเข้ากับลูปการฝึกโมเดลได้ SDK รองรับ Python เวอร์ชัน 3.9 ถึง 3.13 และ ไพแดนติก เวอร์ชัน 2.

AI คำแนะนำแบบช่วยเหลือและการกรองอัจฉริยะ

Argilla ช่วยให้ทีมงานสามารถแนบคำทำนายจากโมเดลเป็นคำแนะนำลงในระเบียนข้อมูลได้ ทำให้ผู้ติดป้ายกำกับสามารถยอมรับ แก้ไข หรือปฏิเสธคำแนะนำเหล่านั้นได้ แทนที่จะต้องติดป้ายกำกับใหม่ทั้งหมด เมื่อรวมกับการค้นหาเชิงความหมายและตัวกรองเมตาเดตาแล้ว จะช่วยลดเวลาในการติดป้ายกำกับได้อย่างมาก ผู้ติดป้ายกำกับจึงสามารถมุ่งเน้นความพยายามไปที่ระเบียนข้อมูลที่สำคัญที่สุด แทนที่จะทำงานกับข้อมูลแบบสุ่มสี่สุ่มห้า

ระบบอัตโนมัติเวิร์กโฟลว์ที่ขับเคลื่อนด้วย Webhook

เวอร์ชัน 2.5 ได้เพิ่มการรองรับ webhook ซึ่งช่วยให้ระบบภายนอกสามารถตอบสนองต่อเหตุการณ์ภายใน Argilla ได้แบบเรียลไทม์ เมื่อเรคอร์ดเสร็จสมบูรณ์หรือชุดข้อมูลเปลี่ยนแปลง Argilla สามารถเรียกใช้กระบวนการถัดไป เช่น งานฝึกอบรมใหม่หรือการตรวจสอบคุณภาพได้ สิ่งนี้ทำให้ Argilla กลายเป็นส่วนประกอบที่มีชีวิตในไปป์ไลน์ MLOps ในสภาพแวดล้อมการผลิต แทนที่จะเป็นเพียงเครื่องมือการระบุคำอธิบายประกอบแบบสแตนด์อโลน

แผนราคาของ Argilla

การติดตั้งใช้งาน Argilla บนโครงสร้างพื้นฐานของคุณเอง

สำหรับทีมที่มีข้อกำหนดด้านการกำกับดูแลข้อมูลที่เข้มงวด Argilla สามารถติดตั้งใช้งานได้อย่างสมบูรณ์บนโครงสร้างพื้นฐานส่วนตัวโดยใช้ Docker ซึ่งจะช่วยให้ควบคุมได้อย่างเต็มที่ในส่วนของระบบจัดเก็บข้อมูล (PostgreSQL บวก Elasticsearch หรือ OpenSearch) การตรวจสอบสิทธิ์ผู้ใช้ และการเข้าถึงเครือข่าย เซิร์ฟเวอร์รองรับการกำหนดค่าตัวแปรสภาพแวดล้อมสำหรับผู้ให้บริการ OAuth2, SSL และการกำหนดเส้นทาง URL พื้นฐาน 

Helm chart พร้อมใช้งานสำหรับการใช้งาน Kubernetes ทำให้การขยายขีดความสามารถในการระบุข้อมูลควบคู่ไปกับโครงสร้างพื้นฐาน ML ที่มีอยู่ทำได้ง่าย เนื่องจากแพลตฟอร์มนี้ได้รับอนุญาตภายใต้ MIT license จึงไม่มีค่าธรรมเนียมการใช้งาน ข้อจำกัดจำนวนที่นั่ง หรือข้อจำกัดด้านฟีเจอร์ใดๆ สำหรับอินสแตนซ์ที่โฮสต์เอง

ข้อดีและข้อเสีย

อาร์จิลลาและระบบนิเวศใบหน้าที่กอดรัด

Argilla เข้าร่วม Hugging Face ในปี 2024 ตอกย้ำบทบาทของมันในฐานะเลเยอร์การใส่คำอธิบายประกอบหลักภายในแพลตฟอร์มโอเพนซอร์สที่ใหญ่ที่สุด AI การเข้าซื้อกิจการครั้งนี้หมายถึงการบูรณาการที่แน่นแฟ้นยิ่งขึ้นกับ Hugging Face Datasets, Transformers และ Hub ผู้ใช้สามารถส่งชุดข้อมูลที่มีคำอธิบายประกอบไปยัง Hub ได้โดยตรงเพื่อการควบคุมเวอร์ชันและการแบ่งปันในชุมชน 

ไลบรารี Distilabel จากทีมเดียวกันนี้ช่วยเสริมการทำงานของ Argilla โดยการสร้างข้อมูลสังเคราะห์ที่ผู้เชี่ยวชาญด้านการระบุข้อมูลจะทำการคัดกรองต่อไป เครื่องมือเหล่านี้ทำงานร่วมกันสร้างวงจรป้อนกลับที่การสร้างข้อมูลสังเคราะห์และการตรวจสอบโดยมนุษย์ดำเนินไปพร้อมกัน ซึ่งช่วยเร่งการสร้างชุดข้อมูลสำหรับ โครงการ LLM โดยไม่สูญเสียคุณภาพ

ทางเลือกที่ดีที่สุดสำหรับข้าวอาร์จิลลา