ข้อมูลสำหรับ AI การศึกษาวิจัยใหม่เผยว่าการฝึกอบรมกำลังหายไปอย่างรวดเร็ว

การศึกษาล่าสุดโดย Data Provenance Initiative ซึ่งเป็นกลุ่มวิจัยที่นำโดย MIT ได้เผยให้เห็นถึงวิกฤตที่เพิ่มขึ้นในความพร้อมของข้อมูลที่ใช้ในการฝึกโมเดลปัญญาประดิษฐ์ (AI) ซึ่งการวิจัยนั้น ตรวจสอบโดเมนเว็บ 14,000 โดเมน รวมอยู่ในสามอย่างที่ใช้กันทั่วไป AI ชุดข้อมูลการฝึกอบรม พบว่าแหล่งข้อมูลคุณภาพสูงจำนวนมากมีการจำกัดการเข้าถึงเนื้อหาของตน

จากการศึกษาพบว่า ในชุดข้อมูล C4, RefinedWeb และ Dolma ข้อมูลประมาณ 5% และข้อมูลจากแหล่งข้อมูลคุณภาพสูงสุดประมาณ 25% ถูกจำกัดการเข้าถึง ข้อจำกัดเหล่านี้ส่วนใหญ่ถูกนำมาใช้ผ่านโปรโตคอลการยกเว้นหุ่นยนต์ (Robots Exclusion Protocol ) ซึ่งเป็นวิธีการที่เจ้าของเว็บไซต์ใช้มานานแล้วเพื่อป้องกันไม่ให้บอทอัตโนมัติเข้ามาเก็บข้อมูลในหน้าเว็บของตน โดยใช้ไฟล์ชื่อ robots.txt

Shayne Longpre ผู้เขียนหลักเตือนว่า "เรากำลังเห็นการลดลงอย่างรวดเร็วของการยินยอมในการใช้ข้อมูลทั่วทั้งเว็บ ซึ่งจะส่งผลกระทบไม่เพียงแต่ต่อ AI บริษัทต่างๆ แต่สำหรับนักวิจัย นักวิชาการ และองค์กรที่ไม่แสวงหากำไร” แนวโน้มนี้สามารถส่งผลกระทบอย่างมีนัยสำคัญต่อการพัฒนาและการปรับปรุง AI โมเดลซึ่งอาศัยข้อมูลคุณภาพสูงที่หลากหลายและหลากหลายจำนวนมากสำหรับการฝึกอบรม

ความขาดแคลนข้อมูลการฝึกอบรมกำลังกลายเป็นปัญหาสำคัญใน AI อุตสาหกรรม. เช่น AI ระบบมีความซับซ้อนมากขึ้นและถูกนำไปใช้กับงานที่ซับซ้อนมากขึ้น ความต้องการชุดข้อมูลที่มีคุณค่าและหลากหลายจึงเพิ่มมากขึ้น อย่างไรก็ตาม อุปทานของข้อมูลดังกล่าวลดลงเนื่องจากปัจจัยต่างๆ รวมถึง ข้อกังวลด้านความเป็นส่วนตัว ข้อพิจารณาด้านจริยธรรม และการตอบโต้จาก ผู้สร้างเนื้อหา.

ผู้เผยแพร่และแพลตฟอร์มออนไลน์จำนวนมากได้ดำเนินการเพื่อปกป้องข้อมูลของตนจากการถูกเก็บเกี่ยวโดยไม่ได้รับอนุญาต บางคนก็มี ตั้งค่าเพย์วอลล์หรือเปลี่ยนแปลงข้อกำหนดในการให้บริการ เพื่อจำกัดการใช้เนื้อหาของพวกเขา AI การฝึกอบรม อื่นๆ เช่น Reddit และ StackOverflow ได้เริ่มแล้ว การเรียกเก็บเงิน AI บริษัท เพื่อเข้าถึงข้อมูลของตน นอกจากนี้ ยังมีการดำเนินคดีทางกฎหมาย โดย The New York Times ฟ้อง OpenAI และ Microsoft สำหรับการกล่าวหาการละเมิดลิขสิทธิ์ที่เกี่ยวข้องกับการใช้บทความข่าวใน AI การอบรม

ผลที่ตามมาจากการขาดแคลนข้อมูลนี้มีขอบเขตกว้างไกล AI โมเดลที่ฝึกจากข้อมูลไม่เพียงพอหรือลำเอียงอาจมีความแม่นยำลดลง ความสามารถในการสรุปผลทั่วไปจำกัด และไม่สามารถปรับตัวให้เข้ากับสถานการณ์ใหม่ได้ ซึ่งอาจทำให้การสร้างสรรค์นวัตกรรมในสาขานี้ช้าลงและขัดขวางการพัฒนานวัตกรรมใหม่ AI การใช้งาน

เพื่อรับมือกับความท้าทายเหล่านี้ นักวิจัยและ AI บริษัทต่างๆ กำลังสำรวจแนวทางทางเลือก ซึ่งรวมถึงเทคนิคการเรียนรู้แบบ Active learning ซึ่งเน้นที่การเลือกจุดข้อมูลที่มีข้อมูลมากที่สุดสำหรับการฝึกอบรม และการเรียนรู้แบบถ่ายโอน ซึ่งใช้ประโยชน์จากความรู้จาก รุ่นก่อนการฝึกอบรม เพื่อปรับปรุงประสิทธิภาพงานใหม่ที่มีข้อมูลจำกัด

บางบริษัทกำลังทำข้อตกลงกับสำนักพิมพ์ต่างๆ เพื่อให้มั่นใจว่าจะสามารถเข้าถึงเนื้อหาของพวกเขาได้อย่างต่อเนื่อง ตัวอย่างเช่นOpenAI, Google และ Meta เพิ่งทำข้อตกลงกับองค์กรข่าวต่างๆเช่น The Associated Press และ News Corp เพื่อให้มั่นใจได้ว่าจะมีข้อมูลฝึกฝนคุณภาพสูงให้ใช้ได้อย่างต่อเนื่อง

ในฐานะที่เป็น AI อุตสาหกรรมต้องดิ้นรนกับวิกฤตข้อมูลที่เกิดขึ้นใหม่นี้ อาจจำเป็นต้องพัฒนารูปแบบการฝึกอบรมที่มีประสิทธิภาพและรับผิดชอบมากขึ้น ซึ่งอาจนำไปสู่การสร้างสรรค์นวัตกรรมในการรวบรวมข้อมูล การใช้ข้อมูล และแม้แต่รูปแบบการเรียนรู้ใหม่ ๆ ที่ไม่พึ่งพาชุดข้อมูลขนาดใหญ่

การขอ ศึกษา's ผลการวิจัย เน้นย้ำถึงความจำเป็นในการใช้แนวทางที่สมดุลเพื่อ AI การพัฒนาที่เคารพสิทธิในทรัพย์สินทางปัญญาและความเป็นส่วนตัวพร้อมทั้งยังส่งเสริมนวัตกรรมด้วย AI ข้อมูลการฝึกอบรมยังคงพัฒนาอย่างต่อเนื่อง ความร่วมมือระหว่างบริษัทเทคโนโลยี ผู้สร้างเนื้อหา และผู้กำหนดนโยบายจะมีความสำคัญในการรับมือกับความท้าทายเหล่านี้และรับรองการเติบโตอย่างยั่งยืนของ AI เทคโนโลยี