كشفت دراسة حديثة أجرتها مبادرة مصدر البيانات، وهي مجموعة بحثية يقودها معهد ماساتشوستس للتكنولوجيا، عن أزمة متنامية في توافر البيانات المستخدمة لتدريب نماذج الذكاء الاصطناعي. البحث الذي فحص 14,000 نطاق ويب متضمنة في ثلاثة مستخدمة بشكل شائع AI وقد وجدت دراسة أجريت على مجموعات بيانات التدريب أن نسبة كبيرة من مصادر البيانات عالية الجودة تقوم الآن بتقييد الوصول إلى محتواها.
تقدر الدراسة أنه في مجموعات البيانات C4 وRefinedWeb وDolma تقريبًا تم تقييد 5% من جميع البيانات و25% من البيانات الواردة من المصادر عالية الجودة. يتم تنفيذ هذه القيود في المقام الأول من خلال بروتوكول استبعاد الروبوتات، وهي طريقة قديمة يستخدمها مالكو مواقع الويب لمنع برامج الروبوت الآلية من الزحف إلى صفحاتهم باستخدام ملف يسمى robots.txt.
يحذر المؤلف الرئيسي شاين لونجبري، "نحن نشهد انخفاضًا سريعًا في الموافقة على استخدام البيانات عبر الويب، وهو ما سيكون له عواقب ليس فقط على AI "إن هذا التوجه لا يقتصر على الشركات فحسب، بل يشمل أيضًا الباحثين والأكاديميين والكيانات غير التجارية". ويمكن أن يؤثر هذا الاتجاه بشكل كبير على تطوير وتحسين AI عارضات ازياء، والتي تعتمد بشكل كبير على كميات هائلة من البيانات المتنوعة وعالية الجودة للتدريب.
إن ندرة بيانات التدريب أصبحت قضية حرجة في AI الصناعة. كما AI مع ازدياد تعقيد الأنظمة وتطبيقها على مهام متزايدة التعقيد، يزداد الطلب على مجموعات بيانات غنية ومتنوعة. ومع ذلك، يتضاءل عرض هذه البيانات بسبب عوامل مختلفة، منها مخاوف الخصوصية، والاعتبارات الأخلاقية، والرفض من منشئو المحتوى.
اتخذ العديد من الناشرين والمنصات عبر الإنترنت خطوات لحماية بياناتهم من أن يتم جمعها دون إذن. البعض لديه إعداد نظام حظر الاشتراك غير المدفوع أو تغيير شروط الخدمة الخاصة بهم للحد من استخدام المحتوى الخاص بهم AI التدريب. وقد بدأ آخرون، مثل Reddit وStackOverflow، شحن AI الشركات للوصول إلى بياناتهم. كما اتُّخذت إجراءات قانونية، حيث رفعت صحيفة نيويورك تايمز دعوى قضائية ضد شركة OpenAI ومايكروسوفت بتهمة انتهاك حقوق الطبع والنشر فيما يتعلق باستخدام المقالات الإخبارية في AI تدريب.
وتبدو تداعيات هذا النقص في البيانات بعيدة المدى. AI قد تواجه النماذج المُدرَّبة على بيانات غير كافية أو متحيزة انخفاضًا في الدقة، وضعفًا في قابلية التعميم، وعدم القدرة على التكيف مع المواقف الجديدة. وهذا قد يُبطئ الابتكار في هذا المجال ويُعيق تطوير حلول جديدة. AI التطبيقات.
ولمعالجة هذه التحديات، يعمل الباحثون و AI تستكشف الشركات أساليب بديلة. وتشمل هذه الأساليب تقنيات التعلم النشط، التي تركز على اختيار نقاط البيانات الأكثر إفادة للتدريب، والتعلم بالنقل، الذي يستفيد من المعرفة المكتسبة. نماذج مدربة مسبقًا لتحسين الأداء في المهام الجديدة ذات البيانات المحدودة.
تقوم بعض الشركات أيضًا بإبرام صفقات مع الناشرين لتأمين الوصول المستمر إلى المحتوى الخاص بهم. على سبيل المثال، أبرمت OpenAI وGoogle وMeta مؤخرًا اتفاقيات مع مؤسسات إخبارية مثل وكالة Associated Press وNews Corp لضمان التدفق المستمر لبيانات التدريب عالية الجودة.
كما AI في ظلّ مواجهة الصناعة لأزمة البيانات الناشئة، قد تُضطر إلى تطوير أساليب تدريب أكثر كفاءةً ومسؤولية. قد يُفضي هذا إلى ابتكارات في جمع البيانات واستخدامها، بل وحتى إلى نماذج تعلّم جديدة كليًا أقل اعتمادًا على مجموعات البيانات الضخمة.
استخدم دراسة's النتائج التأكيد على الحاجة إلى اتباع نهج متوازن AI تطوير يحترم حقوق الملكية الفكرية ويراعي الخصوصية مع تعزيز الابتكار. AI مع استمرار تطور بيانات التدريب، سيكون التعاون بين شركات التكنولوجيا ومنشئي المحتوى وصناع السياسات أمرًا بالغ الأهمية في التعامل مع هذه التحديات وضمان النمو المستدام AI التقنيات.
BONUS: احصل على 200 دولارAI "مجموعة أدوات الإتقان" مجانية عند التسجيل!
