のデータ AI トレーニングは急速に消滅しつつある、新たな研究が明らかに

MIT主導の研究グループであるデータプロベナンスイニシアチブによる最近の研究では、人工知能（AI）モデルのトレーニングに使用されるデータの入手可能性に関する危機が高まっていることが明らかになった。 14,000のウェブドメインを調査した 一般的に使用される3つの AI トレーニング データセットを調査したところ、高品質なデータ ソースの大部分でコンテンツへのアクセスが制限されていることがわかりました。

この調査によると、C4、RefinedWeb、およびDolmaのデータセットでは、全データの約5%、最高品質のソースからのデータの約25%が制限されていると推定されています。これらの制限は主に、ウェブサイト所有者がrobots.txtというファイルを使用して自動ボットによるページクロールを防止する長年の方法であるロボット排除プロトコル（Robots Exclusion Protocol）を通じて実施されています。

主執筆者のシェイン・ロンプレ氏は、「ウェブ上でデータを利用することへの同意が急速に減少しており、その影響は消費者だけでなく、 AI 企業ではなく、研究者、学者、非営利団体のためのものである」この傾向は、 AI モデルは、トレーニングに膨大な量の多様で高品質なデータに大きく依存しています。

トレーニングデータの不足は、 AI 業界。 AI システムが高度化し、ますます複雑なタスクに適用されるにつれて、豊富で多様なデータセットの需要は高まっています。しかし、そのようなデータの供給は、以下のような様々な要因により減少しています。 プライバシーの懸念、倫理的配慮、そして コンテンツ制作者.

多くの出版社やオンラインプラットフォームは、許可なくデータが収集されることを防ぐための措置を講じている。 有料コンテンツを設置したり、利用規約を変更したりした コンテンツの使用を制限する AI トレーニング。RedditやStackOverflowなどの他のプラットフォームも、 充電 AI について詳しく見る データへのアクセスを求めて訴訟も起こされており、ニューヨーク・タイムズはオープン・AI マイクロソフトは、ニュース記事の使用に関する著作権侵害の疑いで、 AI トレーニング。

このデータ不足の影響は広範囲に及びます。 AI 不十分なデータや偏ったデータで学習したモデルは、精度の低下、一般化の限界、新たな状況への適応能力の低下といった問題に直面する可能性があります。これは、当該分野におけるイノベーションを阻害し、新たな技術開発を阻害する可能性があります。 AI 分野の様々なアプリケーションで使用されています。

これらの課題に対処するために、研究者や AI 企業は代替的なアプローチを模索している。これには、学習に最も有益なデータポイントを選択することに重点を置く能動学習技術や、既存の知識を活用する転移学習などが含まれる。 事前トレーニング済みモデル 限られたデータで新しいタスクのパフォーマンスを向上させるため。

企業によっては、出版社と契約を結び、コンテンツへの継続的なアクセスを確保しているところもある。例えば、OpenAI、Google、Metaは最近、AP通信やニューズ・コーポレーションといった報道機関と契約を締結し、質の高い学習データの継続的な供給を確保している。

として AI 業界がこの新たなデータ危機に取り組む中で、より効率的で責任あるモデルのトレーニング方法の開発を迫られる可能性があります。これは、データの収集と活用におけるイノベーション、さらには大規模なデータセットへの依存度が低い全く新しい学習パラダイムの創出につながる可能性があります。

その 研究's 調査結果 バランスのとれたアプローチの必要性を強調する AI 知的財産権とプライバシーの懸念を尊重しつつ、イノベーションを促進する開発。 AI トレーニングデータは進化し続けており、テクノロジー企業、コンテンツ制作者、政策立案者間の連携が、これらの課題を乗り越え、持続可能な成長を確保する上で重要になります。 AI 技術。