のデータ AI トレーニングは急速に消滅しつつある、新たな研究が明らかに

MIT主導の研究グループであるデータプロベナンスイニシアチブによる最近の研究では、人工知能（AI）モデルのトレーニングに使用されるデータの入手可能性に関する危機が高まっていることが明らかになった。 14,000のウェブドメインを調査した 一般的に使用される3つの AI トレーニング データセットを調査したところ、高品質なデータ ソースの大部分でコンテンツへのアクセスが制限されていることがわかりました。

この研究では、C4、RefinedWeb、Dolmaのデータセットでは、およそ 全データの5%と最高品質のソースからのデータの25%が制限されているこれらの制限は主に ロボット排除プロトコルこれは、ウェブサイト所有者が robots.txt と呼ばれるファイルを使用して、自動ボットによるページクロールを防ぐための長年使用されている方法です。

主執筆者のシェイン・ロンプレ氏は、「ウェブ上でデータを利用することへの同意が急速に減少しており、その影響は消費者だけでなく、 AI 企業ではなく、研究者、学者、非営利団体のためのものである」この傾向は、 AI モデルは、トレーニングに膨大な量の多様で高品質なデータに大きく依存しています。

トレーニングデータの不足は、 AI 業界。 AI システムが高度化し、ますます複雑なタスクに適用されるにつれて、豊富で多様なデータセットの需要は高まっています。しかし、そのようなデータの供給は、以下のような様々な要因により減少しています。 プライバシーの懸念、倫理的配慮、そして コンテンツ制作者.

多くの出版社やオンラインプラットフォームは、許可なくデータが収集されることを防ぐための措置を講じている。 有料コンテンツを設置したり、利用規約を変更したりした コンテンツの使用を制限する AI トレーニング。RedditやStackOverflowなどの他のプラットフォームも、 充電 AI について詳しく見る データへのアクセスを求めて訴訟も起こされており、ニューヨーク・タイムズはオープン・AI マイクロソフトは、ニュース記事の使用に関する著作権侵害の疑いで、 AI トレーニング。

このデータ不足の影響は広範囲に及びます。 AI 不十分なデータや偏ったデータで学習したモデルは、精度の低下、一般化の限界、新たな状況への適応能力の低下といった問題に直面する可能性があります。これは、当該分野におけるイノベーションを阻害し、新たな技術開発を阻害する可能性があります。 AI 分野の様々なアプリケーションで使用されています。

これらの課題に対処するために、研究者や AI 企業は代替的なアプローチを模索している。これには、学習に最も有益なデータポイントを選択することに重点を置く能動学習技術や、既存の知識を活用する転移学習などが含まれる。 事前トレーニング済みモデル 限られたデータで新しいタスクのパフォーマンスを向上させるため。

一部の企業は、自社コンテンツへの継続的なアクセスを確保するために出版社と契約を結んでいる。例えば、 OpenAI、Google、Metaは最近、報道機関と契約を結んだ。 継続的に高品質のトレーニング データが供給されるように、AP 通信や News Corp などの企業と提携しています。

として AI 業界がこの新たなデータ危機に取り組む中で、より効率的で責任あるモデルのトレーニング方法の開発を迫られる可能性があります。これは、データの収集と活用におけるイノベーション、さらには大規模なデータセットへの依存度が低い全く新しい学習パラダイムの創出につながる可能性があります。

その 研究's 調査結果 バランスのとれたアプローチの必要性を強調する AI 知的財産権とプライバシーの懸念を尊重しつつ、イノベーションを促進する開発。 AI トレーニングデータは進化し続けており、テクノロジー企業、コンテンツ制作者、政策立案者間の連携が、これらの課題を乗り越え、持続可能な成長を確保する上で重要になります。 AI 技術。