Dia-1.6B: صوت حر AI هذا أفضل من خدمات مميزة بقيمة 30 دولارًا شهريًا

Dia-1.6B نموذج TTS مفتوح المصدر

يُعد Dia-1.6B بمثابة مادة رائعة نموذج تحويل النص إلى كلام مفتوح المصدر أن's إعادة تشكيل توقعات توليف الصوت عبر AI المجتمع.

تم إنشاء هذا النموذج المكون من 1.6 مليار معلمة بواسطة طالبين جامعيين في مختبرات ناري دون تمويل خارجي، وهو ينتج جودة صوتية مماثلة للخدمات المتميزة مثل ElevenLabs و Sesame CSM-1B.

يتناول هذا الدليل Dia-1.6B's القدرات ومتطلبات التنفيذ والتطبيقات العملية للمطورين، منشئو المحتوىو AI الممارسين الذين يبحثون عن تكنولوجيا الكلام الجاهزة للإنتاج.

ما هو Dia-1.6B؟ ولماذا يتحدث عنه الجميع؟

Dia-1.6B هو نموذج تحويل نص إلى كلام (TTS) متطور، مفتوح المصدر، مصمم لتوليد حوارات واقعية للغاية ومعبّرة من نص عادي. بخلاف معظم نماذج تحويل النص إلى كلام (TTS) التي تُنتج جملًا آلية، يُمكن لـ Dia-1.6B:

ناري ديا-1.6 ب- AI نموذج TTS
  • التعامل مع مكبرات صوت متعددة باستخدام علامات بسيطة مثل [S1], [S2]، الخ.
  • توليد إشارات غير لفظية مثل الضحك، والسعال، والتنهدات، وأكثر مباشرة من النص.
  • استنساخ الأصوات والتحكم في العواطف/النبرة عن طريق التكييف على عينات صوتية.
  • تسليم الأوزان والرموز المفتوحة في ظل Apache 2.0، لن تكون مقيدًا ببائع أو صندوق أسود.

وهنا تكمن المفاجأة: بُنيَ على يد طالبين جامعيين كوريين، وليس مختبرًا ضخم التمويل في وادي السيليكون. استفادا من سحابة أبحاث TPU من جوجل للحوسبة، مُثبتَين أنه باستخدام الأدوات المناسبة، يُمكن للمطورين المستقلين تحقيق إنجازات تفوق قدراتهم.

الميزات الرئيسية والمزايا الفريدة

  • 1.6 ب المعلمات: عضلات كافية لالتقاط التفاصيل الدقيقة للكلام البشري، والعاطفة، والتوقيت.
  • الحوار-التصميم الأول: تم تصميمه للتعامل مع المحادثات المتبادلة، وليس فقط الخطوط المعزولة.
  • علامات المتحدث: استعمل [S1], [S2]، وما إلى ذلك لإنشاء نصوص طبيعية متعددة المتحدثين.
  • توليد الصوت غير اللفظي: إدراج إشارات مثل (laughs), (coughs), (sighs)، وسوف يقوم Dia بتوليدها في الصوت.
  • استنساخ الصوت: قم بإدخال عينة صوتية ونص مكتوب لتكييف الإخراج على صوت أو عاطفة معينة.
  • المصدر المفتوح: مجاني للاستخدام والتعديل والنشر لأغراض البحث و مشاريع تجارية.
  • الاستدلال في الوقت الحقيقي: في وحدات معالجة الرسومات الخاصة بالمؤسسات، يمكنك الحصول على توليد في الوقت الفعلي تقريبًا - حوالي 40 رمزًا/ثانية على NVIDIA A4000.

كيف تتم مقارنة Dia-1.6B بالمنافسة؟

يتفوق برنامج Dia-1.6B بالفعل على البرامج التجارية الرائدة مثل ElevenLabs Studio وSesame CSM-1B من حيث التعبير والتوقيت ومعالجة الإشارات غير اللفظية. وقد أشاد المستخدمون، في عروض توضيحية مقارنة، بقدرته على التقاط تدفق الحوار الطبيعي والنبرة العاطفية، وهو ما يفتقر إليه غالبًا أنظمة تحويل النص إلى كلام التقليدية.

ما العيب؟ النموذج حاليًا باللغة الإنجليزية فقط، وهو غير مُعدّل خصيصًا لأصوات محددة، لذا ستسمع صوتًا مختلفًا في كل مرة ما لم تستخدم خاصية تهيئة الصوت. لكن بالنسبة لمشروع مفتوح المصدر، فإن النتائج مذهلة بكل المقاييس.

البدء: تشغيل Dia-1.6B محليًا

هل أنت مستعد لتجربة Dia-1.6B بنفسك؟ إليك دليل خطوة بخطوة، سواءً كنت ترغب بتشغيله محليًا أو سحابيًا.

متطلبات الأجهزة⬩ VRAM: يحتاج إلى حوالي 10 جيجابايت (وحدة معالجة الرسوميات T4 على Google Colab مثالية)
⬩ OS: لينكس، أو ماك أو إس، أو ويندوز
⬩ بايثون: 3.8+
1

استنساخ المستودع وإعداد البيئة الخاصة بك

سحق

git clone https://github.com/nari-labs/dia.git
cd dia
python -m venv .venv
source .venv/bin/activate
pip install uv
uv run app.py

أو إذا كنت تستخدم Google Colab:

الثعبان

!git clone https://github.com/nari-labs/dia.git
!pip install ./dia
!pip install soundfile

قم بالتبديل إلى وحدة معالجة الرسوميات T4 في Colab للحصول على أفضل النتائج.

2

تنزيل أوزان النماذج

يتم استضافة أوزان النموذج على موقع Hugging Face. ستحتاج إلى رمز وصول Hugging Face (يمكنك إنشاء واحد على موقع Huggingface ).

الثعبان

import soundfile as sf
from dia.model import Dia

model = Dia.from_pretrained("nari-labs/Dia-1.6B")
3

إنشاء كلام من النص

فيما يلي نص نموذجي يوضح الحوار والميزات غير اللفظية:

الثعبان

text = "[S1] This is how Dia sounds. (laughs) [S2] Don't laugh too much. [S1] (clears throat) Do share your thoughts on the model."
output = model.generate(text)
sf.write("dia_sample.mp3", output, 44100)  # Save the audio

يمكنك تشغيل الصوت باستخدام أي مشغل قياسي أو داخل Jupyter/Colab:

الثعبان

import IPython.display as ipd
ipd.Audio("dia_sample.mp3")
4

استنساخ الصوت وتكييفه

ضياء يدعم استنساخ الصوت من خلال التكييف مع عينة صوتية. حمّل ملفك الصوتي المرجعي والنص المكتوب في مساحة "وجه العناق"، أو استخدم النص النموذجي في example/voice_clone.py من المستودع.

خيار عدم استخدام الكود: جرب Dia-1.6B عبر الإنترنت

لا تريد العبث بالرموز؟ توجه إلى مساحة "احتضان الوجه" الرسمية:

Dia-1.6B على وجه العناق

ما عليك سوى لصق النص، وإضافة مُطالبة صوتية إذا أردت استنساخ صوت، ثم الضغط على "إنشاء". الأمر بهذه البساطة.

مشروع نموذجي: بناء روبوت محادثة باستخدام Dia-1.6B

فيما يلي مثال سريع باستخدام Python لبناء روبوت حوار بسيط:

الثعبان

import soundfile as sf
from dia.model import Dia

model = Dia.from_pretrained("nari-labs/Dia-1.6B")

conversation = """
[S1] Hello! Welcome to our AI-powered podcast. (laughs)
[S2] Thanks! It's great to be here. (clears throat) So, what's new in AI?
[S1] Oh, loads! Have you heard about Dia-1.6B?
[S2] Of course. It's the new open-source TTS model everyone's raving about.
"""

audio = model.generate(conversation)
sf.write("podcast_intro.mp3", audio, 44100)

أفضل الممارسات والنصائح الاحترافية

استنساخ الصوت: للحصول على أصوات متسقة، استخدم ميزة المطالبة الصوتية أو قم بتعيين بذرة عشوائية.
استخدم علامات المتحدث: قم دائمًا بتمييز مكبرات الصوت على أنها [S1], [S2]، وما إلى ذلك للحوار متعدد الأصوات.
استخدم الإشارات غير اللفظية: إدراج إشارات مثل (laughs) or (sighs) للحصول على مخرجات أكثر واقعية.
استنساخ الصوت: للحصول على أصوات متسقة، استخدم ميزة المطالبة الصوتية أو قم بتعيين بذرة عشوائية.
الأجهزة: للحصول على أفضل سرعة، استخدم وحدة معالجة رسومية (GPU) بسعة 10 جيجابايت على الأقل من ذاكرة الفيديو (VRAM). سيتم دعم وحدة المعالجة المركزية قريبًا.
أخلاق: لا تستخدم Dia لإساءة استخدام الهوية، deepfakesأو محتوىً مضللاً. إنه قوي، فاستخدمه بمسؤولية.

استكشاف الأخطاء وإصلاحها والأسئلة الشائعة

لماذا يبدو صوتي مختلفًا مع كل جيل؟

Dia-1.6B غير مُعَدَّل بدقة على أصوات مُحددة افتراضيًا. للحصول على خرج مُتَّسق، استخدم ميزة مُعالجة الصوت مع عينة مرجعية أو جرِّب ضبط بذرة عشوائية ثابتة.

هل يمكنني استخدام Dia-1.6B للمشاريع التجارية؟

نعم! Dia-1.6B مُصدر بموجب ترخيص Apache 2.0، مما يسمح باستخدامه مجانًا للأغراض الشخصية والتجارية دون قيود.

هل يدعم Dia-1.6B لغات أخرى غير الإنجليزية؟

حاليًا، يدعم Dia-1.6B تحويل النص إلى كلام باللغة الإنجليزية فقط. قد يُضاف دعم متعدد اللغات في الإصدارات المستقبلية وفقًا لخطة العمل.

كيف أقوم بإنشاء حوار مع متحدثين متعددين؟

استخدم علامات بسيطة مثل [S1] و[S2] في نصك لتحديد المتحدثين المختلفين. بالنسبة للمتحدثين الإضافيين، استمر باستخدام [S3] و[S4]، إلخ، مع الحفاظ على تناسق أصوات الشخصيات.

كيف يمكنني استنساخ صوت معين باستخدام Dia-1.6B؟

حمّل عينة صوتية عالية الجودة، مدتها من ١٠ إلى ٢٠ ثانية، إلى قسم "المطالبة الصوتية" مع نصها الأصلي. سيحلل النموذج خصائص الصوت في الناتج ويُطابقها.

خلاصة القول: لماذا يُعد Dia-1.6B مهمًا؟

يمثل Dia-1.6B اللحظة الدقيقة AI اصطناع الكلام تجاوزت عتبة "تقنية مبهرة" إلى "مُزعزعة للقطاع". في حين أنفقت شركات التكنولوجيا العملاقة الملايين على تحسين حدائقها المُسوّرة، أعاد هذا النموذج الذي بناه الطلاب كتابة القواعد بهدوء. ماذا يحدث عندما تصبح جودة الصوت المتميزة مجانية؟ عندما لا تُكلّف الفروق الدقيقة العاطفية رسوم اشتراك؟

هل أنت مستعد لإعطاء مشروعاتك صوتًا حقيقيًا؟
نزّل Dia-1.6B، شغّل نصوصك البرمجية، ودع محتواك يتحدث عن نفسه. إذا واجهت أي عقبات، مختبرات ناري المجتمع مليء بالدعم والأفكار. دعونا نجعل AI صوت الإنسان - نموذج مفتوح المصدر واحد في كل مرة.

اترك تعليق

لن يتم نشر عنوان بريدك الإلكتروني. الحقول المطلوبة مُشار إليها بعلامة *

الانضمام الى Aimojo قبيلة!

انضم إلى أكثر من 76,000 عضوًا للحصول على نصائح داخلية كل أسبوع! 
؟؟؟؟ BONUS: احصل على 200 دولارAI "مجموعة أدوات الإتقان" مجانية عند التسجيل!

الأحدث AI الأدوات
موسيقي

أنشئ أغاني وفيديوهات ومؤثرات بصرية أصلية دون الحاجة إلى تغيير المنصات. استوديو واحد للإنتاج الإبداعي متعدد الوسائط. AI إنتاج الموسيقى يلتقي بالإنتاج المرئي للمبدعين الرقميين.

فورا

حوّل العملاء المحتملين غير المهتمين إلى اجتماعات مؤهلة مع AI التواصل. اعثر على المشترين، وقم بتخصيص رسائل البريد الإلكتروني، وأتمت الردود. مصمم خصيصًا للتنقيب عن عملاء الشركات، وضمان التسليم، والمبيعات الخارجية.

دليل

حوّل عمليات سير العمل البرمجية المتكررة إلى عمليات احترافية AI فيديو التدريب التقاط الشاشة تلقائيًا مع AI رواية أنشئ دروسًا تعليمية خطوة بخطوة للبرامج بدون تحرير فيديو يدوي

AI الملائكة

بناء شخصية AI حبيبة تتذكرك بالفعل. محادثات خاصة، مكالمات صوتية، خيالات مخصصة. بالغ AI رفقة مع ذاكرة دائمة ورومانسية شخصية.

أوبن كود

انشر كودًا موثوقًا به بشكل أسرع باستخدام المرونة AI عملاء. وكيل ترميز واحد، ومئات من مقدمي الخدمات. أتمتة مستودعات المصادر المفتوحة عبر المحطات الطرفية وسير العمل على سطح المكتب.

© حقوق الطبع والنشر 2023 - 2026 | كن AI برو | صنع بـ ♥