
Dia-1.6B е забележителен модел с отворен код за преобразуване на текст в реч че's преоформяне на очакванията за аудио синтез в целия AI общност.
Създаден от двама студенти в Nari Labs без външно финансиране, този модел с 1.6 милиарда параметъра произвежда аудио качество, сравнимо с първокласни услуги като ElevenLabs и Sesame CSM-1B.
Това ръководство разглежда Dia-1.6B's възможности, изисквания за внедряване и практически приложения за разработчиците, създателите на съдържание, и AI практици, търсещи технология за реч, готова за производство.
Какво е Dia-1.6B? Защо всички говорят за него?
Dia-1.6B е модерен модел за синтез на реч с отворен код, предназначен да генерира ултрареалистичен, изразителен диалог от обикновен текст. За разлика от повечето модели за синтез на реч, които просто изричат роботизирани изречения, Dia-1.6B може:

- Работете с няколко високоговорителя използвайки прости етикети като
[S1],[S2]И др - Генерирайте невербални сигнали като смях, кашлица, въздишки и още много други, направо от сценария.
- Клониране на гласове и контрол на емоциите/тона чрез обуславяне на аудио проби.
- Предоставяне на отворени тегла и код под Apache 2.0, така че не сте обвързани с доставчик или черна кутия.
И ето го и интересният момент: разработен е от двама корейски студенти, а не от мега-финансирана лаборатория в Силициевата долина. Те са използвали TPU Research Cloud на Google за изчисления, показвайки, че с правилните инструменти, независимите разработчици могат да се справят с повече от очакваното.
Основни характеристики и уникални предимства
- 1.6B Параметри: Достатъчно мускули, за да уловят тънкостите на човешката реч, емоции и време.
- Дизайн, ориентиран към диалог: Създаден да се справя с двупосочни разговори, а не само с изолирани линии.
- Етикети на високоговорителя: употреба
[S1],[S2]и др., за да се създадат естествени сценарии с множество говорители. - Невербално генериране на звук: Вмъкнете сигнали като
(laughs),(coughs),(sighs), а Dia ще ги генерира в аудиото. - Гласово клониране: Изпратете аудио семпъл и препис, за да настроите изхода към конкретен глас или емоция.
- Отворен код: Безплатно за използване, модифициране и внедряване за изследвания и търговски проекти.
- Извод в реално време: На корпоративните графични процесори получавате генериране почти в реално време - около 40 токена/сек на NVIDIA A4000.
Как се сравнява Dia-1.6B с конкуренцията?
Dia-1.6B вече превъзхожда комерсиални гиганти като ElevenLabs Studio и Sesame CSM-1B по изразителност, време и обработка на невербални сигнали. В сравнителни демонстрации потребителите са похвалили способността му да улавя естествения поток на диалога и емоционалния тон, което често липсва в по-старите TTS системи.
Какъв е проблемът? Моделът в момента е само на английски език и не е фино настроен за конкретни гласове, така че ще получавате различен глас всеки път, освен ако не използвате аудио кондициониране. Но за проект с отворен код резултатите са просто зашеметяващи.
Първи стъпки: Локално изпълнение на Dia-1.6B
Готови ли сте да изпробвате Dia-1.6B сами? Ето вашето ръководство стъпка по стъпка, независимо дали искате да го стартирате локално или в облака.
| Изисквания към хардуера | ⬩ VRAM: Необходими са около 10GB (T4 GPU в Google Colab е перфектен) ⬩ ОПЕРАЦИОННА СИСТЕМА: Linux, macOS или Windows ⬩ питон: 3.8 + |
Клонирайте хранилището и настройте средата си
тряскам
git clone https://github.com/nari-labs/dia.git
cd dia
python -m venv .venv
source .venv/bin/activate
pip install uv
uv run app.py
Или, ако използвате Google Colab:
питон
!git clone https://github.com/nari-labs/dia.git
!pip install ./dia
!pip install soundfile
За най-добри резултати преминете към графичен процесор T4 в Colab.
Изтегляне на теглата на моделите
Теглата на модела се хостват на Hugging Face. Ще ви е необходим токен за достъп до Hugging Face (създайте такъв на Huggingface ).
питон
import soundfile as sf
from dia.model import Dia
model = Dia.from_pretrained("nari-labs/Dia-1.6B")
Генериране на реч от текст
Ето примерен сценарий, който показва диалога и невербалните характеристики:
питон
text = "[S1] This is how Dia sounds. (laughs) [S2] Don't laugh too much. [S1] (clears throat) Do share your thoughts on the model."
output = model.generate(text)
sf.write("dia_sample.mp3", output, 44100) # Save the audio
Можете да възпроизведете аудиото, използвайки всеки стандартен плейър или в Jupyter/Colab:
питон
import IPython.display as ipd
ipd.Audio("dia_sample.mp3")
Клониране и кондициониране на глас
Диа подкрепя клониране на глас чрез кондициониране върху аудио семпъл. Качете референтния си аудиозапис и препис в Hugging Face Space или използвайте примерния скрипт в example/voice_clone.py от хранилището.
Опция без код: Опитайте Dia-1.6B онлайн
Не искате да се занимавате с код? Посетете официалното пространство за прегръщащи лица:

Просто поставете скрипта си, добавете аудио подкана, ако искате да клонирате глас, и натиснете „генериране“. Толкова е просто.
Примерен проект: Създаване на разговорен бот с Dia-1.6B
Ето един бърз пример на Python за изграждане на прост диалогов бот:
питон
import soundfile as sf
from dia.model import Dia
model = Dia.from_pretrained("nari-labs/Dia-1.6B")
conversation = """
[S1] Hello! Welcome to our AI-powered podcast. (laughs)
[S2] Thanks! It's great to be here. (clears throat) So, what's new in AI?
[S1] Oh, loads! Have you heard about Dia-1.6B?
[S2] Of course. It's the new open-source TTS model everyone's raving about.
"""
audio = model.generate(conversation)
sf.write("podcast_intro.mp3", audio, 44100)
Изходен изход:
Най-добри практики и професионални съвети
Общност и поддръжка
Отстраняване на неизправности и често задавани въпроси
Защо гласът ми звучи различно с всяко поколение?
Dia-1.6B не е фино настроен по подразбиране за конкретни гласове. За постоянен изход използвайте функцията за аудио кондициониране с референтен семпъл или опитайте да зададете фиксирано произволно начално число.
Мога ли да използвам Dia-1.6B за търговски проекти?
Да! Dia-1.6B е издаден под лиценза Apache 2.0, което позволява безплатна употреба както за лични, така и за търговски цели без ограничения.
Поддържа ли Dia-1.6B езици освен английски?
В момента Dia-1.6B поддържа само генериране на текст в реч на английски език. Многоезична поддръжка може да бъде добавена в бъдещи версии, в съответствие с плана за развитие.
Как да създам диалог с множество говорители?
Използвайте прости тагове като [S1] и [S2] в сценария си, за да обозначите различните говорители. За допълнителни говорители продължете с [S3], [S4] и т.н., като поддържате еднакви гласове на героите.
Как да клонирам определен глас с Dia-1.6B?
Качете 10-20-секунден висококачествен аудио фрагмент в секцията „Аудио подкана“ заедно с точния му препис. Моделът ще анализира и ще съпостави гласовите характеристики в генерирания изход.
В крайна сметка: Защо Dia-1.6B е важен
Dia-1.6B представлява точния момент AI синтез на речта прекрачи прага от „впечатляваща технология“ до „индустриален разрушител“. Докато технологичните гиганти харчеха милиони, за да усъвършенстват своите оградени градини, този модел, създаден от студенти, тихомълком пренаписа правилата. Какво се случва, когато първокласното качество на гласа стане безплатно? Когато емоционалните нюанси вече не струват абонаментни такси?
Готови ли сте да дадете истински глас на проектите си?
Изтеглете Dia-1.6B, стартирайте скриптовете си и оставете съдържанието ви да говори само за себе си. Ако срещнете някакви трудности, Лаборатории Нари Общността е пълна с подкрепа и идеи. Нека направим AI здрав човек - един модел с отворен код в даден момент.


