Bou van meertalige stemagent met behulp van die oopAI Agent SDK

Stemgedrewe toepassings het verskuif van wetenskapfiksiekonsepte na ontplooibare oplossings met OpenAI.'s nuutste gereedskap. Hierdie gids lei deur die praktiese implementering van veeltalige stemagente wat die Open gebruikAI Agent SDK, wat demonstreer hoe om stelsels te skep wat spraak oor tale heen verwerk terwyl mensagtige interaksieritmes gehandhaaf word.

Wat is oopAI Agent SDK?

OpeningAI Agent SDK bied ontwikkelaars 'n raamwerk om te bou AI agente wat verskeie insette, insluitend stem, kan verwerk en daarop kan reageer. Die SDK ondersteun die GPT-4o-realtime-preview-model, wat dit moontlik maak intydse gespreksvermoëns deur sy gevorderde Natuurlike taal verwerking (NLP) kenmerke.

Die SDK sluit spesifiek VoicePipeline in, 'n komponent wat ontwerp is om stemgebaseerde interaksies naatloos te hanteer. Hierdie pyplyn bestuur die komplekse proses van die omskakeling van spraak na teks, die verwerking van die inligting en die generering van natuurlikklinkende reaksies.

Kernargitektuur van Moderne Stemagente

1. Die Spraakverwerkingspyplyn

OpenAI's VoicePipeline werk deur drie gesinchroniseerde stadiums: klankopname, taalverwerking en reaksiegenerering. Die stelsel begin deur rou klankseine in teks om te skakel met behulp van spraak-tot-teks modelle soos GPT-4o Transkribeer. Hierdie teksinvoer word dan in taalmodelle ingevoer wat konteks, bedoeling en emosionele toon ontleed. Laastens genereer teks-na-spraak-komponente natuurlik klinkende vokale reaksies terwyl die gespreksvloei gehandhaaf word.

2. Multimodale vs. Gekettingde Argitekture

Twee afsonderlike benaderings oorheers die ontwikkeling van stemagente:

Meertalige Stemmagentgids: Van Kode tot Gesprek

Skep stemagente met OpenAI Agent SDK vereis spesifieke omgewingkonfigurasies. Volg hierdie stappe om 'n funksionele ontwikkelingsomgewing met stemvermoëns te vestig.

Stap 1. Python & Virtuele Omgewing Opstelling

Maak seker dat Python 3.8+ geïnstalleer is. Verifieer met:

python --version  

Vir nuwe installasies, laai Python af vanaf python.org.

a. Skep 'n virtuele omgewing

Isoleer afhanklikhede om konflikte te vermy:

p-ython -m venv voice_agent_env  

b. Aktivering:

• Linux/macOS:

source voice_agent_env/bin/activate  

• Windows:

voice_agent_env\Scripts\activate  

c. Installeer stemspesifieke afhanklikhede

Installeer die OopAI Agente SDK met stemuitbreidings en oudiobiblioteke:

pip install 'openai-agents[voice]' numpy sounddevice scipy python-dotenv  

d. Konfigureer OopAI API-sleutelStoor jou API-sleutel veilig met behulp van omgewingveranderlikes:

1. Skep 'n .env lêer:

echo "OPENAI_API_KEY=your-api-key-here" > .env  

2. Kloon die voorbeeldbewaarplek (opsioneel):

Om dinge te bespoedig, kan jy die amptelike voorbeeld van die kloon OpeningAI Agente SDK GitHub-bewaarplek.

git clone https://github.com/openai/openai-agents-python.git
cd openai-agents-python/examples/voice/static

Stap 2. Die bou van die meertalige agent

Die hoofkomponente sluit in:

• Taalspesifieke agente vir verskillende tale (Spaans, Hindi)
• 'n Primêre agent wat aanvanklike interaksies hanteer
• Funksie-instrumente vir bykomende vermoëns (soos weerinligting)

hier's 'n vereenvoudigde weergawe van die kodestruktuur:

a. Definieer jou agente

Skep verskillende agentinstansies vir elke taal wat jy wil ondersteun. Byvoorbeeld, 'n Spaanse agent en 'n Hindi-agent kan geskep word met instruksies in hul onderskeie tale:

from agents import Agent
from agents.extensions.handoff_prompt import prompt_with_handoff_instructions

spanish_agent = Agent(
    name="Spanish",
    handoff_description="A Spanish speaking agent.",
    instructions=prompt_with_handoff_instructions(
        "You're speaking to a human, so be polite and concise. Speak in Spanish."
    ),
    model="gpt-4o-mini",
)

hindi_agent = Agent(
    name="Hindi",
    handoff_description="A Hindi speaking agent.",
    instructions=prompt_with_handoff_instructions(
        "You're speaking to a human, so be polite and concise. Speak in Hindi."
    ),
    model="gpt-4o-mini",
)

Skep jou primêre assistent wat die taal van die gebruiker se spraak sal opspoor en indien nodig aan die toepaslike agent sal delegeer:

agent = Agent(
    name="Assistant",
    instructions=prompt_with_handoff_instructions(
        "You're speaking to a human, so be polite and concise. If the user speaks in Spanish, hand off to the Spanish agent. If the user speaks in Hindi, hand off to the Hindi agent."
    ),
    model="gpt-4o-mini",
    handoffs=[spanish_agent, hindi_agent],
)

b. Voeg gereedskap by (opsioneel)

Byvoorbeeld, jy kan 'n eenvoudige weerinstrument byvoeg wat die agent dalk kan aanroep:

import random
from agents import function_tool

@function_tool
def get_weather(city: str) -> str:
    choices = ["sunny", "cloudy", "rainy", "snowy"]
    return f"The weather in {city} is {random.choice(choices)}."
    
agent.tools.append(get_weather)

Stap 3. Opstel van die stempyplyn

Die SDK se stempyplyn kombineer drie komponente:

1. Spraak-na-teks (STT): Skakel jou oudio-invoer om na teks.
2. Agentiese Werkvloei: Verwerk die teks (insluitend taalopsporing en gereedskapaanroeping).
3. Teks-na-spraak (TTS): Skakel die agent om's teksantwoord terug in klank.

hier's 'n vereenvoudigde voorbeeld:

import asyncio
import numpy as np
import sounddevice as sd
from agents.voice import AudioInput, SingleAgentVoiceWorkflow, VoicePipeline

async def main():
    # Create the voice pipeline with your primary agent
    pipeline = VoicePipeline(workflow=SingleAgentVoiceWorkflow(agent))
    
    # For demonstration, we'll simulate 3 seconds of audio input with silence.
    buffer = np.zeros(24000 * 3, dtype=np.int16)
    audio_input = AudioInput(buffer=buffer)
    
    # Run the pipeline
    result = await pipeline.run(audio_input)
    
    # Set up the audio player (using sounddevice)
    player = sd.OutputStream(samplerate=24000, channels=1, dtype=np.int16)
    player.start()
    
    # Stream and play audio events from the agent's output
    async for event in result.stream():
        if event.type == "voice_stream_event_audio":
            player.write(event.data)

if __name__ == "__main__":
    asyncio.run(main())

In 'n werklike toepassing, in plaas van stilte, sou jy lewendige mikrofooninvoer vasvang, en die agent sou die taal intyds opspoor.

Stap 4: Begin jou stemagent

python -m examples.voice.static.main

Neem vandag die leiding met u meertalige stemagent

Bou stemagente met die OpenAI Agent SDK het aansienlik meer toeganklik geword. Ontwikkelaars kan nou kies tussen multimodale of gekettingde argitekture gebaseer op hul spesifieke behoeftes, 'n VoicePipeline opstel en die SDK die ... laat hanteer. komplekse verwerking.

Vir die kwaliteit van gespreksvloei werk die multimodale benadering die beste. Vir struktuur en beheer is die gekettingde metode meer geskik. Hierdie tegnologie vorder steeds en bied nuwe moontlikhede vir stemgedrewe toepassings.