Het bouwen van een meertalige spraakagent met behulp van de OpenAI Agent SDK

Spraakgestuurde applicaties zijn van sciencefictionconcepten naar inzetbare oplossingen met OpenAI verschoven's nieuwste tools. Deze gids begeleidt u door de praktische implementatie van meertalige spraakagenten met behulp van OpenAI Agent SDK, waarin wordt gedemonstreerd hoe systemen kunnen worden gecreëerd die spraak in verschillende talen verwerken en tegelijkertijd menselijke interactie-ritmes behouden.

Wat is openAI Agent-SDK?

OpenAI Agent SDK biedt ontwikkelaars een raamwerk om te bouwen AI Agenten die verschillende input, waaronder spraak, kunnen verwerken en beantwoorden. De SDK ondersteunt het GPT-4o-realtime-previewmodel, wat real-time conversatiemogelijkheden door zijn geavanceerde Natural Language Processing (NLP) kenmerken.

De SDK bevat specifiek VoicePipeline, een component die is ontworpen om spraakgebaseerde interacties naadloos te verwerken. Deze pipeline beheert het complexe proces van het omzetten van spraak naar tekst, het verwerken van de informatie en het genereren van natuurlijk klinkende reacties.

Kernarchitectuur van moderne spraakagenten

1. De spraakverwerkingspijplijn

OpenAI's VoicePipeline werkt via drie gesynchroniseerde fasen: audio-opname, taalverwerking en responsgeneratie. Het systeem begint met het omzetten van ruwe audiosignalen naar tekst met behulp van spraak-naar-tekst modellen zoals GPT-4o Transcribe. Deze tekstuele input wordt vervolgens ingevoerd in taalmodellen die context, intentie en emotionele toon analyseren. Tot slot genereren tekst-naar-spraakcomponenten natuurlijk klinkende vocale reacties terwijl de conversatiestroom behouden blijft.

2. Multimodale versus gekoppelde architecturen

Er zijn twee verschillende benaderingen die de ontwikkeling van spraakagenten domineren:

Meertalige Voice Agent-gids: van code tot gesprek

Spraakagenten maken met OpenAI Agent SDK vereist specifieke omgevingsconfiguraties. Volg deze stappen om een ​​functionele ontwikkelomgeving met spraakfunctionaliteit op te zetten.

Stap 1. Python & virtuele omgeving instellen

Zorg ervoor dat Python 3.8+ is geïnstalleerd. Verifieer met:

python --version  

Voor nieuwe installaties downloadt u Python van python.org.

a. Creëer een virtuele omgeving

Isoleer afhankelijkheden om conflicten te voorkomen:

p-ython -m venv voice_agent_env  

b. Activering:

• Linux/macOS:

source voice_agent_env/bin/activate  

• Windows:

voice_agent_env\Scripts\activate  

c. Installeer spraakspecifieke afhankelijkheden

Installeer de OpenAI Agents SDK met spraakextensies en audiobibliotheken:

pip install 'openai-agents[voice]' numpy sounddevice scipy python-dotenv  

d. Open configurerenAI API Key: Sla uw API-sleutel veilig op met behulp van omgevingsvariabelen:

1. Maak een .env file:

echo "OPENAI_API_KEY=your-api-key-here" > .env  

2. Kloon de voorbeeldrepository (optioneel):

Om het proces te versnellen, kunt u het officiële voorbeeld van de OpenAI Agents SDK GitHub-repository.

git clone https://github.com/openai/openai-agents-python.git
cd openai-agents-python/examples/voice/static

Stap 2. De meertalige agent bouwen

De belangrijkste componenten zijn onder meer:

• Taalspecifieke agenten voor verschillende talen (Spaans, Hindi)
• Een primaire agent die de eerste interacties afhandelt
• Functiehulpmiddelen voor extra mogelijkheden (zoals weersinformatie)

Hier's een vereenvoudigde versie van de codestructuur:

a. Definieer uw agenten

Maak verschillende agent-instanties voor elke taal die u wilt ondersteunen. Bijvoorbeeld, een Spaanse agent en een Hindi-agent kunnen worden gemaakt met instructies in hun respectievelijke talen:

from agents import Agent
from agents.extensions.handoff_prompt import prompt_with_handoff_instructions

spanish_agent = Agent(
    name="Spanish",
    handoff_description="A Spanish speaking agent.",
    instructions=prompt_with_handoff_instructions(
        "You're speaking to a human, so be polite and concise. Speak in Spanish."
    ),
    model="gpt-4o-mini",
)

hindi_agent = Agent(
    name="Hindi",
    handoff_description="A Hindi speaking agent.",
    instructions=prompt_with_handoff_instructions(
        "You're speaking to a human, so be polite and concise. Speak in Hindi."
    ),
    model="gpt-4o-mini",
)

Maak een primaire assistent die de taal van de gebruiker herkent en indien nodig delegeert aan de juiste agent:

agent = Agent(
    name="Assistant",
    instructions=prompt_with_handoff_instructions(
        "You're speaking to a human, so be polite and concise. If the user speaks in Spanish, hand off to the Spanish agent. If the user speaks in Hindi, hand off to the Hindi agent."
    ),
    model="gpt-4o-mini",
    handoffs=[spanish_agent, hindi_agent],
)

b. Hulpmiddelen toevoegen (optioneel)

U kunt bijvoorbeeld een eenvoudige weertool toevoegen die de agent kan aanroepen:

import random
from agents import function_tool

@function_tool
def get_weather(city: str) -> str:
    choices = ["sunny", "cloudy", "rainy", "snowy"]
    return f"The weather in {city} is {random.choice(choices)}."
    
agent.tools.append(get_weather)

Stap 3. De spraakpijplijn instellen

De spraakpijplijn van de SDK combineert drie componenten:

1. Spraak-naar-tekst (STT): Converteert uw audio-invoer naar tekst.
2. Agentische workflow: Verwerkt de tekst (inclusief taaldetectie en het aanroepen van hulpmiddelen).
3. Tekst-naar-spraak (TTS): Converteert de agent's tekstantwoord terug naar audio.

Hier's een vereenvoudigd voorbeeld:

import asyncio
import numpy as np
import sounddevice as sd
from agents.voice import AudioInput, SingleAgentVoiceWorkflow, VoicePipeline

async def main():
    # Create the voice pipeline with your primary agent
    pipeline = VoicePipeline(workflow=SingleAgentVoiceWorkflow(agent))
    
    # For demonstration, we'll simulate 3 seconds of audio input with silence.
    buffer = np.zeros(24000 * 3, dtype=np.int16)
    audio_input = AudioInput(buffer=buffer)
    
    # Run the pipeline
    result = await pipeline.run(audio_input)
    
    # Set up the audio player (using sounddevice)
    player = sd.OutputStream(samplerate=24000, channels=1, dtype=np.int16)
    player.start()
    
    # Stream and play audio events from the agent's output
    async for event in result.stream():
        if event.type == "voice_stream_event_audio":
            player.write(event.data)

if __name__ == "__main__":
    asyncio.run(main())

In een echte toepassing zou u in plaats van stilte live microfooninvoer vastleggen, zodat de agent de taal in realtime zou kunnen detecteren.

Stap 4: Voer uw spraakagent uit

python -m examples.voice.static.main

Neem vandaag nog het voortouw met uw meertalige voice-agent

Het bouwen van voice agents met de OpenAI Agent SDK is aanzienlijk toegankelijker geworden. Ontwikkelaars kunnen nu kiezen tussen multimodale of gekoppelde architecturen op basis van hun specifieke behoeften, een VoicePipeline opzetten en de SDK de taken laten afhandelen. complexe verwerking.

Voor de kwaliteit van de conversatiestroom werkt de multimodale aanpak het beste. Voor structuur en controle is de chained-methode geschikter. Deze technologie blijft zich ontwikkelen en opent nieuwe mogelijkheden voor spraakgestuurde toepassingen.