
Sprachgesteuerte Anwendungen haben sich mit OpenAI von Science-Fiction-Konzepten zu einsatzfähigen Lösungen entwickelt's neuesten Tools. Dieser Leitfaden führt durch die praktische Umsetzung von mehrsprachige Sprachagenten mit OpenAI Agent-SDKund zeigt, wie Systeme erstellt werden, die Sprache über verschiedene Sprachen hinweg verarbeiten und dabei menschenähnliche Interaktionsrhythmen beibehalten.
Was ist offenAI Agent-SDK?
ÖffneAI Agent SDK bietet Entwicklern ein Framework zum Erstellen AI Agenten, die verschiedene Eingaben, einschließlich Sprache, verarbeiten und darauf reagieren können. Das SDK unterstützt das GPT-4o-Echtzeitvorschaumodell, das ermöglicht Echtzeit-Konversationsfunktionen durch seine fortschrittliche Verarbeitung natürlicher Sprache (NLP)-Funktionen.
Das SDK enthält insbesondere VoicePipeline, eine Komponente für die nahtlose Verarbeitung sprachbasierter Interaktionen. Diese Pipeline verwaltet den komplexen Prozess der Umwandlung von Sprache in Text, der Informationsverarbeitung und der Generierung natürlich klingender Antworten.
Kernarchitektur moderner Sprachagenten

1. Die Sprachverarbeitungs-Pipeline
OpenAIs VoicePipeline arbeitet in drei synchronisierten Phasen: Audioaufnahme, Sprachverarbeitung und Antwortgenerierung. Das System beginnt mit der Umwandlung der rohen Audiosignale in Text mithilfe von Spracherkennungsmodellen wie GPT-4o Transcribe. Dieser Text wird dann Sprachmodellen zugeführt, die Kontext, Absicht und emotionalen Tonfall analysieren. Schließlich erzeugen Text-zu-Sprache-Komponenten natürlich klingende Sprachantworten und erhalten dabei den Gesprächsfluss aufrecht.
2. Multimodale vs. verkettete Architekturen
Bei der Entwicklung von Sprachagenten dominieren zwei unterschiedliche Ansätze:
Direkte Audioverarbeitung (multimodal)
GPT-4o-Realtime-Preview verarbeitet Audio ohne Textkonvertierung und liefert Reaktionszeiten von 200–300 ms. Diese Architektur erfasst stimmliche Nuancen wie Tonhöhe und Pausen und ermöglicht so emotionssensitive Antworten während der Kundeninteraktion durch die Beibehaltung der nativen Audioverarbeitung.
Textzentrierte Verarbeitung (verkettet)
Herkömmliche Pipelines trennen Transkription , Analyse und Synthese. Dieser modulare Ansatz ermöglicht eine detaillierte Protokollierung für Compliance-sensitive Anwendungen wie die Triage im Gesundheitswesen. Entwickler erhalten präzise Kontrolle über jeden einzelnen Schritt und nutzen dabei aufgabenspezifische, optimierte Modelle.
Leitfaden für mehrsprachige Sprachagenten: Vom Code zur Konversation
Erstellen von Sprachagenten mit OpenAI Das Agent SDK erfordert spezifische Umgebungskonfigurationen. Befolgen Sie diese Schritte, um eine funktionale Entwicklungsumgebung mit Sprachfunktionen einzurichten.
Schritt 1. Python und Einrichtung einer virtuellen Umgebung
Stellen Sie sicher, dass Python 3.8+ installiert ist. Überprüfen Sie dies mit:
python --version
Bei Neuinstallationen laden Sie Python von python.org herunter.
a. Erstellen Sie eine virtuelle Umgebung
Isolieren Sie Abhängigkeiten, um Konflikte zu vermeiden:
p-ython -m venv voice_agent_env
b. Aktivierung:
- Linux/macOS:
source voice_agent_env/bin/activate
- Windows:
voice_agent_env\Scripts\activate
c. Installieren Sie sprachspezifische Abhängigkeiten
Installieren Sie OpenAI Agents SDK mit Spracherweiterungen und Audiobibliotheken:
pip install 'openai-agents[voice]' numpy sounddevice scipy python-dotenv
d. Konfigurieren Sie OpenAI API-Schlüssel: Speichern Sie Ihren API-Schlüssel sicher mithilfe von Umgebungsvariablen:
- Erstellen Sie
.envDatei:
echo "OPENAI_API_KEY=your-api-key-here" > .env
- Klonen Sie das Beispiel-Repository (optional):
Um die Dinge zu beschleunigen, können Sie das offizielle Beispiel aus dem ÖffneAI GitHub-Repository für Agenten-SDK.
git clone https://github.com/openai/openai-agents-python.git
cd openai-agents-python/examples/voice/static
Schritt 2. Erstellen des mehrsprachigen Agenten
Zu den Hauptbestandteilen gehören:
- Sprachspezifische Agenten für verschiedene Sprachen (Spanisch, Hindi)
- Ein primärer Agent, der die ersten Interaktionen abwickelt
- Funktionstools für zusätzliche Funktionen (wie Wetterinformationen)
Hier's eine vereinfachte Version der Codestruktur:
a. Definieren Sie Ihre Agenten
Erstellen Sie für jede Sprache, die Sie unterstützen möchten, unterschiedliche Agenteninstanzen. Beispielsweise können Sie einen spanischen und einen Hindi-Agenten mit Anweisungen in den jeweiligen Sprachen erstellen:
from agents import Agent
from agents.extensions.handoff_prompt import prompt_with_handoff_instructions
spanish_agent = Agent(
name="Spanish",
handoff_description="A Spanish speaking agent.",
instructions=prompt_with_handoff_instructions(
"You're speaking to a human, so be polite and concise. Speak in Spanish."
),
model="gpt-4o-mini",
)
hindi_agent = Agent(
name="Hindi",
handoff_description="A Hindi speaking agent.",
instructions=prompt_with_handoff_instructions(
"You're speaking to a human, so be polite and concise. Speak in Hindi."
),
model="gpt-4o-mini",
)
Erstellen Sie Ihren primären Assistenten, der die Sprache anhand der Rede des Benutzers erkennt und bei Bedarf an den entsprechenden Agenten delegiert:
agent = Agent(
name="Assistant",
instructions=prompt_with_handoff_instructions(
"You're speaking to a human, so be polite and concise. If the user speaks in Spanish, hand off to the Spanish agent. If the user speaks in Hindi, hand off to the Hindi agent."
),
model="gpt-4o-mini",
handoffs=[spanish_agent, hindi_agent],
)
b. Werkzeuge hinzufügen (optional)
Sie können beispielsweise ein einfaches Wettertool hinzufügen, das der Agent aufrufen könnte:
import random
from agents import function_tool
@function_tool
def get_weather(city: str) -> str:
choices = ["sunny", "cloudy", "rainy", "snowy"]
return f"The weather in {city} is {random.choice(choices)}."
agent.tools.append(get_weather)
Schritt 3. Einrichten der Sprachpipeline

Die Sprachpipeline des SDK kombiniert drei Komponenten:
- Sprache-zu-Text (STT): Wandelt Ihre Audioeingabe in Text um.
- Agentischer Workflow: Verarbeitet den Text (einschließlich Spracherkennung und Toolaufruf).
- Text-to-Speech (TTS): Konvertiert den Agenten's Textantwort zurück in Audio.
Hier's ein vereinfachtes Beispiel:
import asyncio
import numpy as np
import sounddevice as sd
from agents.voice import AudioInput, SingleAgentVoiceWorkflow, VoicePipeline
async def main():
# Create the voice pipeline with your primary agent
pipeline = VoicePipeline(workflow=SingleAgentVoiceWorkflow(agent))
# For demonstration, we'll simulate 3 seconds of audio input with silence.
buffer = np.zeros(24000 * 3, dtype=np.int16)
audio_input = AudioInput(buffer=buffer)
# Run the pipeline
result = await pipeline.run(audio_input)
# Set up the audio player (using sounddevice)
player = sd.OutputStream(samplerate=24000, channels=1, dtype=np.int16)
player.start()
# Stream and play audio events from the agent's output
async for event in result.stream():
if event.type == "voice_stream_event_audio":
player.write(event.data)
if __name__ == "__main__":
asyncio.run(main())
In einer realen Anwendung würden Sie anstelle von Stille Live-Mikrofoneingaben erfassen und der Agent würde die Sprache in Echtzeit erkennen.
Schritt 4: Führen Sie Ihren Sprachagenten aus
python -m examples.voice.static.main
Best Practices für die Entwicklung von Sprachagenten
Beim Erstellen von Sprachagenten mit dem OpenAI Agent SDK, beachten Sie diese Best Practices:
Übernehmen Sie noch heute die Führung mit Ihrem mehrsprachigen Sprachagenten
Erstellen von Sprachagenten mit OpenAI Das Agent SDK ist deutlich zugänglicher geworden. Entwickler können nun je nach Bedarf zwischen multimodalen oder verketteten Architekturen wählen, eine VoicePipeline einrichten und das SDK die komplexe Verarbeitung.
Für einen qualitativ hochwertigen Gesprächsfluss eignet sich der multimodale Ansatz am besten. Für Struktur und Kontrolle ist die verkettete Methode besser geeignet. Diese Technologie entwickelt sich ständig weiter und eröffnet neue Möglichkeiten für sprachgesteuerte Anwendungen.


