Ridimensiona

Respan cattura ogni chiamata LLM, invocazione di strumenti e stato della memoria in un'unica visualizzazione di traccia. Gli ingegneri possono raggruppare i messaggi correlati in visualizzazioni di thread e mappare ogni passaggio al corrispondente span, il che consente di riprodurre i bug dal traffico reale in pochi secondi anziché in ore. Per i team che utilizzano agenti complessi a più fasi, questo elimina completamente il problema della "scatola nera".

Respan combina controlli delle regole basati sul codice, valutatori LLM e revisione umana in un'unica pipeline di valutazione unificata. La piattaforma assegna i punteggi in tempo reale. traffico di produzione Utilizzando automaticamente gli stessi valutatori creati offline, le regressioni di qualità emergono su span reali prima ancora che gli utenti se ne accorgano. Questa è la funzionalità che distingue Respan dai semplici strumenti di logging.

Il gateway Respan instrada le chiamate API compatibili con OpenAI verso oltre 500 provider LLM attraverso un singolo endpoint. Gestisce il fallback del modello, i tentativi con backoff, il bilanciamento del carico tra le chiavi API e la memorizzazione nella cache delle risposte per ridurre sia la latenza che i costi. I team hanno il pieno controllo della spesa con limiti per chiave e avvisi tramite Slack o e-mail al superamento delle soglie.

Ogni modifica a un prompt, alla configurazione di uno strumento, alla selezione di un modello o alla logica del flusso di lavoro viene versionata all'interno della piattaforma. I team possono eseguire test A/B rispetto alle versioni di produzione, confrontare i punteggi di valutazione tra le diverse versioni e promuovere le modifiche vincenti tramite il gateway senza dover implementare il codice. In questo modo si chiude il cerchio tra i risultati della valutazione e i miglioramenti effettivi in ​​produzione.

Ridimensiona's Il livello di monitoraggio tiene traccia del volume delle richieste, dell'utilizzo dei token, della latenza, dei tassi di errore e dei costi in un'unica dashboard, segmentabile per modello, chiave API o segmento di utenti. Gli avvisi vengono inviati a Slack, via e-mail o tramite webhook quando una qualsiasi metrica supera una soglia definita. Per i team che elaborano milioni di chiamate all'ora, questo livello di visibilità non è un'opzione, ma una necessità.