Le 12 migliori metriche e formule di valutazione LLM per AI Pro

Vuoi che la tua valutazione LLM sia al top nel 2025? Noi di AIMOJO abbiamo visto troppi team fallire nel lancio dei loro modelli, tralasciando le metriche che contano davvero.

Se vuoi il tuo AI Per ottenere la fiducia degli utenti, dei clienti o degli enti regolatori, è necessario più di un semplice "controllo delle vibrazioni".

Sono necessari numeri concreti, formule chiare e una solida comprensione del significato di quei numeri.

Questa guida analizza il Le 12 principali metriche di valutazione LLM con formule pratiche, frammenti di codicee suggerimenti di esperti, così puoi effettuare il benchmarking, il debug e distribuire i tuoi modelli in tutta sicurezza.

Le 12 principali metriche di valutazione LLM (con formule ed esempi)

Ecco la lista di riferimento per il 2025, che comprende le metriche classiche dell'NLP, i punteggi semantici moderni e le ultime novità in fatto di intelligenza artificiale responsabile.

1. Perplessità

ℹ️ Definizione: Misura l'efficacia del modello nel predire la parola successiva in una sequenza. Più basso è il valore, meglio è.

Formula:

Dove N è il numero di parole, P(w_i∣w_<i) è la probabilità prevista del i-esima parola date le parole precedenti.

💡 Caso d'uso: Pre-addestramento, messa a punto e controlli di fluidità in modelli linguistici.

Esempio di Python:

import torch
import torch.nn.functional as F

def calculate_perplexity(logits, targets):
    loss = F.cross_entropy(logits, targets)
    return torch.exp(loss)

Interpretazione: Una minore perplessità indica che il modello è più sicuro e accurato nelle sue previsioni.

---

2. Perdita di entropia incrociata

ℹ️ Definizione: Misura la differenza tra la distribuzione di probabilità prevista e la distribuzione reale.

Formula:

Dove p(x) è la vera distribuzione e q(x) è la distribuzione prevista.

💡 Caso d'uso: Funzione di perdita del nucleo durante Formazione LLM e valutazione.

---

3. BLEU (Sottoscrittore di valutazione bilingue)

ℹ️ Definizione: Metrica basata sulla precisione per la sovrapposizione di n-grammi tra testi generati e di riferimento.

Formula:

Dove:

• BP=exp(1−c/r) se c
• w_n: peso per ogni n-grammo (solitamente uniforme)
• p_n: precisione n-gram modificata

Esempio di calcolo:

• Riferimento: “Il gatto è sullo zerbino”
• Output: “Il gatto sullo stuoia”
• BLU ≈ 0.709

Esempio di Python:

from nltk.translate.bleu_score import sentence_bleu
reference = ["The cat is on the mat".split()]
candidate = "The cat on the mat".split()
bleu_score = sentence_bleu(reference, candidate, weights=(0.5, 0.5))

Interpretazione: I punteggi vanno da 0 a 1; più alto è il punteggio, migliore è la traduzione, la sintesi e generazione del codice.

---

4. ROUGE (Sottotitolo orientato al richiamo per la valutazione del riassunto)

ℹ️ Definizione: Misurazione metrica focalizzata sul richiamo della sovrapposizione di n-grammi, della sottosequenza comune più lunga e dei bigrammi saltati.

Varianti e formule chiave:

\( \text{ROUGE-N} = \frac{\text{\# n-grammi sovrapposti}}{\text{\# n-grammi nel riferimento}} \)

• ROUGE-L (LCS): In base alla lunghezza della sottosequenza comune più lunga.
• ROUGE-W: LCS ponderato, con ponderazione quadratica per partite consecutive.
• ROSSO-S: Sovrapposizione di bigrammi saltati.

Esempio di Python:

from rouge_score import rouge_scorer
scorer = rouge_scorer.RougeScorer(['rouge1', 'rouge2', 'rougeL'], use_stemmer=True)
scores = scorer.score("The cat is on the mat", "The cat on the mat")

Interpretazione: ROUGE > 0.4 ​​è generalmente adatto per le attività di riepilogo.

---

5. METEOR (Metrica per la valutazione della traduzione con ordinamento esplicito)

ℹ️ Definizione: Combina precisione, richiamo, sinonimia e ordine delle parole per un confronto sfumato.

Formula:

Dove:

• F_significare è la media armonica di precisione e richiamo (con il richiamo ponderato più alto)
• La penalità si basa sul numero di blocchi e di partite.

Calcolo della penalità:

Dove C è il numero di pezzi, M è il numero di corrispondenze, γ e δ sono iperparametri.

Esempio di Python:

from nltk.translate.meteor_score import meteor_score
meteor_score(["The cat is on the mat".split()], "The cat on the mat".split())

Interpretazione: METEOR > 0.4 ​​è solido, soprattutto per attività di traduzione e creative.

---

6. Punteggio BERT

ℹ️ Definizione: Utilizza incorporamenti contestuali da BERTA per misurare la similarità semantica tra testi generati e testi di riferimento.

Formula: (Semplificato)

Dove e_i e e_j sono incorporamenti rispettivamente del candidato e del riferimento.

💡 Caso d'uso: Rilevazione della parafrasi, sintesi astratta, generazione creativa.

---

7. Punteggio di spostamento

ℹ️ Definizione: Misura la distanza semantica tra insiemi di incorporamenti di parole, ispirandosi alla distanza del movimento terra.

Formula:

Dove γ è una matrice di flusso, d è la distanza (ad esempio, coseno) ed e_iE_j sono incorporamenti.

💡 Caso d'uso: Valuta la conservazione del significato anche con modifiche nella formulazione.

---

8. Corrispondenza esatta (EM)

ℹ️ Definizione: Controlla se la risposta generata corrisponde esattamente al riferimento.

Formula:

\( \text{EM} = \frac{\text{\# corrispondenze esatte}}{\text{\# campioni totali}} \)

💡 Caso d'uso: Controllo qualità estrattivo, conformità, verifica dei fatti.

---

9. Punteggio F1

ℹ️ Definizione: Media armonica di precisione e richiamo per la sovrapposizione dei token.

Formula:

\( F_1 = 2 \cdot \frac{\text{Precisione} \cdot \text{Richiamo}}{\text{Precisione} + \text{Richiamo}} \)

Dove:

\( \text{Precisione} = \frac{\text{Veri positivi}}{\text{Veri positivi} + \text{Falsi positivi}} \)

\( \text{Ricordo} = \frac{\text{Veri positivi}}{\text{Veri positivi} + \text{Falsi negativi}} \)

💡 Caso d'uso: QA, classificazione, estrazione di entità.

---

10. Parametri di parzialità e correttezza

ℹ️ Definizione: Quantifica le disparità nei risultati del modello tra i gruppi demografici.

Metriche comuni:

• Parità demografica: Uguali tassi di previsione positiva nei vari gruppi.
• Pari opportunità: Uguali tassi di veri positivi.
• Rapporto di impatto disparato: Rapporto tra risultati positivi tra i gruppi.

Formula per l'impatto disparato:

\( \text{Impatto disparato} = \frac{\text{Pr}(\text{Risultato} \mid \text{Gruppo A})}{\text{Pr}(\text{Risultato} \mid \text{Gruppo B})} \)

💡 Caso d'uso: Assunzioni, prestiti, gli operatori sanitari possono prendere decisioni maggiormente informate. , piattaforme social.

---

11. Rilevamento della tossicità

ℹ️ Definizione: Misura la presenza di contenuti dannosi, offensivi o inappropriati.

Strumenti comuni: API prospettica, disintossica.

Metric: Percentuale di output contrassegnati come tossici.

Formula:

\( \text{Tasso di tossicità} = \frac{\# \text{ emissioni tossici}}{\# \text{ emissioni totali}} \)

💡 Caso d'uso: Chatbot, moderazione, assistenza clienti.

---

12. Latenza ed efficienza computazionale

ℹ️ Definizione: Tiene traccia dei tempi di risposta e dell'utilizzo delle risorse.

Metrica:

• latenza: Tempo per risposta (in ms o s).
• Throughput: Numero di uscite al secondo.
• Utilizzo delle risorse: Consumo di CPU/GPU/memoria.

Formula per la latenza:

\( \text{Latenza} = \frac{\text{Tempo totale}}{\# \text{ Output}} \)

💡 Caso d'uso: Sistemi in tempo reale, SaaS, intelligenza artificiale incorporata.

---

Metriche specializzate per RAG e LLM agentici

Con l'avvento dei flussi di lavoro RAG (Retrieval-Augmented Generation) e LLM agentici, sono emerse nuove metriche:

1. Fedeltà (RAG)

Definizione: Misura la coerenza fattuale tra la risposta generata e il contesto recuperato.

Formula:

\( \text{Fedeltà} = \frac{\# \text{ affermazioni supportate dal contesto}}{\# \text{ affermazioni totali}} \)

Intervallo: da 0 (peggiore) a 1 (migliore).

2. Pertinenza della risposta

Definizione: Grado in cui una risposta risponde al messaggio o al contesto.

Formula:

\( \text{Pertinenza della risposta} = \frac{\# \text{ risposte pertinenti}}{\# \text{ risposte totali}} \)

3. Rilevanza del contesto (RAG)

Definizione: Misura la pertinenza del contesto recuperato rispetto alla domanda.

Formula:

\( \text{Rilevanza del contesto} = \frac{\# \text{ elementi di contesto rilevanti}}{\# \text{ elementi di contesto totali}} \)

4. Tasso di allucinazioni

Definizione: Percentuale di output che contengono informazioni inventate o non supportate.

Formula:

\( \text{Tasso di allucinazioni} = \frac{\# \text{ output allucinatori}}{\# \text{ output totali}} \)

Migliori pratiche per la valutazione LLM nel 2025

Esempio pratico: valutazione di un chatbot RAG

Supponiamo che tu stia costruendo un sistema sanitario Chatbot RAGEcco un esempio di stack di metriche:

Metrico	Formula/Metodo	Obiettivo
Perplessità	Vedi sopra	<15
ROUGE-L	Sovrapposizione basata su LCS	> 0.4
Punteggio BERTS	Incorporare la somiglianza	> 0.85
Fedeltà	Dichiarazioni/contesto supportati	> 0.95
Allucinazione	Vedi sopra	<5%
Tasso di tossicità	Vedi sopra	<1%
Latenza	Tempo per risposta	<1s
Parzialità/equità	Rapporto di impatto disparato	0.8-1.25

Considerazioni finali

Non rischiare la catastrofe AI fallimenti! Le metriche che hai appena scoperto non sono solo numeri: sono la tua arma segreta per dominare il AI panorama nel 2025. Mentre i tuoi concorrenti lottano con modelli allucinanti e utenti arrabbiati, tu implementerai LLM impeccabili che effettivamente danno risultati.

Perché la maggior parte dei team fallisce AI Valutazione (e come non farla)

Ricorda: senza un benchmarking adeguato, il tuo modello all'avanguardia è solo una costosa macchina delle allucinazioni. Applica subito queste 12 metriche per:

✅ Aumentare alle stelle la fiducia degli utenti
✅ Riduci i tempi di sviluppo
✅ Elimina i costi AI errori
✅ Supera i concorrenti più grandi

Restate sintonizzati per AIMOJO per ulteriori guide esperte, trucchi del flusso di lavoro e le ultime novità su LLMops, ingegneria rapida e AI notizie sugli agenti.