Top 12 LLM-evalueringsmetrieke en -formules vir AI Pros

Wil jy jou LLM-evalueringspel in 2025 op punt kry? By AIMOJO het ons te veel spanne gesien wat hul modelbekendstellings misluk deur die statistieke wat werklik saak maak, oor te slaan.

As jy jou wil hê AI om vertrou te word – deur gebruikers, kliënte of reguleerders – benodig jy meer as net 'n "vibe-toets".

Jy benodig harde syfers, duidelike formules en 'n deeglike begrip van wat daardie syfers beteken.

Hierdie gids breek die Top 12 LLM-evalueringsmetrieke met praktiese formules, kode snippets, en kundige wenke, sodat jy jou modelle met vertroue kan benchmark, ontfout en ontplooi.

Die Top 12 LLM Evalueringsmetrieke (Met Formules en Voorbeelde)

Hier is jou lys vir 2025 – wat klassieke NLP-metrieke, moderne semantiese tellings en die nuutste in verantwoordelike KI dek.

1. Verwarring

ℹ️ omskrywing te vervang: Meet hoe goed die model die volgende woord in 'n reeks voorspel. Laer is beter.

Formule:

Waar N is die aantal woorde, P(w_i∣w_<i) is die voorspelde waarskynlikheid van die i-de woord gegee die vorige woorde.

💡 Gebruiksgeval: Voorafopleiding, fyn afstemming en vlotheidstoetse in taalmodelle.

Python Voorbeeld:

import torch
import torch.nn.functional as F

def calculate_perplexity(logits, targets):
    loss = F.cross_entropy(logits, targets)
    return torch.exp(loss)

interpretasie: Laer verwarring beteken dat die model meer selfversekerd en akkuraat is in sy voorspellings.

---

2. Kruis-entropieverlies

ℹ️ omskrywing te vervang: Meet die verskil tussen die voorspelde waarskynlikheidsverdeling en die ware verspreiding.

Formule:

Waar p(x) is die ware verspreiding en q(x) is die voorspelde verspreiding.

💡 Gebruiksgeval: Kernverliesfunksie gedurende LLM-opleiding en evaluering.

---

3. BLEU (Tweetalige Evalueringsstudent)

ℹ️ omskrywing te vervang: Presisie-gebaseerde metriek vir n-gram-oorvleueling tussen gegenereerde en verwysingstekste.

Formule:

waar:

• BP=exp(1−c/r) as c
• w_ngewig vir elke n-gram (gewoonlik uniform)
• p_ngewysigde n-gram-presisie

Voorbeeld berekening:

• Verwysing: “Die kat is op die mat”
• Uitvoer: “Die kat op die mat”
• BLEU ≈ 0.709

Python Voorbeeld:

from nltk.translate.bleu_score import sentence_bleu
reference = ["The cat is on the mat".split()]
candidate = "The cat on the mat".split()
bleu_score = sentence_bleu(reference, candidate, weights=(0.5, 0.5))

interpretasie: Tellings wissel van 0 tot 1; hoër is beter vir vertaling, opsomming en kode generering.

---

4. ROUGE (Herinneringsgerigte Onderstudent vir Gistingsevaluering)

ℹ️ omskrywing te vervang: Herroepingsgefokusde metrieke wat n-gram-oorvleueling, langste gemeenskaplike subreeks en oorslaan-bigramme meet.

Belangrike Variante en Formules:

\( \text{ROUGE-N} = \frac{\text{\# oorvleuelende n-gram}}{\text{\# n-gram in verwysing}} \)

• ROUGE-L (LCS)Gebaseer op die lengte van die langste gemeenskaplike subreeks.
• ROUGE-WGeweegde LCS, met kwadratiese gewig vir opeenvolgende wedstryde.
• ROUGE-SOorslaan-bigram oorvleueling.

Python Voorbeeld:

from rouge_score import rouge_scorer
scorer = rouge_scorer.RougeScorer(['rouge1', 'rouge2', 'rougeL'], use_stemmer=True)
scores = scorer.score("The cat is on the mat", "The cat on the mat")

interpretasie: ROUGE > 0.4 is oor die algemeen goed vir opsommingstake.

---

5. METEOR (Metriek vir Evaluering van Vertaling met Eksplisiete Ordering)

ℹ️ omskrywing te vervang: Kombineer presisie, herroeping, sinonimie en woordorde vir genuanseerde vergelyking.

Formule:

waar:

• F_beteken is die harmoniese gemiddelde van presisie en herroeping (met herroeping hoër geweeg)
• Straf is gebaseer op die aantal stukke en vuurhoutjies.

Boeteberekening:

Waar C is die aantal stukke, M is die aantal ooreenkomste, γ en δ is hiperparameters.

Python Voorbeeld:

from nltk.translate.meteor_score import meteor_score
meteor_score(["The cat is on the mat".split()], "The cat on the mat".split())

interpretasie: METEOR > 0.4 is solied, veral vir vertaling en kreatiewe take.

---

6. BERTS-telling

ℹ️ omskrywing te vervang: Gebruik kontekstuele inbeddings van BERT om semantiese ooreenkoms tussen gegenereerde en verwysingstekste te meet.

Formule: (Vereenvoudig)

Waar e_i en e_j is inbeddings van onderskeidelik die kandidaat en verwysing.

💡 Gebruiksgeval: Parafrase-opsporing, abstrakte opsomming, kreatiewe generering.

---

7. Bewegingstelling

ℹ️ omskrywing te vervang: Meet die semantiese afstand tussen stelle woordinbeddings, geïnspireer deur die afstand van 'n grondverskuiwer.

Formule:

Waar γ 'n vloeimatriks is, d die afstand is (bv. kosinus), en e_iEn_j is inbeddings.

💡 Gebruiksgeval: Evalueer betekenisbehoud selfs met woordveranderinge.

---

8. Presiese Ooreenstemming (EM)

ℹ️ omskrywing te vervang: Kontroleer of die gegenereerde antwoord presies ooreenstem met die verwysing.

Formule:

\( \tex{EM} = \frac{\tex{\# presiese ooreenstemmings}}{\tex{\# totale monsters}} \)

💡 Gebruiksgeval: Ekstraktiewe QA, nakoming, feitekontrole.

---

9. F1 Telling

ℹ️ omskrywing te vervang: Harmoniese gemiddelde van presisie en herroeping vir tekenoorvleueling.

Formule:

(F_1 = 2 ⋅ Presisie ⋅ Herroeping ⋅ Presisie + Herroeping ⋅)

waar:

\( \text{Presisie} = \frac{\text{Ware Positiewe}}{\text{Ware Positiewe} + \text{Vals Positiewe}} \)

\( \text{Herinnering} = \frac{\text{Ware Positiewe}}{\text{Ware Positiewe} + \text{Vals Negatiewe}} \)

💡 Gebruiksgeval: QA, klassifikasie, entiteitsonttrekking.

---

10. Vooroordeel- en Billikheidsmetrieke

ℹ️ omskrywing te vervang: Kwantifiseer verskille in modeluitsette oor demografiese groepe heen.

Algemene Metrieke:

• Demografiese Pariteit: Gelyke positiewe voorspellingskoerse oor groepe heen.
• Gelyke geleentheid: Gelyke ware positiewe koerse.
• Uiteenlopende impakverhouding: Verhouding van positiewe uitkomste tussen groepe.

Formule vir Uiteenlopende Impak:

\( \text{Uitersgewyse Impak} = \frac{\text{Pr}(\text{Uitkoms} \mid \text{Groep A})}{\text{Pr}(\text{Uitkoms} \mid \text{Groep B})} \)

💡 Gebruiksgeval: Werwing, uitleen, gesondheidsorg, sosiale platforms.

---

11. Toksisiteitsopsporing

ℹ️ omskrywing te vervang: Meet die teenwoordigheid van skadelike, aanstootlike of onvanpaste inhoud.

Algemene gereedskap: Perspektief API, Ontgift.

Metrieke: Persentasie uitsette gemerk as toksies.

Formule:

(Toksisiteitskoers = toksiese uitsette / totale uitsette)

💡 Gebruiksgeval: Kletsbots, moderering, kliëntediens.

---

12. Latensie en Berekeningsdoeltreffendheid

ℹ️ omskrywing te vervang: Spoor reaksietyd en hulpbrongebruik op.

Maatstawwe:

• latency: Tyd per reaksie (in ms of s).
• deurset: Aantal uitsette per sekonde.
• Hulpbrongebruik: SVE/GPU/geheueverbruik.

Formule vir Latensie:

\( \tex{Latensie} = \frac{\tex{Totale Tyd}}{\# \tex{ Uitsette}} \)

💡 Gebruiksgeval: Regtetydse stelsels, SaaS, ingebedde KI.

---

Gespesialiseerde Metrieke vir RAG en Agentic LLM's

Met die opkoms van Herwinning-Augmented Generation (RAG) en agentiese LLM-werkvloeie, het nuwe statistieke na vore gekom:

1. Getrouheid (RAG)

omskrywing te vervang: Meet feitelike konsekwentheid tussen gegenereerde antwoord en opgehaalde konteks.

Formule:

\( \text{Getrouheid} = \frac{\# \text{ stellings ondersteun deur konteks}}{\# \text{ totale stellings}} \)

Reikwydte: 0 (slegste) tot 1 (beste).

2. Antwoordrelevansie

omskrywing te vervang: Mate waarin 'n antwoord die aanwysing of konteks aanspreek.

Formule:

\( \text{Antwoordrelevansie} = \frac{\# \text{ relevante antwoorde}}{\# \text{ totale antwoorde}} \)

3. Konteksrelevansie (RAG)

omskrywing te vervang: Meet hoe relevant die opgehaalde konteks vir die vraag is.

Formule:

\( \text{Konteksrelevansie} = \frac{\# \text{ relevante konteksitems}}{\# \text{ totale konteksitems}} \)

4. Hallusinasiekoers

omskrywing te vervang: Proporsie uitsette wat opgemaakte of ongesteunde inligting bevat.

Formule:

\( \text{Hallusinasiekoers} = \frac{\# \text{ hallusinasie-uitsette}}{\# \text{ totale uitsette}} \)

Beste Praktyke vir LLM-evaluering in 2025

Werklike voorbeeld: Evaluering van 'n RAG-kletsbot

Gestel jy bou 'n gesondheidsorgsentrum RAG-kletsbotHier is 'n voorbeeld van 'n metrieke stapel:

metrieke	Formule/Metode	Doel
radeloosheid	Sien hierbo	<15
ROUGE-L	LCS-gebaseerde oorvleueling	> 0.4
BERTScore	Inbedding van ooreenkoms	> 0.85
Getrouheid	Ondersteunde stellings/konteks	> 0.95
hallusinasie	Sien hierbo	<5%
Toksisiteitskoers	Sien hierbo	<1%
latency	Tyd per reaksie	<1s
Vooroordeel/Billikheid	Uiteenlopende impakverhouding	0.8-1.25

Harde Gedagtes

Moenie katastrofiese risiko loop nie AI mislukkings! Die statistieke wat jy so pas ontdek het, is nie net syfers nie - hulle is jou geheime wapen om die AI landskap in 2025. Terwyl jou mededingers sukkel met hallusinerende modelle en kwaai gebruikers, sal jy foutlose LLM's ontplooi wat werklik lewer.

Waarom die meeste spanne misluk by AI Evaluering (en hoe jy nie sal nie)

Onthou: sonder behoorlike maatstawwe is jou spitsmodel net 'n duur hallusinasiemasjien. Pas hierdie 12 maatstawwe NOU toe om:

✅ Styg gebruikersvertroue
✅ Verminder ontwikkelingstyd
✅ Elimineer duur AI flaters
✅ Oortref groter mededingers

Bly op die hoogte AIMOJO vir meer kundige gidse, werkvloei-wenke en die nuutste oor LLMops, vinnige ingenieurswese, en AI agent nuus.