12 Metrik & Rumus Evaluasi LLM Teratas untuk AI Kelebihan

Ingin menyempurnakan evaluasi LLM Anda di tahun 2025? Di AIMOJO, kami telah melihat banyak tim gagal dalam peluncuran model mereka karena melewatkan metrik yang sebenarnya penting.

Jika Anda menginginkannya AI untuk dipercaya oleh pengguna, klien, atau regulator, Anda memerlukan lebih dari sekadar “pemeriksaan getaran.”

Anda memerlukan angka-angka yang pasti, rumus yang jelas, dan pemahaman mendalam tentang arti angka-angka tersebut.

Panduan ini menguraikan 12 Metrik Evaluasi LLM Teratas dengan rumus praktis, cuplikan kode, dan kiat ahli, sehingga Anda dapat melakukan uji tolok ukur, men-debug, dan menerapkan model Anda dengan yakin.

12 Metrik Evaluasi LLM Teratas (Dengan Rumus & Contoh)

Berikut daftar andalan Anda untuk tahun 2025 yang mencakup metrik NLP klasik, skor semantik modern, dan hal terbaru dalam AI yang bertanggung jawab.

1. Kebingungan

ℹ️ Definisi: Mengukur seberapa baik model memprediksi kata berikutnya dalam suatu urutan. Semakin rendah semakin baik.

Formula:

Where N adalah jumlah kata, P(w_i∣w_<i) adalah probabilitas prediksi iKata ke- yang diberikan adalah kata-kata sebelumnya.

💡 Gunakan Kasus: Pra-pelatihan, penyempurnaan, dan pemeriksaan kelancaran dalam model bahasa.

Contoh Python:

import torch
import torch.nn.functional as F

def calculate_perplexity(logits, targets):
    loss = F.cross_entropy(logits, targets)
    return torch.exp(loss)

Interpretasi: Kebingungan yang lebih rendah berarti model lebih meyakinkan dan akurat dalam prediksinya.

---

2. Kerugian Entropi Silang

ℹ️ Definisi: Mengukur perbedaan antara distribusi probabilitas yang diprediksi dan distribusi sebenarnya.

Formula:

Where p(x) adalah distribusi sebenarnya dan q(x) adalah distribusi yang diprediksi.

💡 Gunakan Kasus: Fungsi kehilangan inti selama pelatihan LLM dan evaluasi.

---

3. BLEU (Mahasiswa Evaluasi Bilingual)

ℹ️ Definisi: Metrik berbasis presisi untuk tumpang tindih n-gram antara teks yang dihasilkan dan teks referensi.

Formula:

Dimana:

• BP=exp(1−c/r) jika c
• w_n: berat untuk setiap n-gram (biasanya seragam)
• p_n: presisi n-gram yang dimodifikasi

Contoh Perhitungan:

• Referensi: “Kucing ada di atas tikar”
• Output: “Kucing di atas tikar”
• BLEU ≈ 0.709

Contoh Python:

from nltk.translate.bleu_score import sentence_bleu
reference = ["The cat is on the mat".split()]
candidate = "The cat on the mat".split()
bleu_score = sentence_bleu(reference, candidate, weights=(0.5, 0.5))

Interpretasi: Skor berkisar dari 0 hingga 1; semakin tinggi semakin baik untuk penerjemahan, peringkasan, dan pembuatan kode.

---

4. ROUGE (Recall-Oriented Understudy untuk Evaluasi Gisting)

ℹ️ Definisi: Metrik yang berfokus pada penarikan kembali yang mengukur tumpang tindih n-gram, suburutan umum terpanjang, dan skip-bigram.

Varian & Formula Utama:

\( \teks{ROUGE-N} = \frac{\teks{\# n-gram yang bertumpang tindih}}{\teks{\# n-gram dalam referensi}} \)

• Merah-L (LCS): Berdasarkan pada panjang barisan persekutuan terpanjang.
• PEMERAH-W: LCS tertimbang, dengan pembobotan kuadrat untuk pertandingan berturut-turut.
• merah-S: Lewati tumpang tindih bigram.

Contoh Python:

from rouge_score import rouge_scorer
scorer = rouge_scorer.RougeScorer(['rouge1', 'rouge2', 'rougeL'], use_stemmer=True)
scores = scorer.score("The cat is on the mat", "The cat on the mat")

Interpretasi: ROUGE > 0.4 ​​umumnya baik untuk tugas peringkasan.

---

5. METEOR (Metrik untuk Evaluasi Terjemahan dengan Pengurutan Eksplisit)

ℹ️ Definisi: Menggabungkan ketepatan, ingatan, sinonim, dan urutan kata untuk perbandingan yang bernuansa.

Formula:

Dimana:

• F_berarti adalah rata-rata harmonis dari presisi dan ingatan (dengan ingatan yang diberi bobot lebih tinggi)
• Penalti didasarkan pada jumlah potongan dan kecocokan.

Perhitungan Penalti:

Where C adalah jumlah potongan, M adalah jumlah kecocokan, γ dan δ adalah hiperparameter.

Contoh Python:

from nltk.translate.meteor_score import meteor_score
meteor_score(["The cat is on the mat".split()], "The cat on the mat".split())

Interpretasi: METEOR > 0.4 ​​solid, terutama untuk tugas penerjemahan dan kreatif.

---

6. Skor BERTS

ℹ️ Definisi: Menggunakan penyematan kontekstual dari BERTI untuk mengukur kesamaan semantik antara teks yang dihasilkan dan teks referensi.

Formula: (Sederhana)

Where e_i ke e_j adalah penanaman dari kandidat dan referensi, masing-masing.

💡 Gunakan Kasus: Deteksi parafrase, peringkasan abstraktif, pembuatan kreatif.

---

7. Skor Penggerak

ℹ️ Definisi: Mengukur jarak semantik antara rangkaian penempatan kata, terinspirasi oleh jarak penggerak bumi.

Formula:

Dimana γ adalah matriks aliran, d adalah jarak (misalnya, kosinus), dan e_iDan_j adalah penanaman.

💡 Gunakan Kasus: Mengevaluasi pelestarian makna bahkan dengan perubahan kata-kata.

---

8. Pencocokan Tepat (EM)

ℹ️ Definisi: Memeriksa apakah jawaban yang dihasilkan sama persis dengan referensi.

Formula:

\( \teks{EM} = \frac{\teks{\# kecocokan persis}}{\teks{\# total sampel}} \)

💡 Gunakan Kasus: QA ekstraktif, kepatuhan, pemeriksaan fakta.

---

9. Skor F1

ℹ️ Definisi: Rata-rata harmonik presisi dan ingatan untuk tumpang tindih token.

Formula:

\( F_1 = 2 \cdot \frac{\teks{Ketepatan} \cdot \teks{Pengingatan}}{\teks{Ketepatan} + \teks{Pengingatan}} \)

Dimana:

\( \teks{Presisi} = \frac{\teks{Positif Benar}}{\teks{Positif Benar} + \teks{Positif Palsu}} \)

\( \teks{Ingat} = \frac{\teks{Positif Benar}}{\teks{Positif Benar} + \teks{Negatif Palsu}} \)

💡 Gunakan Kasus: QA, klasifikasi, ekstraksi entitas.

---

10. Bias dan Metrik Keadilan

ℹ️ Definisi: Mengukur kesenjangan dalam keluaran model di seluruh kelompok demografi.

Metrik Umum:

• Paritas Demografi: Tingkat prediksi positif yang sama di seluruh kelompok.
• Kesempatan yang Sama: Tingkat positif sejati yang sama.
• Rasio Dampak yang Berbeda: Rasio hasil positif antar kelompok.

Rumus untuk Dampak yang Berbeda:

\( \teks{Dampak Berbeda} = \frac{\teks{Pr}(\teks{Hasil} \tengah \teks{Kelompok A})}{\teks{Pr}(\teks{Hasil} \tengah \teks{Kelompok B})} \)

💡 Gunakan Kasus: Perekrutan, peminjaman, kesehatan, platform sosial.

---

11. Deteksi Toksisitas

ℹ️ Definisi: Mengukur keberadaan konten yang berbahaya, menyinggung, atau tidak pantas.

Alat Umum: Perspektif API, Detoksifikasi.

Metrik: Persentase keluaran yang ditandai beracun.

Formula:

\( \text{Tingkat Toksisitas} = \frac{\# \text{ keluaran toksik}}{\# \text{ total keluaran}} \)

💡 Gunakan Kasus: Chatbot, moderasi, dukungan pelanggan.

---

12. Latensi dan Efisiensi Komputasi

ℹ️ Definisi: Melacak waktu respons dan penggunaan sumber daya.

Metrik:

• Latency: Waktu per respons (dalam ms atau s).
• Throughput: Jumlah keluaran per detik.
• Penggunaan sumber daya: Konsumsi CPU/GPU/memori.

Rumus untuk Latensi:

\( \teks{Latensi} = \frac{\teks{Total Waktu}}{\# \teks{ Keluaran}} \)

💡 Gunakan Kasus: Sistem waktu nyata, SaaS, AI tertanam.

---

Metrik Khusus untuk RAG dan LLM Agentik

Dengan munculnya Retrieval-Augmented Generation (RAG) dan alur kerja LLM agen, metrik baru telah muncul:

1. Kesetiaan (RAG)

Definisi: Mengukur konsistensi faktual antara jawaban yang dihasilkan dan konteks yang diambil.

Formula:

\( \teks{Kesetiaan} = \frac{\# \teks{ pernyataan yang didukung oleh konteks}}{\# \teks{ jumlah pernyataan}} \)

Rentang: 0 (terburuk) hingga 1 (terbaik).

2. Relevansi Jawaban

Definisi: Sejauh mana suatu tanggapan menjawab pertanyaan atau konteks.

Formula:

\( \teks{Relevansi Jawaban} = \frac{\# \teks{ tanggapan relevan}}{\# \teks{ total tanggapan}} \)

3. Relevansi Konteks (RAG)

Definisi: Mengukur seberapa relevan konteks yang diambil dengan pertanyaan.

Formula:

\( \teks{Relevansi Konteks} = \frac{\# \teks{ item konteks yang relevan}}{\# \teks{ total item konteks}} \)

4. Tingkat Halusinasi

Definisi: Proporsi keluaran yang berisi informasi yang dibuat-buat atau tidak didukung.

Formula:

\( \teks{Tingkat Halusinasi} = \frac{\# \teks{ keluaran halusinasi}}{\# \teks{ total keluaran}} \)

Praktik Terbaik untuk Evaluasi LLM pada tahun 2025

Contoh Dunia Nyata: Mengevaluasi Chatbot RAG

Misalkan Anda sedang membangun sebuah lembaga layanan kesehatan Obrolan robot RAGBerikut ini contoh tumpukan metrik:

metrik	Rumus/Metode	target
Kebingungan	Lihat di atas	<15
PEMERAH-L	tumpang tindih berbasis LCS	> 0.4
skor BERTS	Menanamkan kesamaan	> 0.85
Kesetiaan	Pernyataan/konteks yang didukung	> 0.95
Halusinasi	Lihat di atas	<5%
Tingkat Toksisitas	Lihat di atas	<1%
Latensi	Waktu per respons	<1-an
Bias/Keadilan	Rasio Dampak Berbeda	0.8-1.25

Final Thoughts

Jangan ambil risiko bencana AI kegagalan! Metrik yang baru saja Anda temukan bukan hanya angka-angka-itu adalah senjata rahasia Anda untuk mendominasi AI lanskap pada tahun 2025. Sementara pesaing Anda berjuang dengan model yang berhalusinasi dan pengguna yang marah, Anda akan menerapkan LLM yang sempurna yang benar-benar memberikan hasil.

Mengapa Sebagian Besar Tim Gagal di AI Evaluasi (dan bagaimana Anda tidak akan melakukannya)

Ingat: tanpa pembandingan yang tepat, model mutakhir Anda hanyalah mesin halusinasi yang mahal. Terapkan 12 metrik ini SEKARANG untuk:

✅ Meningkatkan kepercayaan pengguna
✅ Memotong waktu pengembangan
✅ Menghilangkan biaya mahal AI blunder
✅ Mengungguli pesaing yang lebih besar

Menantikan untuk AIMOJO untuk panduan yang lebih ahli, kiat alur kerja, dan informasi terbaru tentang LLMops, rekayasa cepat, dan AI berita agen.