12 найкращих показників та формул оцінювання LLM для AI Плюси

Хочете покращити свою оцінку LLM у 2025 році? В AIMOJO ми бачили, як забагато команд невдало запускають моделі, пропускаючи показники, які насправді мають значення.

Якщо ти хочеш твого AI щоб користуватися довірою — користувачів, клієнтів чи регуляторів — вам потрібно більше, ніж просто «перевірка атмосфери».

Вам потрібні точні цифри, чіткі формули та чітке розуміння того, що ці числа означають.

У цьому посібнику розглянуто 12 найкращих показників оцінки LLM за допомогою практичних формул, фрагментів коду та порад експертів, щоб ви могли впевнено проводити порівнювання, налагодження та розгортати свої моделі.

12 найкращих показників оцінювання LLM (з формулами та прикладами)

Ось ваш список на 2025 рік, що охоплює класичні метрики НЛП, сучасні семантичні оцінки та останні досягнення у сфері відповідального штучного інтелекту.

1. Розгубленість

ℹ️ Визначення: Вимірює, наскільки добре модель передбачає наступне слово в послідовності. Чим нижче, тим краще.

формула:

Де N – кількість слів, P (wi _∣w < _i ) – передбачувана ймовірність i -го слова з урахуванням попередніх слів.

💡 Варіант використання: попереднє навчання, точне налаштування та перевірка плавності в мовних моделях.

Приклад Python:

import torch
import torch.nn.functional as F

def calculate_perplexity(logits, targets):
    loss = F.cross_entropy(logits, targets)
    return torch.exp(loss)

Інтерпретація: Менша складність означає, що модель є більш впевненою та точною у своїх прогнозах.

---

2. Перехресна втрата ентропії

ℹ️ Визначення: Вимірює різницю між прогнозованим розподілом ймовірностей та істинним розподілом.

формула:

Де p ( x ) – істинний розподіл, а q ( x ) – передбачуваний розподіл.

💡 Випадок використання: Функція втрати ядра під час навчання та оцінювання LLM .

---

3. BLEU (студент з двомовного оцінювання)

ℹ️ Визначення: Метрика на основі точності для n-грамового перекриття між згенерованими та еталонними текстами.

формула:

де:

• BP=exp(1−c/r), якщо c
• w_n: вага для кожного n-грама (зазвичай рівномірна)
• p_n: модифікована точність n-грамів

Приклад розрахунку:

• Посилання: «Кіт лежить на килимку»
• Результат: «Кіт на килимку»
• BLEU ≈ 0.709

Приклад Python:

from nltk.translate.bleu_score import sentence_bleu
reference = ["The cat is on the mat".split()]
candidate = "The cat on the mat".split()
bleu_score = sentence_bleu(reference, candidate, weights=(0.5, 0.5))

Інтерпретація: оцінки варіюються від 0 до 1; чим вищий бал, тим краще для перекладу, узагальнення та генерації коду.

---

4. ROUGE (Орієнтований на пригадування дублер для оцінювання технічних аспектів)

ℹ️ Визначення: Метрика, орієнтована на повторення, що вимірює перекриття n-грам, найдовшу спільну підпослідовність та пропущені біграми.

Ключові варіанти та формули:

\( \text{ROUGE-N} = \frac{\text{\# перекриваючих n-грамів}}{\text{\# n-грамів у посиланні}} \)

• ROUGE-L (LCS)На основі довжини найдовшої спільної підпослідовності.
• РУЖ-ВЗважена LCS, з квадратичне зважування для послідовних матчів.
• РУЖ-СПерекриття пропусків біграм.

Приклад Python:

from rouge_score import rouge_scorer
scorer = rouge_scorer.RougeScorer(['rouge1', 'rouge2', 'rougeL'], use_stemmer=True)
scores = scorer.score("The cat is on the mat", "The cat on the mat")

Інтерпретація: ROUGE > 0.4 ​​зазвичай добре підходить для завдань з узагальнення.

---

5. METEOR (Метрика для оцінки перекладу з явним упорядкуванням)

ℹ️ Визначення: Поєднує точність, повноту, синонімію та порядок слів для нюансованого порівняння.

формула:

де:

• F_{значити} – гармонійне середнє значення точності та повноти (з вищою вагою повноти)
• Штраф залежить від кількості шматків та збігів.

Розрахунок штрафу:

Де C – кількість фрагментів, M – кількість збігів, γ та δ – гіперпараметри.

Приклад Python:

from nltk.translate.meteor_score import meteor_score
meteor_score(["The cat is on the mat".split()], "The cat on the mat".split())

Інтерпретація: METEOR > 0.4 ​​є надійним показником, особливо для перекладу та творчих завдань.

---

6. BERTScore

ℹ️ Визначення: Використовує контекстні вбудовування з BERT для вимірювання семантичної подібності між згенерованими та еталонними текстами.

Формула: (Спрощена)

Де e _i та e _j – це вбудовування з кандидата та посилання відповідно.

💡 Приклад використання: виявлення перефразів, абстрактне підсумовування, генерування креативних елементів.

---

7. MoverScore

ℹ️ Визначення: Вимірює семантичну відстань між наборами вкладень слів, натхненну відстанню землерийного пристрою.

формула:

Де γ – матриця потоку, d – відстань (наприклад, косинус), а ei _, ej _– вбудовування.

💡 Варіант використання: Оцінює збереження значення навіть зі зміною формулювання.

---

8. Точна відповідність (EM)

ℹ️ Визначення: Перевіряє, чи згенерована відповідь точно відповідає посиланню.

формула:

\( \text{EM} = \frac{\text{\# точних збігів}}{\text{\# загальна кількість зразків}} \)

💡 Варіант використання: екстрактивне забезпечення якості, дотримання вимог, перевірка фактів.

---

9. Оцінка F1

ℹ️ Визначення: Гармонійне середнє точності та повноти для перекриття токенів.

формула:

(F_1 = 2 \cdot \frac{\text{Точність} \cdot \text{Відтворення}}{\text{Точність} + \text{Відтворення}} \)

де:

\( \text{Точність} = \frac{\text{Істинно позитивні результати}}{\text{Істинно позитивні результати} + \text{Хибнопозитивні результати}} \)

\( \text{Відгук} = \frac{\text{Істинно позитивні результати}}{\text{Істинно позитивні результати} + \text{Хибно негативні результати}} \)

💡 Приклад використання: контроль якості, класифікація, вилучення сутностей.

---

10. Показники упередженості та справедливості

ℹ️ Визначення: Кількісно визначає відмінності у результатах моделі між демографічними групами.

Загальні показники:

• Демографічний паритет: Однакові показники позитивних прогнозів у всіх групах.
• Рівні можливості: Рівні справжні позитивні показники.
• Коефіцієнт різного впливу: Співвідношення позитивних результатів між групами.

Формула для нерівномірного впливу:

\( \text{Нерівномірний вплив} = \frac{\text{Pr}(\text{Результат} \середина \text{Групи A})}{\text{Pr}(\text{Результат} \середина \text{Групи B})} \)

💡 Варіант використання: наймання, кредитування, охорона здоров'я , соціальні платформи.

---

11. Виявлення токсичності

ℹ️ Визначення: Вимірює наявність шкідливого, образливого або неприйнятного контенту.

Загальні інструменти: Perspective API, Detoxify.

Метрика: Відсоток результатів, позначених як токсичні.

формула:

\( \text{Рівень токсичності} = \frac{\# \text{ токсичні викиди}}{\# \text{ загальна кількість викидів}} \)

💡 Приклад використання: Чат-боти, модерація, підтримка клієнтів.

---

12. Затримка та обчислювальна ефективність

ℹ️ Визначення: Відстежує час відгуку та використання ресурсів.

Метрики:

• Затримка: Час на відповідь (у мс або с).
• Пропускна здатність: Кількість виходів за секунду.
• Використання ресурсів: Споживання процесора/графічного процесора/пам'яті.

Формула для затримки:

\( \text{Затримка} = \frac{\text{Загальний час}}{\# \text{ Виходи}} \)

💡 Варіант використання: Системи реального часу, SaaS , вбудований ШІ.

---

Спеціалізовані метрики для RAG та Agentic LLM

Зі зростанням популярності методів доповненого пошуку даних (RAG) та агентних робочих процесів LLM з'явилися нові показники:

1. Вірність (RAG)

Визначення: Вимірює фактичну узгодженість між згенерованою відповіддю та отриманим контекстом.

формула:

\( \text{Вірність} = \frac{\# \text{ тверджень, що підтверджуються контекстом}}{\# \text{ загальна кількість тверджень}} \)

Діапазон: від 0 (найгірший) до 1 (найкращий).

2. Релевантність відповіді

Визначення: Ступінь, до якої відповідь відповідає запиту або контексту.

формула:

\( \text{Релевантність відповіді} = \frac{\# \text{ релевантні відповіді}}{\# \text{ загальна кількість відповідей}} \)

3. Контекстна релевантність (RAG)

Визначення: Вимірює релевантність отриманого контексту до питання.

формула:

\( \text{Релевантність контексту} = \frac{\# \text{ релевантні елементи контексту}}{\# \text{ загальна кількість елементів контексту}} \)

4. Частота галюцинацій

Визначення: Частка результатів, що містять вигадану або непідтверджену інформацію.

формула:

\( \text{Частота галюцинацій} = \frac{\# \text{ галюцинаційні виходи}}{\# \text{ загальна кількість виходів}} \)

Найкращі практики оцінювання магістра права (LLM) у 2025 році

Приклад з реального світу: Оцінка чат-бота RAG

Припустимо, ви створюєте чат-бота RAG для охорони здоров'я . Ось приклад стеку метрик:

Metric	Формула/Метод	Мета
Розгубленість	Дивись вище	<15
РУЖ-Л	Перекриття на основі LCS	> 0.4
BERTScore	Вбудовування подібності	> 0.85
Вірність	Підтримувані твердження/контекст	> 0.95
Галюцинація	Дивись вище	<5%
Рівень токсичності	Дивись вище	<1%
Затримка	Час на відповідь	<1 с
Упередженість/Справедливість	Різноманітне співвідношення впливу	0.8-1.25

Заключні думки

Не ризикуйте катастрофою AI невдачі! Метрики, які ви щойно відкрили, — це не просто цифри, а ваша секретна зброя для домінування AI ландшафт у 2025 році. Поки ваші конкуренти борються з галюцинаторними моделями та розлюченими користувачами, ви будете впроваджувати бездоганні LLM, які дійсно приносять результати.

Чому більшість команд зазнають невдачі в AI Оцінювання (і як ви цього не зробите)

Пам’ятайте: без належного бенчмаркінгу ваша передова модель — це просто дорога машина для галюцинацій. Застосуйте ці 12 показників ЗАРАЗ до:

✅ Стрімке зростання довіри користувачів
✅ Скорочення часу розробки
✅ Позбавтеся від дороговартісних витрат AI промахи
✅ Перевершити більших конкурентів

Залишайтеся на зв'язку AIMOJO щоб отримати більше посібників від експертів, поради щодо робочих процесів та останні новини про LLMops, швидку розробку та AI новини агента.