Inżynieria kontekstowa zabija inżynierię podpowiedzi — oto dlaczego

Zbuduj swój pierwszy system inżynierii kontekstu

Tworzenie przepływu pracy inżynierii kontekstu to nie tylko teoria – to's Powtarzalny proces, który można zoperacjonalizować, a nawet zautomatyzować. Oto jak możesz go wdrożyć w praktyce:

Krok 1: Zaplanuj źródła kontekstu

Określ, skąd agent powinien pobierać informacje (dokumenty, bazy danych, API, poprzednie czaty itp.).

pyton

# Example: Fetching relevant documents using embeddings
from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer("all-MiniLM-L6-v2")
query = "project status update"
corpus = ["spec doc", "requirements", "last week's meeting notes"]

query_embedding = model.encode(query, convert_to_tensor=True)
corpus_embeddings = model.encode(corpus, convert_to_tensor=True)
hits = util.semantic_search(query_embedding, corpus_embeddings, top_k=2)[0]
relevant_docs = [corpus[hit['corpus_id']] for hit in hits]

Krok 2: Wdrażanie kontekstu pamięci i pisania

Przechowuj ważne informacje, aby zawsze były pod ręką na wypadek przyszłych zadań.

pyton

import json

def save_to_memory(memory_path, user_id, data):
    with open(memory_path, "r+") as file:
        memory = json.load(file)
        memory[user_id] = data
        file.seek(0)
        json.dump(memory, file)
        file.truncate()

Krok 3: Zbuduj logikę wyboru kontekstu i kompresji

Opracuj reguły lub modele, które wybierają tylko te elementy, które są najbardziej istotne dla danego zadania. Skompresuj długie historie do postaci streszczonych.

pyton

def summarize_conversation(history):
    # Placeholder for use with an LLM summarizer or custom rules
    return history[-5:]  # Only the last 5 messages

Krok 4: Wyizoluj konteksty do koordynacji agentów

Podziel informacje tak, aby każdy agent lub komponent zajmował się tylko tym, czym powinien.

pyton

user_profile_ctx = {"user_goals": "..."}
task_specific_ctx = {"current_task": "..."}
external_data_ctx = {"live_data": "..."}
full_context = {**user_profile_ctx, **task_specific_ctx, **external_data_ctx}

Krok 5: Strukturyzacja wyników i gotowość API

Sformatuj kontekst wyjściowy w sposób spójny, aby's przewidywalne dla dalszych wywołań LLM lub punktów końcowych API.

pyton

schema = {
    "user": {"age": 35, "goal": "muscle gain"},
    "plan": "high protein, 3x/week weight training"
}

Krok 6: Monitoruj, iteruj i zabezpieczaj

Śledź awarie, audytuj jakość kontekstu i ulepszaj logikę uwzględniania kontekstu, pamięci i pobierania. Zawsze czyść dane wejściowe, aby uniknąć szybkiego wstrzyknięcia i wycieków danych.