Kontextové inženýrství ničí rychlé inženýrství – tady je důvod

Vytvoření vašeho prvního systému kontextového inženýrství

Vytvoření pracovního postupu kontextového inženýrství není jen teorie – je to's opakovatelný proces, který lze operacionalizovat a dokonce automatizovat. Zde je návod, jak ho můžete uvést do praxe:

Krok 1: Zmapujte své kontextové zdroje

Určete, odkud váš agent potřebuje čerpat informace (dokumentace, databáze, API, předchozí chaty atd.).

krajta

# Example: Fetching relevant documents using embeddings
from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer("all-MiniLM-L6-v2")
query = "project status update"
corpus = ["spec doc", "requirements", "last week's meeting notes"]

query_embedding = model.encode(query, convert_to_tensor=True)
corpus_embeddings = model.encode(corpus, convert_to_tensor=True)
hits = util.semantic_search(query_embedding, corpus_embeddings, top_k=2)[0]
relevant_docs = [corpus[hit['corpus_id']] for hit in hits]

Krok 2: Implementace kontextu paměti a zápisu

Uložte si důležité informace, abyste je měli vždy po ruce pro budoucí úkoly.

krajta

import json

def save_to_memory(memory_path, user_id, data):
    with open(memory_path, "r+") as file:
        memory = json.load(file)
        memory[user_id] = data
        file.seek(0)
        json.dump(memory, file)
        file.truncate()

Krok 3: Vytvoření logiky výběru a komprese kontextu

Vyvíjejte pravidla nebo modely, které vybírají pouze to, co je pro daný úkol nejrelevantnější. Zkomprimujte dlouhé historie do souhrnných forem.

krajta

def summarize_conversation(history):
    # Placeholder for use with an LLM summarizer or custom rules
    return history[-5:]  # Only the last 5 messages

Krok 4: Izolace kontextů pro koordinaci agentů

Rozdělte informace tak, aby každý agent nebo komponenta zpracovával pouze to, co by měl.

krajta

user_profile_ctx = {"user_goals": "..."}
task_specific_ctx = {"current_task": "..."}
external_data_ctx = {"live_data": "..."}
full_context = {**user_profile_ctx, **task_specific_ctx, **external_data_ctx}

Krok 5: Strukturování výstupu a připravenost API

Konzistentně formátujte výstupní kontext, aby's předvídatelné pro následná volání LLM nebo koncové body API.

krajta

schema = {
    "user": {"age": 35, "goal": "muscle gain"},
    "plan": "high protein, 3x/week weight training"
}

Krok 6: Monitorování, iterace a zabezpečení

Sledujte selhání, auditujte kvalitu kontextu a vylepšujte logiku pro zahrnutí kontextu, paměť a načítání. Vždy dezinfikujte vstupy, abyste zabránili okamžitému vkládání dat a únikům dat.