A engenharia de contexto mata a engenharia de prompts — eis o porquê

Construindo seu primeiro sistema de engenharia de contexto

Construir um fluxo de trabalho de engenharia de contexto não é apenas teoria―é's Um processo repetível que pode ser operacionalizado e até automatizado. Veja como você pode colocá-lo em prática:

Passo 1: Mapeie suas fontes de contexto

Identifique de onde seu agente precisa extrair informações (documentos, bancos de dados, APIs, chats anteriores, etc.).

python

# Example: Fetching relevant documents using embeddings
from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer("all-MiniLM-L6-v2")
query = "project status update"
corpus = ["spec doc", "requirements", "last week's meeting notes"]

query_embedding = model.encode(query, convert_to_tensor=True)
corpus_embeddings = model.encode(corpus, convert_to_tensor=True)
hits = util.semantic_search(query_embedding, corpus_embeddings, top_k=2)[0]
relevant_docs = [corpus[hit['corpus_id']] for hit in hits]

Passo 2: Implementar contexto de memória e escrita

Armazene informações importantes para que elas estejam sempre disponíveis para tarefas futuras.

python

import json

def save_to_memory(memory_path, user_id, data):
    with open(memory_path, "r+") as file:
        memory = json.load(file)
        memory[user_id] = data
        file.seek(0)
        json.dump(memory, file)
        file.truncate()

Passo 3: Construir lógica de seleção e compressão de contexto

Desenvolva regras ou modelos que selecionem apenas o que é mais relevante para a tarefa. Comprima históricos longos em formatos resumidos.

python

def summarize_conversation(history):
    # Placeholder for use with an LLM summarizer or custom rules
    return history[-5:]  # Only the last 5 messages

Passo 4: Isolar contextos para coordenação de agentes

Divida as informações para que cada agente ou componente cuide apenas do que deve.

python

user_profile_ctx = {"user_goals": "..."}
task_specific_ctx = {"current_task": "..."}
external_data_ctx = {"live_data": "..."}
full_context = {**user_profile_ctx, **task_specific_ctx, **external_data_ctx}

Passo 5: Estruturação de saída e prontidão da API

Formate o contexto de saída de forma consistente para que's previsível para chamadas LLM downstream ou endpoints de API.

python

schema = {
    "user": {"age": 35, "goal": "muscle gain"},
    "plan": "high protein, 3x/week weight training"
}

Passo 6: Monitorar, iterar e proteger

Rastreie falhas, audite a qualidade do contexto e aprimore a lógica para inclusão, memória e recuperação de contexto. Sempre higienize as entradas para evitar injeção de prompts e vazamentos de dados.