Bağlam Mühendisliği, Hızlı Mühendisliği Öldürüyor — İşte Nedeni

İlk Bağlam Mühendisliği Sisteminizi Oluşturma

Bir bağlam mühendisliği iş akışı oluşturmak yalnızca bir teori değil, aynı zamanda bir süreçtir.'s Tekrarlanabilir, operasyonel hale getirilebilen ve hatta otomatikleştirilebilen bir süreç. İşte bunu nasıl pratiğe dökebileceğiniz:

1 Adım: Bağlam Kaynaklarınızı Haritalayın

Temsilcinizin bilgiyi nereden çekmesi gerektiğini belirleyin (dokümanlar, veritabanları, API'ler, önceki sohbetler, vb.).

piton

# Example: Fetching relevant documents using embeddings
from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer("all-MiniLM-L6-v2")
query = "project status update"
corpus = ["spec doc", "requirements", "last week's meeting notes"]

query_embedding = model.encode(query, convert_to_tensor=True)
corpus_embeddings = model.encode(corpus, convert_to_tensor=True)
hits = util.semantic_search(query_embedding, corpus_embeddings, top_k=2)[0]
relevant_docs = [corpus[hit['corpus_id']] for hit in hits]

2 Adım: Bellek ve Yazma Bağlamını Uygula

Önemli bilgileri saklayın, böylece gelecekteki görevler için her zaman orada olsun.

piton

import json

def save_to_memory(memory_path, user_id, data):
    with open(memory_path, "r+") as file:
        memory = json.load(file)
        memory[user_id] = data
        file.seek(0)
        json.dump(memory, file)
        file.truncate()

3 Adım: Bağlam Seçimi ve Sıkıştırma Mantığı Oluşturun

Görev için yalnızca en alakalı olanları seçen kurallar veya modeller geliştirin. Uzun geçmişleri özetlenmiş formlara sıkıştırın.

piton

def summarize_conversation(history):
    # Placeholder for use with an LLM summarizer or custom rules
    return history[-5:]  # Only the last 5 messages

4 Adım: Aracı Koordinasyonu için Bağlamları İzole Edin

Bilgileri bölün, böylece her bir aracı veya bileşen yalnızca yapması gerekeni yapsın.

piton

user_profile_ctx = {"user_goals": "..."}
task_specific_ctx = {"current_task": "..."}
external_data_ctx = {"live_data": "..."}
full_context = {**user_profile_ctx, **task_specific_ctx, **external_data_ctx}

5 Adım: Çıktı Yapılandırması ve API Hazırlığı

Çıktı bağlamını tutarlı bir şekilde biçimlendirin, böylece's Aşağı akış LLM çağrıları veya API uç noktaları için öngörülebilir.

piton

schema = {
    "user": {"age": 35, "goal": "muscle gain"},
    "plan": "high protein, 3x/week weight training"
}

6 Adım: İzle, Tekrarla ve Güvenliğini Sağla

Hataları takip edin, bağlam kalitesini denetleyin ve bağlam ekleme, bellek ve erişim mantığını iyileştirin. Hızlı enjeksiyon ve veri sızıntılarını önlemek için girdileri her zaman temizleyin.