วิศวกรรมบริบททำลายวิศวกรรมเชิงพรอมต์ — นี่คือสาเหตุ

วิศวกรรมบริบท ทำไมต้อง Smart AI วิศวกรถูกทิ้งร้าง วิศวกรรมเร่งรัด

การปรับแต่งอย่างรวดเร็วเพียงอย่างเดียวไม่เพียงพอสำหรับองค์กรอีกต่อไป AI ระบบต่างๆ เมื่อหน้าต่างบริบทโมเดลมีจำนวนโทเค็นเกิน 200 โทเค็น วิศวกรจึงรวม LLM เข้ากับเอกสาร ไพพ์ไลน์การดึงข้อมูล แผ่นบันทึก และการเรียกใช้เครื่องมือ ซึ่งเป็นแนวทางที่ได้รับการยอมรับ วิศวกรรมบริบท.

การเปลี่ยนแปลงเกิดขึ้นอย่างรวดเร็ว

ปีที่แล้ว การเขียนคำกระตุ้นที่ชาญฉลาดให้ความรู้สึกเหมือนมีเวทมนตร์ แต่วันนี้ ธุรกิจ AI ความต้องการ ผลลัพธ์ที่มีโครงสร้างการรวมข้อมูลแบบเรียลไทม์และ หน่วยความจำการสนทนา ที่คำกระตุ้นง่ายๆ ไม่สามารถส่งมอบได้

วิศวกรรมบริบทเชื่อมช่องว่างนี้โดยการจัดการทั้งหมด AI สิ่งแวดล้อม เป็นระบบมากกว่าที่จะมุ่งเน้นไปที่อินพุตแต่ละรายการ

วิศวกรรมบริบท:
ระบบที่ใช้งานได้จริง

วิศวกรรมบริบทจะถือว่ากระบวนการทั้งหมดก่อนการเรียก LLM เป็นโครงสร้างพื้นฐานที่ออกแบบได้ ลองนึกถึง LLM's หน้าต่างบริบทเป็น RAM – มีหน่วยความจำในการทำงานที่จำกัดซึ่งกำหนดว่าโมเดลสามารถประมวลผลอะไรได้

ความเข้าใจเกี่ยวกับวิศวกรรมบริบท

เช่นเดียวกับระบบปฏิบัติการที่จัดการอย่างระมัดระวังว่าอะไรเข้าไปใน RAM วิศวกรรมบริบทจะดูแลข้อมูลที่จะเติมใน LLM's หน้าต่างบริบท

Here's วิศวกรรมบริบทประกอบด้วยอะไรบ้าง:

การรวบรวมข้อมูลแบบไดนามิก: ระบบ RAGการเรียก API การสอบถามฐานข้อมูล
การจัดการหน่วยความจำ: สถานะการสนทนาระยะสั้นและความรู้ระยะยาว
การประสานงานเครื่องมือ:การทำให้ฟังก์ชันภายนอกพร้อมใช้งานเมื่อจำเป็น
การจัดโครงสร้างผลลัพธ์:การกำหนดโครงร่างและรูปแบบเพื่อผลลัพธ์ที่สอดคล้องกัน

วิศวกรรมบริบท เทียบกับ วิศวกรรมเชิงกระตุ้น:
ตัวเลขไม่โกหก

แง่มุมพร้อมรับงานวิศวกรรมวิศวกรรมบริบท
โฟกัสการสร้างสตริงอินพุตหนึ่งอันการประสานสัญญาณทั้งหมดรอบ ๆ โมเดล
เวลาในการพัฒนาโดยเฉลี่ยปรับแต่งอย่างรวดเร็ว 70%ไพพ์ไลน์ข้อมูล 60%, กฎหน่วยความจำ 20%, คำเตือน 20%
โหมดความล้มเหลวทั่วไปคุณภาพเอาต์พุตลดลงอย่างกะทันหันหลังจากข้อมูลดริฟท์มีความยืดหยุ่นผ่าน RAG, หน่วยความจำ, การเรียกใช้เครื่องมือ

ตัวอย่างด่วน: บอทสนับสนุนลูกค้า บอทที่ผ่านการฝึกด้วยการแจ้งเตือนเพียงอย่างเดียวสามารถเรียกคืนนโยบายการคืนเงินได้เมื่อถูกถามโดยตรง เมื่อผู้ใช้อ้างอิงถึง "คำสั่งซื้อ 45791" ระบบจะล้มเหลว เพิ่มวิศวกรรมบริบท เช่น ประวัติการสนทนาและแบบสอบถาม RAG ลงในฐานข้อมูลคำสั่งซื้อ บอทจะดึงรายละเอียดการซื้อและแนะนำกระบวนการคืนเงินที่ถูกต้องทันที

เสาหลักทั้งสี่ของวิศวกรรมบริบทที่มีความสำคัญจริงๆ

1. การเขียนบริบท (AI ของคุณ's ระบบจดบันทึก)

การเขียนบริบทหมายถึงการบันทึกข้อมูลภายนอก หน้าต่างบริบท สำหรับการใช้งานในอนาคต วิธีนี้จะช่วยรักษาพื้นที่โทเค็นอันมีค่าไว้ ขณะเดียวกันก็รักษาการเข้าถึงข้อมูลสำคัญไว้ด้วย

สแครชแพด ทำงานเหมือนการจดบันทึกสำหรับตัวแทนภายในเซสชันเดียว Anthropic's นักวิจัยหลายตัวแทนบันทึกแผนเริ่มต้นของตนไว้ “หน่วยความจำ” เพราะหากบริบทเกิน 200,000 โทเค็น มันจะถูกตัดทอนและแผนก็จะสูญหายไป

ความทรงจำระยะยาว เก็บข้อมูลไว้ได้หลายเซสชัน ตัวอย่างเช่น ChatGPT ที่สร้างค่ากำหนดของผู้ใช้โดยอัตโนมัติจากการสนทนา และการเรียนรู้เคอร์เซอร์/วินด์เซิร์ฟ รูปแบบการเข้ารหัส และบริบทของโครงการ

2. การเลือกบริบท (ศิลปะแห่งการเลือกสิ่งที่สำคัญ)

การเลือกบริบทจะนำเฉพาะข้อมูลที่เกี่ยวข้องกับงานที่ทำอยู่เข้ามา

เมื่อ AI โค้ชฟิตเนส สร้างแผนการออกกำลังกาย โดยจะต้องเลือกรายละเอียดบริบทที่รวมถึงผู้ใช้'s ส่วนสูง น้ำหนัก และระดับกิจกรรม ในขณะที่ละเลยข้อมูลที่ไม่เกี่ยวข้อง

ข้อมูลเชิงลึกที่สำคัญ:ข้อมูลมากขึ้นไม่ได้หมายความว่าจะดีเสมอไป วิศวกรรมบริบทที่มีประสิทธิภาพหมายถึงการเลือกชุดข้อมูลที่เหมาะสมกับงานเฉพาะแต่ละงาน

3. การบีบอัดบริบท (การปรับให้มากขึ้นเป็นน้อยลง)

เมื่อการสนทนายืดยาวจนเกินขอบเขต LLM's หน่วยความจำ หน้าต่าง การบีบอัดบริบทจึงมีความสำคัญอย่างยิ่ง โดยทั่วไปแล้ว ตัวแทนจะทำเช่นนี้ได้โดยการสรุปส่วนก่อนหน้าของการสนทนา

ตัวอย่าง:
หลังจาก 50 ข้อความ AI โค้ชสรุปได้ว่า “ผู้ใช้เป็นชายอายุ 35 ปี น้ำหนัก 180 ปอนด์ มีเป้าหมายเพิ่มกล้ามเนื้อ มีกิจกรรมปานกลาง ไม่บาดเจ็บ และชอบรับประทานอาหารโปรตีนสูง”

4. การแยกบริบท (แบ่งแยกและพิชิต)

เทคนิควิศวกรรมบริบท - การแยกบริบท

การแยกบริบทหมายถึงการแบ่งข้อมูลออกเป็นชิ้นเล็กชิ้นน้อย เพื่อให้ตัวแทนสามารถจัดการงานที่ซับซ้อนได้ดีขึ้น แทนที่จะอัดความรู้ทั้งหมดไว้ในพรอมต์ขนาดใหญ่เพียงอันเดียว นักพัฒนาจะแบ่งบริบทออกเป็นเอเจนต์ย่อยเฉพาะทางหรือ สภาพแวดล้อมแบบแซนด์บ็อกซ์.

วิศวกรรมบริบทในโลกแห่งความเป็นจริงในการปฏิบัติ

การปฏิวัติการบริการลูกค้า

ก่อนวิศวกรรมบริบทหลังจากวิศวกรรมบริบท
แชทบอททั่วไปที่ลืมบทสนทนาก่อนหน้าและให้คำตอบที่ไม่เกี่ยวข้องAI ตัวแทนที่จดจำประวัติการซื้อของคุณ เข้าถึงข้อมูลสต๊อกแบบเรียลไทม์ และประสานงานกับตัวแทนเมื่อจำเป็น

ผู้ช่วยการเขียนโค้ดที่ไม่เคยลืม

ระบบ:เมื่อคุณถามว่า "ฉันจะแก้ไขข้อบกพร่องในการตรวจสอบสิทธิ์นี้ได้อย่างไร" ระบบวิศวกรรมบริบทจะ:

ค้นหาฐานโค้ดของคุณสำหรับโค้ดที่เกี่ยวข้อง
ดึงข้อมูลส่วนย่อยของไฟล์ที่เกี่ยวข้อง
สร้างคำเตือนที่ครอบคลุมพร้อมบันทึกข้อผิดพลาดและบริบท
giphy
ผลลัพธ์:

แทนที่จะได้รับคำแนะนำการเขียนโค้ดแบบทั่วๆ ไป คุณจะได้รับโซลูชันเฉพาะที่ปรับให้เหมาะกับฐานโค้ดจริงของคุณ

สถาปัตยกรรมทางเทคนิคที่ขับเคลื่อนวิศวกรรมบริบท

การประกอบบริบทแบบไดนามิก

บริบทถูกสร้างขึ้นแบบทันทีทันใด โดยจะพัฒนาไปตามความคืบหน้าของการสนทนา ซึ่งรวมถึง:

  • การดึงเอกสารที่เกี่ยวข้อง
  • การรักษาความจำ
  • การอัปเดตสถานะผู้ใช้
  • การเรียก API และการสอบถามฐานข้อมูล

การจัดการหน้าต่างบริบท

มีขนาดคงที่ ขีดจำกัดโทเค็น (32K, 100K, 1M) วิศวกรจะต้องบีบอัดและจัดลำดับความสำคัญของข้อมูลอย่างชาญฉลาดโดยใช้:

  • ฟังก์ชันการให้คะแนน (TF-IDF, การฝัง, ฮิวริสติกความสนใจ)
  • การสรุปและการสกัดความโดดเด่น
  • กลยุทธ์การแบ่งกลุ่มและการปรับแต่งแบบทับซ้อน

ความปลอดภัยและความสม่ำเสมอ

ใช้หลักการเช่นการตรวจจับการฉีดทันที การฆ่าเชื้อบริบท, การแก้ไข PIIและการควบคุมการเข้าถึงบริบทตามบทบาท

การสร้างระบบวิศวกรรมบริบทแรกของคุณ

การสร้างเวิร์กโฟลว์ทางวิศวกรรมบริบทไม่ใช่แค่ทฤษฎีเท่านั้น's กระบวนการที่ทำซ้ำได้ ซึ่งสามารถนำไปปฏิบัติจริงหรือแม้กระทั่งแบบอัตโนมัติได้ นี่คือวิธีที่คุณสามารถนำไปปฏิบัติได้:

ขั้นตอนที่ 1: จัดทำแผนที่แหล่งที่มาของบริบทของคุณ

ระบุว่าตัวแทนของคุณต้องดึงข้อมูลจากที่ใด (เอกสาร ฐานข้อมูล API แชทก่อนหน้า ฯลฯ)

หลาม

# Example: Fetching relevant documents using embeddings
from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer("all-MiniLM-L6-v2")
query = "project status update"
corpus = ["spec doc", "requirements", "last week's meeting notes"]

query_embedding = model.encode(query, convert_to_tensor=True)
corpus_embeddings = model.encode(corpus, convert_to_tensor=True)
hits = util.semantic_search(query_embedding, corpus_embeddings, top_k=2)[0]
relevant_docs = [corpus[hit['corpus_id']] for hit in hits]

ขั้นตอนที่ 2: การนำหน่วยความจำและบริบทการเขียนไปใช้

จัดเก็บข้อมูลที่สำคัญเพื่อให้พร้อมใช้งานเสมอสำหรับงานในอนาคต

หลาม

import json

def save_to_memory(memory_path, user_id, data):
    with open(memory_path, "r+") as file:
        memory = json.load(file)
        memory[user_id] = data
        file.seek(0)
        json.dump(memory, file)
        file.truncate()

ขั้นตอนที่ 3: สร้างการเลือกบริบทและตรรกะการบีบอัด

พัฒนากฎหรือแบบจำลองที่เลือกเฉพาะสิ่งที่เกี่ยวข้องกับงานมากที่สุด ย่อประวัติที่ยาวเหยียดให้อยู่ในรูปแบบสรุป

หลาม

def summarize_conversation(history):
    # Placeholder for use with an LLM summarizer or custom rules
    return history[-5:]  # Only the last 5 messages

ขั้นตอนที่ 4: แยกบริบทสำหรับการประสานงานตัวแทน

แบ่งข้อมูลออกเพื่อให้แต่ละตัวแทนหรือส่วนประกอบจัดการเฉพาะสิ่งที่ควรจัดการเท่านั้น

หลาม

user_profile_ctx = {"user_goals": "..."}
task_specific_ctx = {"current_task": "..."}
external_data_ctx = {"live_data": "..."}
full_context = {**user_profile_ctx, **task_specific_ctx, **external_data_ctx}

ขั้นตอนที่ 5: การจัดโครงสร้างเอาต์พุตและความพร้อมของ API

จัดรูปแบบบริบทเอาท์พุตให้สอดคล้องกันเพื่อให้'s คาดเดาได้สำหรับการเรียก LLM ดาวน์สตรีมหรือจุดสิ้นสุด API

หลาม

schema = {
    "user": {"age": 35, "goal": "muscle gain"},
    "plan": "high protein, 3x/week weight training"
}

ขั้นตอนที่ 6: ตรวจสอบ ทำซ้ำ และรักษาความปลอดภัย

ติดตามความล้มเหลว ตรวจสอบคุณภาพบริบท และปรับปรุงตรรกะสำหรับการรวมบริบท หน่วยความจำ และการดึงข้อมูล หมั่นทำความสะอาดอินพุตอยู่เสมอเพื่อหลีกเลี่ยงการแทรกข้อมูลทันทีและการรั่วไหลของข้อมูล

เหตุใดวิศวกรรมบริบทจึงให้ผลตอบแทนมากกว่าวิศวกรรมแบบเร่งด่วน

บริษัทต่างๆ จำเป็นต้องมีวิศวกรที่สามารถสร้างระบบที่ให้บริบทที่เหมาะสมแก่ AI รักษาข้อมูลให้ถูกต้องและเป็นปัจจุบัน และปกป้องผู้ใช้ด้วยการเพิ่มแนวทางด้านความปลอดภัย

ความเป็นจริงของตลาด:วิศวกรรมบริบทต้องใช้ทักษะข้ามฟังก์ชันซึ่งเกี่ยวข้องกับการทำความเข้าใจกรณีการใช้งานทางธุรกิจ การกำหนดผลลัพธ์ และการจัดโครงสร้างข้อมูลเพื่อให้ LLM สามารถทำงานที่ซับซ้อนได้สำเร็จ

เขียนความเห็น

ที่อยู่อีเมลของคุณจะไม่ถูกเผยแพร่ ช่องที่ต้องการถูกทำเครื่องหมาย *

ไซต์นี้ใช้ Akismet เพื่อลดสแปม เรียนรู้วิธีการประมวลผลข้อมูลความคิดเห็นของคุณ

เข้าร่วม Aimojo เผ่า!

เข้าร่วมกับสมาชิกกว่า 76,200 รายเพื่อรับเคล็ดลับจากผู้เชี่ยวชาญทุกสัปดาห์! 
🎁 โบนัส: รับ $200 ของเรา”AI Mastery Toolkit” ฟรีเมื่อคุณสมัคร!

ได้รับความนิยม AI เครื่องมือ
AI ระดับสูง

เปลี่ยน URL ใดๆ ให้เป็นแคมเปญโฆษณาพร้อมใช้งานได้ภายในไม่กี่นาที การขอ AI ตัวแทนโฆษณาที่สร้างขึ้นสำหรับนักการตลาดที่เน้นผลลัพธ์และแบรนด์ที่มุ่งเน้นการเติบโต

tl;dv

อย่าปล่อยให้สิ่งที่ได้พูดคุยกันไปแล้วสูญเปล่า จงเริ่มลงมือปฏิบัติในทุกการประชุม การขอ AI โปรแกรมจดบันทึกการประชุมที่บันทึกและแปลงบทสนทนาให้เป็นผลลัพธ์ที่นำไปปฏิบัติได้จริง

ถามยูร่า

เปลี่ยนทุกการสนทนากับลูกค้าให้เป็นการดำเนินการทางธุรกิจที่สำเร็จลุล่วง ไม่ต้องเขียนโค้ด AI เอเจนต์ที่สร้างขึ้นเพื่อการดำเนินการเชิงปฏิบัติการ

คูเบิร์นส์

วางแผนการใช้งานอย่างชาญฉลาด ขยายขนาดได้รวดเร็วยิ่งขึ้น ลดต้นทุนคลาวด์ได้สูงสุดถึง 40% แพลตฟอร์ม PaaS บนคลาวด์สำหรับ AI-Agency สร้างขึ้นเพื่อการใช้งานแบบ Full-Stack โดยไม่ต้องตั้งค่าใดๆ

ยูซาร์ด

เปลี่ยนไอเดียให้เป็นต้นแบบเชิงโต้ตอบได้โดยไม่ต้องมีทักษะด้านการออกแบบแม้แต่น้อย AI เครื่องมือออกแบบ UI สำหรับสร้างโครงร่าง (wireframes), ภาพจำลอง (mockups) และต้นแบบแอปพลิเคชัน