
শুধু তাৎক্ষণিক পরিবর্তনই আর এন্টারপ্রাইজের জন্য কাজ করবে না। AI সিস্টেম। মডেল কনটেক্সট উইন্ডোজ ২০০,০০০ টোকেন অতিক্রম করার সাথে সাথে, ইঞ্জিনিয়াররা এখন ডকুমেন্ট, পুনরুদ্ধার পাইপলাইন, স্ক্র্যাচ-প্যাড এবং টুল কল দিয়ে LLM-কে মুড়ে ফেলে - একটি ব্র্যান্ডেড পদ্ধতি প্রসঙ্গ প্রকৌশল.
পরিবর্তনটি দ্রুত ঘটে গেল।
কনটেক্সট ইঞ্জিনিয়ারিং সমগ্র প্রক্রিয়াকরণের মাধ্যমে এই ব্যবধান পূরণ করে AI পরিবেশ পৃথক ইনপুটগুলির উপর মনোযোগ দেওয়ার পরিবর্তে একটি সিস্টেম হিসাবে।
প্রসঙ্গ প্রকৌশল:
যে সিস্টেমটি আসলে কাজ করে
কনটেক্সট ইঞ্জিনিয়ারিং এলএলএম কলের আগে পুরো পাইপলাইনটিকে ইঞ্জিনিয়ারযোগ্য অবকাঠামো হিসাবে বিবেচনা করে। একটি এলএলএমের কথা ভাবুন।'s কনটেক্সট উইন্ডোকে RAM হিসেবে ব্যবহার করা হয় - এতে সীমিত কার্যকরী মেমোরি থাকে যা নির্ধারণ করে যে মডেলটি কী প্রক্রিয়া করতে পারে।

ঠিক যেমন একটি অপারেটিং সিস্টেম র্যামে কী যায় তা সাবধানতার সাথে পরিচালনা করে, তেমনি প্রসঙ্গ প্রকৌশল এলএলএম-এ কোন তথ্য পূরণ করা হয় তা নির্ধারণ করে।'s প্রসঙ্গ উইন্ডো।
এখানে's প্রেক্ষাপট প্রকৌশল আসলে কী কী অন্তর্ভুক্ত করে:
কনটেক্সট ইঞ্জিনিয়ারিং বনাম প্রম্পট ইঞ্জিনিয়ারিং:
সংখ্যা মিথ্যা বলে না
| দৃষ্টিভঙ্গি | প্রম্পট ইঞ্জিনিয়ারিং | প্রসঙ্গ প্রকৌশল |
|---|---|---|
| কেন্দ্রবিন্দু | একটি ইনপুট স্ট্রিং তৈরি করা | মডেলের চারপাশে প্রতিটি সংকেত সাজানো |
| গড় ডেভেলপমেন্ট সময় | ৭০% দ্রুত পরিবর্তন | ৬০% ডেটা পাইপলাইন, ২০% মেমরি নিয়ম, ২০% প্রম্পট |
| সাধারণ ব্যর্থতা মোড | ডেটা ড্রিফটের পর আউটপুট মানের হঠাৎ পতন | RAG, মেমোরি, টুল কলের মাধ্যমে স্থিতিস্থাপক |
দ্রুত উদাহরণ: একটি গ্রাহক-সহায়তা বট শুধুমাত্র প্রম্পট সম্পর্কে প্রশিক্ষিত ব্যক্তি সরাসরি জিজ্ঞাসা করলে রিফান্ড নীতি প্রত্যাহার করতে পারে। যখন ব্যবহারকারী "অর্ডার 45791" উল্লেখ করেন, তখন এটি ব্যর্থ হয়। অর্ডার ডাটাবেসে কনটেক্সট ইঞ্জিনিয়ারিং - কথোপকথনের ইতিহাস এবং একটি RAG কোয়েরি - যোগ করুন এবং বট তাৎক্ষণিকভাবে ক্রয়ের বিবরণ সংগ্রহ করে এবং সঠিক রিফান্ড প্রক্রিয়া সুপারিশ করে।
প্রসঙ্গ প্রকৌশলের চারটি স্তম্ভ যা আসলে গুরুত্বপূর্ণ
১. লেখার প্রসঙ্গ (আপনার এআই's নোট নেওয়ার ব্যবস্থা)
প্রসঙ্গ লেখার অর্থ হল বাইরের তথ্য সংরক্ষণ করা প্রসঙ্গ উইন্ডো ভবিষ্যতে ব্যবহারের জন্য। এটি গুরুত্বপূর্ণ ডেটাতে অ্যাক্সেস বজায় রেখে মূল্যবান টোকেন স্থান সংরক্ষণ করে।
স্ক্র্যাচপ্যাড একক অধিবেশনের মধ্যে এজেন্টদের জন্য নোট নেওয়ার মতো কাজ করে। অ্যানথ্রোপিক's মাল্টি-এজেন্ট গবেষক তার প্রাথমিক পরিকল্পনা সংরক্ষণ করেন "স্মৃতি”কারণ যদি প্রসঙ্গটি ২০০,০০০ টোকেন অতিক্রম করে, তাহলে এটি কেটে ফেলা হয় এবং পরিকল্পনাটি হারিয়ে যায়।

দীর্ঘমেয়াদী স্মৃতি একাধিক সেশনে তথ্য ধরে রাখা। উদাহরণগুলির মধ্যে রয়েছে চ্যাটজিপিটি কথোপকথন থেকে ব্যবহারকারীর পছন্দগুলি স্বয়ংক্রিয়ভাবে তৈরি করা, এবং কার্সার/উইন্ডসার্ফ শেখা। কোডিং প্যাটার্ন এবং প্রকল্পের প্রেক্ষাপট।

২. প্রসঙ্গ নির্বাচন (যা গুরুত্বপূর্ণ তা বেছে নেওয়ার শিল্প)
প্রসঙ্গ নির্বাচনের মাধ্যমে হাতে থাকা কাজের জন্য প্রাসঙ্গিক তথ্যই পাওয়া যায়।
যখন একটি AI ফিটনেস কোচ একটি ওয়ার্কআউট পরিকল্পনা তৈরি করে, এটিকে অবশ্যই ব্যবহারকারীর অন্তর্ভুক্ত প্রসঙ্গ বিবরণ নির্বাচন করতে হবে's উচ্চতা, ওজন এবং কার্যকলাপের স্তর, অপ্রাসঙ্গিক তথ্য উপেক্ষা করে।
মূল অন্তর্দৃষ্টি: আরও তথ্য সবসময় ভালো হয় না। কার্যকর প্রেক্ষাপট প্রকৌশল মানে প্রতিটি নির্দিষ্ট কাজের জন্য সঠিক সমন্বয় নির্বাচন করা।
৩. কনটেক্সট কম্প্রেশন (কমকে বেশি ফিট করা)
যখন কথোপকথন এত দীর্ঘ হয় যে তা LLM's স্মৃতি উইন্ডো, প্রসঙ্গ সংকোচন গুরুত্বপূর্ণ হয়ে ওঠে। এজেন্টরা সাধারণত কথোপকথনের পূর্ববর্তী অংশগুলির সারসংক্ষেপ করে এটি সম্পন্ন করে।

৪. প্রেক্ষাপট বিচ্ছিন্নতা (বিভক্ত হও এবং জয় করো)

প্রসঙ্গ বিচ্ছিন্নকরণের অর্থ হল তথ্যকে আলাদা আলাদা টুকরোতে বিভক্ত করা যাতে এজেন্টরা জটিল কাজগুলি আরও ভালভাবে পরিচালনা করতে পারে। সমস্ত জ্ঞানকে একটি বিশাল প্রম্পটে জমা করার পরিবর্তে, ডেভেলপাররা প্রসঙ্গকে বিশেষায়িত সাব-এজেন্টদের মধ্যে ভাগ করে দেয় অথবা স্যান্ডবক্সযুক্ত পরিবেশ.
বাস্তব-বিশ্বের প্রেক্ষাপট প্রকৌশল কর্মে
গ্রাহক সেবা বিপ্লব
| প্রসঙ্গ প্রকৌশলের আগে | প্রসঙ্গ প্রকৌশলের পরে |
|---|---|
| জেনেরিক চ্যাটবট যা পূর্ববর্তী কথোপকথন ভুলে যায় এবং অপ্রাসঙ্গিক উত্তর প্রদান করে। | AI এজেন্ট যারা আপনার ক্রয়ের ইতিহাস মনে রাখে, রিয়েল-টাইম ইনভেন্টরি ডেটা অ্যাক্সেস করে এবং প্রয়োজনে মানব এজেন্টদের সাথে সমন্বয় করে। |
কোডিং সহকারী যা কখনও ভুলে যায় না
পদ্ধতি: যখন আপনি "এই প্রমাণীকরণ বাগটি কীভাবে ঠিক করব?" জিজ্ঞাসা করেন, তখন প্রসঙ্গ প্রকৌশল ব্যবস্থা স্বয়ংক্রিয়ভাবে:

জেনেরিক কোডিং পরামর্শের পরিবর্তে, আপনি আপনার প্রকৃত কোডবেসের সাথে মানানসই নির্দিষ্ট সমাধান পাবেন।
প্রসঙ্গ প্রকৌশলকে শক্তিশালী করে এমন প্রযুক্তিগত স্থাপত্য
গতিশীল প্রসঙ্গ সমাবেশ
কথোপকথনের অগ্রগতির সাথে সাথে প্রেক্ষাপটটি দ্রুত তৈরি হয়, বিকশিত হয়। এর মধ্যে রয়েছে:
- প্রাসঙ্গিক নথিপত্র উদ্ধার করা হচ্ছে
- স্মৃতিশক্তি বজায় রাখা
- ব্যবহারকারীর অবস্থা আপডেট করা হচ্ছে
- API কল এবং ডাটাবেস কোয়েরি
প্রসঙ্গ উইন্ডো ব্যবস্থাপনা
স্থির আকার সহ টোকেন সীমা (৩২কে, ১০০কে, ১এম), ইঞ্জিনিয়ারদের অবশ্যই বুদ্ধিমত্তার সাথে তথ্য সংকুচিত এবং অগ্রাধিকার দিতে হবে:
- স্কোরিং ফাংশন (TF-IDF, এম্বেডিং, মনোযোগ হিউরিস্টিকস)
- সারসংক্ষেপ এবং লবণাক্ততা নিষ্কাশন
- চাঙ্কিং কৌশল এবং ওভারল্যাপ টিউনিং

নিরাপত্তা এবং ধারাবাহিকতা
দ্রুত ইনজেকশন সনাক্তকরণের মতো নীতিগুলি প্রয়োগ করুন, প্রসঙ্গ স্যানিটাইজেশন, PII রিডাকশন, এবং ভূমিকা-ভিত্তিক প্রসঙ্গ অ্যাক্সেস নিয়ন্ত্রণ।
আপনার প্রথম কনটেক্সট ইঞ্জিনিয়ারিং সিস্টেম তৈরি করা
একটি প্রেক্ষাপট প্রকৌশল কর্মপ্রবাহ তৈরি করা কেবল তত্ত্ব নয় - এটি's একটি পুনরাবৃত্তিযোগ্য প্রক্রিয়া যা কার্যকরী এবং এমনকি স্বয়ংক্রিয়ও হতে পারে। আপনি এটি কীভাবে বাস্তবে প্রয়োগ করতে পারেন তা এখানে দেওয়া হল:
ধাপ 1: আপনার প্রসঙ্গ সূত্রগুলি ম্যাপ করুন
আপনার এজেন্টকে কোথা থেকে তথ্য সংগ্রহ করতে হবে তা চিহ্নিত করুন (ডকুমেন্ট, ডাটাবেস, API, পূর্ববর্তী চ্যাট ইত্যাদি)।
পাইথন
# Example: Fetching relevant documents using embeddings
from sentence_transformers import SentenceTransformer, util
model = SentenceTransformer("all-MiniLM-L6-v2")
query = "project status update"
corpus = ["spec doc", "requirements", "last week's meeting notes"]
query_embedding = model.encode(query, convert_to_tensor=True)
corpus_embeddings = model.encode(corpus, convert_to_tensor=True)
hits = util.semantic_search(query_embedding, corpus_embeddings, top_k=2)[0]
relevant_docs = [corpus[hit['corpus_id']] for hit in hits]
ধাপ 2: মেমোরি এবং লেখার প্রসঙ্গ বাস্তবায়ন করুন
গুরুত্বপূর্ণ তথ্য সংরক্ষণ করুন যাতে ভবিষ্যতের কাজের জন্য এটি সর্বদা থাকে।
পাইথন
import json
def save_to_memory(memory_path, user_id, data):
with open(memory_path, "r+") as file:
memory = json.load(file)
memory[user_id] = data
file.seek(0)
json.dump(memory, file)
file.truncate()
ধাপ 3: বিল্ড কনটেক্সট সিলেকশন এবং কম্প্রেশন লজিক
এমন নিয়ম বা মডেল তৈরি করুন যা কেবলমাত্র কাজের জন্য সবচেয়ে প্রাসঙ্গিক তা বেছে নেয়। দীর্ঘ ইতিহাসকে সংক্ষিপ্ত আকারে সংকুচিত করুন।
পাইথন
def summarize_conversation(history):
# Placeholder for use with an LLM summarizer or custom rules
return history[-5:] # Only the last 5 messages
ধাপ 4: এজেন্ট সমন্বয়ের জন্য প্রসঙ্গ বিচ্ছিন্ন করুন
তথ্য বিভক্ত করুন যাতে প্রতিটি এজেন্ট বা উপাদান কেবল যা করা উচিত তা পরিচালনা করে।
পাইথন
user_profile_ctx = {"user_goals": "..."}
task_specific_ctx = {"current_task": "..."}
external_data_ctx = {"live_data": "..."}
full_context = {**user_profile_ctx, **task_specific_ctx, **external_data_ctx}
ধাপ 5: আউটপুট স্ট্রাকচারিং এবং API প্রস্তুতি
আউটপুট প্রসঙ্গটি ধারাবাহিকভাবে ফর্ম্যাট করুন যাতে এটি's ডাউনস্ট্রিম LLM কল বা API এন্ডপয়েন্টের জন্য পূর্বাভাসযোগ্য।
পাইথন
schema = {
"user": {"age": 35, "goal": "muscle gain"},
"plan": "high protein, 3x/week weight training"
}
ধাপ 6: মনিটর, পুনরাবৃত্তি এবং সুরক্ষিত করুন
ব্যর্থতা ট্র্যাক করুন, প্রসঙ্গ মান নিরীক্ষণ করুন এবং প্রসঙ্গ অন্তর্ভুক্তি, স্মৃতি এবং পুনরুদ্ধারের জন্য যুক্তি উন্নত করুন। তাৎক্ষণিক ইনজেকশন এবং ডেটা ফাঁস এড়াতে সর্বদা ইনপুটগুলি স্যানিটাইজ করুন।
কেন কনটেক্সট ইঞ্জিনিয়ারিং দ্রুত ইঞ্জিনিয়ারিংয়ের চেয়ে বেশি অর্থ প্রদান করে
কোম্পানিগুলোর এমন প্রকৌশলীদের প্রয়োজন যারা AI-এর সঠিক প্রেক্ষাপট প্রদানকারী সিস্টেম তৈরি করতে পারবেন, তথ্য সঠিক এবং হালনাগাদ রাখতে পারবেন এবং নিরাপত্তা নির্দেশিকা যোগ করে ব্যবহারকারীদের সুরক্ষা দিতে পারবেন।
বাজারের বাস্তবতা: কনটেক্সট ইঞ্জিনিয়ারিংয়ের জন্য ক্রস-ফাংশনাল দক্ষতার প্রয়োজন হয় যার মধ্যে ব্যবসায়িক ব্যবহারের ক্ষেত্রে বোঝা, আউটপুট সংজ্ঞায়িত করা এবং তথ্য গঠন করা অন্তর্ভুক্ত থাকে যাতে LLM জটিল কাজগুলি সম্পন্ন করতে পারে।
শেষের সারি: যে কেউ প্রম্পট লিখতে পারে। প্রেক্ষাপট-সচেতন এজেন্ট তৈরি করা যা প্রেক্ষাপট মনে রাখে, মানিয়ে নেয় এবং স্কেলে প্রেক্ষাপট নির্বাচন করে? এভাবেই ডেভেলপাররা তাদের দক্ষতাকে ভবিষ্যতের জন্য প্রমাণ করে এবং উন্নত LLM অ্যাপ্লিকেশনের মাধ্যমে প্রকৃত মূল্য প্রদান করে।

