محلّيAI الأفكار الرئيسية
ما هو LocalAI؟
LocalAI هو برنامج مجاني، مفتوح المصدر، ويستضيف نفسه بنفسه AI بيئة تشغيل تعمل كبديل مباشر لـ OpenAI واجهة برمجة تطبيقات (API) تعمل بالكامل على جهازك الخاص دون إرسال أي بايت من البيانات إلى خوادم خارجية. تم تطويرها بواسطة إيتوري دي جياكينتو وتُدار بموجب ترخيص MIT، وهي تدعم نماذج لغوية كبيرة، وتوليد الصور، ومعالجة الصوت، وتوليد الفيديو، والتضمينات، والتشغيل الذاتي. AI وكلاء من خلال واجهة برمجة تطبيقات REST موحدة.
تستخدم الفرق المحليةAI لبناء داخلي AI المنتجات، أتمتة سير العملويمكن تشغيل مسارات RAG عبر الخوادم المحلية أو أجهزة المطورين المحلية، كل ذلك دون الحاجة إلى وحدة معالجة رسومية أو تكاليف واجهة برمجة تطبيقات متكررة. تتضمن هذه الحزمة LocalAGI لتنسيق الوكلاء وLocalRecall للذاكرة الدلالية كمكتبات مدمجة، مما يجعلها حلاً محليًا عالي الجودة للإنتاج. AI مجموعة أدوات للمؤسسات والمطورين والشركات التي تهتم بالخصوصية.
محلّيAI يُشغّل نظام LLM استدلال النصوص باستخدام مجموعة واسعة من الواجهات الخلفية، بما في ذلك llama.cpp وvLLM والمحولات. هذا يعني أنك لست مُقيدًا ببنية نموذج واحدة. يستطيع المهندسون تبديل الواجهات الخلفية لكل نموذج دون تغيير استدعاءات واجهة برمجة التطبيقات (API)، مما يجعله مثاليًا للفرق التي تختبر نماذج LLM مفتوحة المصدر متعددة جنبًا إلى جنب في بيئات الإنتاج أو التطوير.
محلّيAI بين انتشار مستقر وغيرها من بنى نماذج الانتشار مباشرةً في واجهة برمجة التطبيقات الخاصة بها، مما يوفر نقطة نهاية لتوليد الصور متوافقة مع OpenAI. يمكن للمصممين والمطورين توليد الصور محليًا دون أي رسوم على كل صورة، ودون الاعتماد على واجهة برمجة تطبيقات خارجية، ودون أي مخاطر تتعلق بحقوق النشر من مزودي الخدمات السحابية الخارجيين.
تتيح واجهة برمجة التطبيقات في الوقت الفعلي إجراء محادثات متعددة الوسائط تجمع بين الصوت والنص عبر اتصالات WebSocket. وهذه هي نفس البنية التي تستخدمها OpenAI's واجهة برمجة تطبيقات فورية، ولكنها تعمل بالكامل على بنيتك التحتية الخاصة. تحصل الفرق التي تُطوّر مساعدين صوتيين، أو روبوتات دعم العملاء، أو أدوات النسخ الفوري على أوقات استجابة أقل من ثانية مع الحفاظ على خصوصية البيانات بشكل كامل.
محلّيAI يدعم الانفتاحAI تحديد واجهة برمجة التطبيقات (API) لاستدعاء الدوال والأدوات باستخدام نماذج مستضافة محليًا. يتيح ذلك سير عمل وكلاء حيث يمكن للنماذج استدعاء الأدوات، أو الاستعلام عن قواعد البيانات، أو تشغيل خدمات خارجية دون أي تبعية سحابية. هذا مناسب للمطورين الذين يستخدمون بالفعل استدعاء الدوال في Open.AI عمليات التكامل والهجرة عبارة عن استبدال بسيط لنقطة النهاية.
تتيح ميزة الوكلاء المدمجة، المدعومة بتقنية LocalAGI، التشغيل الذاتي AI يمكن تشغيل الوكلاء مباشرة من الموقع المحليAI على سبيل المثال، يمكن تهيئة كل وكيل بأدوات محددة، وقاعدة معرفية شخصية، ومهارات قابلة لإعادة الاستخدام عبر واجهة المستخدم على الويب. وهذا يلغي الحاجة إلى طبقة تنسيق منفصلة مثل لانجشين أو AutoGen لمعظم حالات استخدام الوكيل القياسية.
محلّيAI يدعم تسريع معالجة الرسومات عبر أجهزة NVIDIA وAMD وIntel وVulkan، مما يتيح للفرق تعزيز إنتاجية الاستدلال بشكل ملحوظ عند توفر الأجهزة. وتكمن الميزة الرئيسية في المرونة، حيث أن استخدام وحدة معالجة الرسومات اختياري وليس إلزاميًا. يمكن للفرق البدء باستخدام وحدة المعالجة المركزية والانتقال إلى عمليات النشر المُسرّعة بواسطة وحدة معالجة الرسومات دون تغيير ملفات التكوين أو تكامل واجهة برمجة التطبيقات.
محلّيAI الأسعار
| اسم الباقة | التكلفة | الميزات الرئيسية |
|---|---|---|
| مجتمع (مفتوح المصدر) | $0 | نشر كامل ذاتي الاستضافة، جميع الميزات الأساسية والمتقدمة، رخصة MIT، دعم مجتمعي عبر Discord وGitHub |
| محلّيAI برو | الاتصال للحصول على السعر | دعم ذو أولوية، اتفاقيات مستوى الخدمة للمؤسسات، تحديثات مُدارة، مساعدة في نشر الإنتاج |
محلّيAI مقابل الحوسبة السحابية AI واجهات برمجة التطبيقات: حساب التكلفة الحقيقية
تتضاعف تكاليف واجهات برمجة التطبيقات السحابية مع زيادة حجم العمل. يدفع فريقٌ يُشغّل 10 ملايين رمز مميز يوميًا على GPT-4 آلاف الدولارات شهريًا. محليًاAI يزيل هذا الأمر تمامًا من خلال تقديم الاستدلال من جهازك الخاص.
يتمثل المقابل في تكاليف البنية التحتية، ولكن مع استخدام Docker ومعرض نماذج يُسهّل عملية الإعداد، فإن الجهد التشغيلي أقل بكثير مما كان عليه قبل 18 شهرًا. بالنسبة للتطبيقات الداخلية ذات الحجم الكبير، فإن حساب عائد الاستثمار يُرجّح دائمًا الاستضافة الذاتية.
المزايا والعيوب
- لا تغادر أي بيانات جهازك.
- لا يتطلب تشغيل البرنامج وحدة معالجة رسومية (GPU).
- ساعات العملAI متوافق مع واجهة برمجة التطبيقات (API) الجاهزة للاستخدام.
- يدعم النصوص والصور والصوت والفيديو.
- وكلاء مدمجون وطبقة ذاكرة.
- مجتمع نشط ومرخص من معهد ماساتشوستس للتكنولوجيا.
- يتطلب معرفة تقنية بالإعداد.
- لا يوجد خيار سحابي مُدار بشكل أصلي.
- يعتمد أداء النموذج على جهازك.
- يتطلب دعم المؤسسات ترتيباً منفصلاً.
محلّيAI لخطوط أنابيب البحث الدلالي و RAG
محلّيAI تتميز هذه الحزمة بدعمها الممتاز للتضمينات و LocalRecall، وهي طبقة مدمجة للذاكرة الدلالية وقاعدة بيانات المتجهات. لم يعد المطورون الذين يبنون مسارات RAG بحاجة إلى خدمة تخزين متجهات منفصلة.
يدعم هذا النظام إعادة ترتيب النتائج لتحسين دقة الاسترجاع باستخدام نماذج التشفير المتقاطع، كما يضمن إخراج القواعد النحوية المقيدة استجابات JSON منظمة من نماذج التعلم الآلي. بالنسبة للفرق التي تُطوّر أدوات ذكاء المستندات أو قواعد المعرفة، تُعدّ هذه الحزمة البرمجية مفتوحة المصدر الأكثر تكاملاً واكتمالاً المتاحة حاليًا.
أفضل محليAI بدائل
| مفتوح المصدر، ذاتي الاستضافة AI وقت التشغيل | النشر المحلي والخصوصية | دعم تنسيق النموذج |
|---|---|---|
| أولاما | ✅ | أضيق نطاقًا، ويركز على الحاصلين على درجة الماجستير في القانون فقط |
| ستوديو إل إم | ✅ | مناسب للاستخدام الاستهلاكي، مع نشر محدود للإنتاج |
| vLLM | ✅ | إنتاجية ممتازة، تقتصر على نصوص ماجستير القانون فقط |
| ملف اللاما | ✅ | نموذج واحد لكل ملف، لا يوجد دعم متعدد الوسائط |
