IA locale

FournisseursAI Il exécute l'inférence de texte LLM à l'aide d'une large gamme de moteurs, notamment llama.cpp, vLLM et des transformateurs. Vous n'êtes donc pas limité à une seule architecture de modèle. Les ingénieurs peuvent changer de moteur pour chaque modèle sans modifier les appels d'API, ce qui est idéal pour les équipes testant plusieurs LLM open source simultanément en production ou en développement.

FournisseursAI intègre Diffusion stable et d'autres architectures de modèles de diffusion directement dans son API, exposant un point d'accès de génération d'images compatible avec OpenAI. Les concepteurs et les développeurs peuvent générer des images localement sans facturation par image, sans dépendance à une API externe et sans risque de violation de droits d'auteur lié à des fournisseurs de cloud tiers.

L'API Realtime permet des conversations multimodales combinant voix et texte via des connexions WebSocket. Il s'agit de la même architecture que celle utilisée par OpenAI.'s Une API en temps réel, exécutée entièrement sur votre propre infrastructure. Les équipes développant des assistants vocaux, des chatbots de support client ou des outils de transcription en temps réel bénéficient de temps de réponse inférieurs à la seconde, avec une confidentialité totale des données.

FournisseursAI soutient l'OpenAI Spécification de l'API d'appel de fonctions et d'outils utilisant des modèles hébergés localement. Ceci permet des flux de travail automatisés où les modèles peuvent invoquer des outils, interroger des bases de données ou déclencher des services externes sans aucune dépendance au cloud. Pour les développeurs utilisant déjà l'appel de fonctions dans OpenAI Pour les intégrations, la migration consiste simplement en un échange de points de terminaison.

La fonctionnalité Agents intégrée, basée sur LocalAGI, permet une autonomie AI agents fonctionnant directement depuis le localAI Par exemple, chaque agent peut être configuré avec des outils spécifiques, une base de connaissances personnelle et des compétences réutilisables via l'interface web. Cela élimine le besoin d'une couche d'orchestration séparée comme LangChaîne ou AutoGen pour la plupart des cas d'utilisation d'agents standard.

FournisseursAI Compatible avec l'accélération GPU sur les plateformes NVIDIA, AMD, Intel et Vulkan, cette solution permet aux équipes d'accroître considérablement le débit d'inférence lorsque le matériel est disponible. Son principal atout réside dans sa flexibilité : l'utilisation du GPU est optionnelle. Les équipes peuvent ainsi démarrer sur CPU et migrer vers des déploiements accélérés par GPU sans modifier leurs fichiers de configuration ni l'intégration de l'API.