Llama

Elle permet de faire fonctionner différents modèles de langage que vous pouvez télécharger selon vos besoins. Vous pouvez ainsi disposer d’un assistant IA local pour poser des questions, rédiger des textes, analyser des documents ou vous aider dans des tâches de programmation.

Vous pouvez y sélectionner un modèle installé et dialoguer avec lui de manière similaire à un assistant conversationnel en ligne. L’exécution locale permet de continuer à utiliser les modèles sans connexion Internet une fois les fichiers nécessaires téléchargés. Les réponses obtenues et les capacités disponibles dépendent toutefois du modèle choisi.

Llama facilite également l’installation et la configuration des modèles. Il vous propose des modèles adaptés à votre ordinateur et ajuste automatiquement plusieurs paramètres de fonctionnement, notamment la quantification et la taille du contexte. Les modèles téléchargés sont conservés pour être réutilisés, sans devoir récupérer leurs fichiers à chaque nouvelle conversation.

Au-delà du dialogue avec l’assistant, Llama peut fournir une API locale compatible avec celle d’OpenAI. Les applications qui utilisent cette interface peuvent ainsi communiquer avec un modèle exécuté sur votre machine en adaptant leur adresse de connexion.

L’application peut aussi servir de moteur commun à plusieurs logiciels. Les éditeurs de code, agents de programmation, scripts et autres applications compatibles peuvent envoyer leurs requêtes au service local plutôt que de passer par une API distante.

Llama est conçu pour rester discret lorsqu’il n’est pas utilisé. Les modèles sont chargés à la demande puis déchargés après une période d’inactivité, afin de libérer les ressources mobilisées.