Un article tagués avec « ollama »

En tant que développeur, avoir accès à une plateforme permettant de déployer et d'utiliser des modèles d'intelligence artificielle (IA) rapidement et sans complications est essentiel. Ollama répond à ce besoin en offrant une expérience utilisateur similaire à Docker, facilitant la mise en œuvre de modèles IA avancés.

Voici un guide étape par étape sur comment j'ai déployé mon modèle IA sur Ollama et comment vous pouvez facilement accéder et utiliser ce modèle pour vos propres projets.

Prérequis​

• Compréhension de base des conteneurs (similaire à Docker/Podman).
• Installation d'Ollama sur votre système.

Étape 1 : Préparation du Modèle​

Le modèle que j'ai choisi de déployer sur Ollama vise à assister dans la validation et l'amélioration du code pour les débutants. Basé sur lu/fr.brain.experimental-7b, il utilise une configuration spécifique pour optimiser la génération de code et les conseils.

Voici la configuration du modèle Modelfile :

FROM lu/fr.brain.experimental-7b

PARAMETER temperature 0.7
PARAMETER top_k 40
PARAMETER repeat_penalty 1.18
PARAMETER repeat_last_n 256
PARAMETER num_predict 300

SYSTEM """
Votre mission est de valider et d'améliorer le code des novices en programmation, en fournissant des explications claires et concises en français.
"""

Étape 2 : Déployer sur Ollama​

Après avoir préparé votre fichier de configuration, suivez ces étapes pour déployer le modèle :

1. Lancez Ollama sur votre terminal.

ollama create lu/fr.brain.code-validator -f Modelfile

2. Utilisez la commande de déploiement Ollama, similaire à docker run, en spécifiant le chemin vers votre fichier de configuration.

ollama run lu/fr.brain.code-validator

3. Ollama traitera la configuration et initialisera le modèle sur votre machine.

>>> Send a message (/? for help)

Étape 3 : Utilisation du Modèle​

Avec le modèle désormais accessible via Ollama, vous pouvez commencer à l'interroger pour des tâches spécifiques, comme l'analyse de code ou la fourniture de conseils pour les débutants. La communication avec le modèle peut se faire à travers des requêtes HTTP simples si vous exposez une API, ou directement via la ligne de commande si vous utilisez le modèle de manière interactive.

>>> ('hello world')print
Ce code est un exemple de script Python qui affiche "Hello World" sur la console. Cependant, il existe 
quelques erreurs et incohérences dans cette version du code. Voici une meilleure façon d'écrire le même 
programme :
print("Hello World")

Dans ce deuxième exemple, nous avons utilisé la structure correcte de l'instruction print() et on a enlèvé les
parentheses qui entourent "hello world". De plus, il est préférable d'utiliser des chaînes de caractères 
(entre guillemets doubles) pour décrire du texte. Voilà comment écrire un programme simple et efficace en 
Python !
Notez que les parenthèses sont utilisées dans l'appel à la fonction print() mais pas autour des arguments à 
imprimer. Les guillemets simples ne sont pas recommandés pour décrire du texte, car ils peuvent causer des 
problèmes de compatibilité avec certains types de données ou certaines versions de Python. Voici donc la 
version définitive :
print("Hello World")
N'hésitez pas à me poser d'autres questions si vous avez besoin d'aide pour amé

>>> Send a message (/? for help)

Via l'API​

curl -X POST http://localhost:11434/api/generate -d '{
  "model": "lu/fr.brain.code-validator",
  "prompt":"(\"ehlo world\")print"
 }'
{"model":"lu/fr.brain.code-validator","created_at":"2024-04-04T19:24:30.77130266Z","response":"Sal","done":false}
{"model":"lu/fr.brain.code-validator","created_at":"2024-04-04T19:24:30.932296897Z","response":"ut","done":false}
{"model":"lu/fr.brain.code-validator","created_at":"2024-04-04T19:24:31.099025076Z","response":" !","done":false}
{"model":"lu/fr.brain.code-validator","created_at":"2024-04-04T19:24:31.257565837Z","response":" Ce","done":false}
{"model":"lu/fr.brain.code-validator","created_at":"2024-04-04T19:24:31.427576654Z","response":" n","done":false}
{"model":"lu/fr.brain.code-validator","created_at":"2024-04-04T19:24:31.585020935Z","response":"'","done":false}
...........

Avantages de l'Utilisation d'Ollama​

• Simplicité et Rapidité : Déployez et utilisez des modèles IA avec une facilité comparable à celle de Docker.
• Personnalisation : Ajustez les paramètres du modèle pour répondre spécifiquement à vos besoins.
• Localité : Exécutez des modèles directement sur votre machine, garantissant une réponse rapide et une confidentialité totale.

Conclusion​

Le déploiement de mon modèle sur Ollama vise à fournir aux développeurs un outil puissant pour l'amélioration du code. Grâce à la simplicité et à la flexibilité d'Ollama, intégrer l'intelligence artificielle dans vos projets est devenu aussi simple que de lancer un conteneur Docker. Profitez de cette technologie pour explorer de nouvelles façons d'améliorer votre workflow de développement.