conversion en LLM

README.md

@@ -111,3 +111,36 @@ Il faut ensuite copier ce prompt dans le fichier ModelFile.
 Executer le script ```python mergeLora.py```
 
 ### Conversion en GGUF
+En étant à la racine du projet (et toujorus dans le venv), cloner le projet llama.cpp
+```bash
+git clone https://github.com/ggerganov/llama.cpp
+cd llama.cpp
+pip install -r requirements.txt
+```
+
+Et lancer la commande (/!\ ca prend eviron 10 minutes):
+```bash
+python convert_hf_to_gguf.py ../Finetunning/qwen2.5-7b-uk-fr-merged --outfile qwen2.5-7b-uk-fr.gguf --outtype q8_0
+```
+
+Vérification :
+```bash
+./main -m qwen2.5-7b-uk-fr.gguf -p "Translate into French: Привіт світ"
+```
+Pour que ce nouveau modèle soit exploitable par ollama, il faut TODO
+
+## Utilisation du modèle fine-tunné pour la traduction
+Créer un Modelfile :
+```
+FROM ./qwen2.5-7b-uk-fr.gguf
+
+PARAMETER temperature 0.1
+PARAMETER top_p 0.95
+PARAMETER num_ctx 4096
+
+SYSTEM """
+You are a professional Ukrainian to French translator.
+Produce faithful, literal translations.
+"""
+
+```