diff --git a/Finetunning/.gitignore b/Finetunning/.gitignore index 8f405de..fc1dadf 100644 --- a/Finetunning/.gitignore +++ b/Finetunning/.gitignore @@ -1 +1,2 @@ +# Les modèles générés qwen2.5*/ \ No newline at end of file diff --git a/Finetunning/mergeLora.py b/Finetunning/mergeLora.py index 246132e..cb46668 100644 --- a/Finetunning/mergeLora.py +++ b/Finetunning/mergeLora.py @@ -17,7 +17,7 @@ print("=== LoRA merge script started ===") # ---------------------------- # Load base model # ---------------------------- -print("[1/4] Loading base model...") +print(f"{80 * '_'}\n[1/4] Loading base model...") base_model = AutoModelForCausalLM.from_pretrained( BASE_MODEL, torch_dtype=DTYPE, @@ -29,7 +29,7 @@ print("Base model loaded.") # ---------------------------- # Load tokenizer # ---------------------------- -print("[2/4] Loading tokenizer...") +print(f"{80 * '_'}\n[2/4] Loading tokenizer...") tokenizer = AutoTokenizer.from_pretrained( BASE_MODEL, trust_remote_code=True @@ -40,7 +40,7 @@ print("Tokenizer loaded.") # ---------------------------- # Load LoRA adapter # ---------------------------- -print("[3/4] Loading LoRA adapter...") +print(f"{80 * '_'}\n[3/4] Loading LoRA adapter...") model = PeftModel.from_pretrained( base_model, LORA_DIR, @@ -50,7 +50,7 @@ print("LoRA adapter loaded.") # ---------------------------- # Merge LoRA into base model # ---------------------------- -print("[4/4] Merging LoRA into base model...") +print(f"{80 * '_'}\n[4/4] Merging LoRA into base model...") model = model.merge_and_unload() print("LoRA successfully merged.") diff --git a/README.md b/README.md index 0032e4d..cffcf1e 100644 --- a/README.md +++ b/README.md @@ -95,12 +95,19 @@ Le principe est le suivant : ↓ 4️⃣ Merge LoRA + modèle de base (mergeLora.py) ↓ -5️⃣ Conversion en GGUF +5️⃣ Conversion en GGUF () ↓ 6️⃣ Ollama (inférence finale) ``` -### validation -e script tests plusieurs prompt et renvoie celui avec le meilleur score BLEU. +### Validation +Executer le script ```python validation.py``` -Il faut ensuite copier ce prompt dans le fichier modelFile. \ No newline at end of file +Le script tests plusieurs prompts et renvoie celui avec le meilleur score BLEU. + +Il faut ensuite copier ce prompt dans le fichier ModelFile. + +### Merge +Executer le script ```python mergeLora.py``` + +### Conversion en GGUF