Przeglądaj źródła

méthode à suivre

main
Alex 1 tydzień temu
rodzic
commit
a4296d012e
3 zmienionych plików z 16 dodań i 8 usunięć
  1. 1
    0
      Finetunning/.gitignore
  2. 4
    4
      Finetunning/mergeLora.py
  3. 11
    4
      README.md

+ 1
- 0
Finetunning/.gitignore Wyświetl plik

# Les modèles générés
qwen2.5*/ qwen2.5*/

+ 4
- 4
Finetunning/mergeLora.py Wyświetl plik

# ---------------------------- # ----------------------------
# Load base model # Load base model
# ---------------------------- # ----------------------------
print("[1/4] Loading base model...")
print(f"{80 * '_'}\n[1/4] Loading base model...")
base_model = AutoModelForCausalLM.from_pretrained( base_model = AutoModelForCausalLM.from_pretrained(
BASE_MODEL, BASE_MODEL,
torch_dtype=DTYPE, torch_dtype=DTYPE,
# ---------------------------- # ----------------------------
# Load tokenizer # Load tokenizer
# ---------------------------- # ----------------------------
print("[2/4] Loading tokenizer...")
print(f"{80 * '_'}\n[2/4] Loading tokenizer...")
tokenizer = AutoTokenizer.from_pretrained( tokenizer = AutoTokenizer.from_pretrained(
BASE_MODEL, BASE_MODEL,
trust_remote_code=True trust_remote_code=True
# ---------------------------- # ----------------------------
# Load LoRA adapter # Load LoRA adapter
# ---------------------------- # ----------------------------
print("[3/4] Loading LoRA adapter...")
print(f"{80 * '_'}\n[3/4] Loading LoRA adapter...")
model = PeftModel.from_pretrained( model = PeftModel.from_pretrained(
base_model, base_model,
LORA_DIR, LORA_DIR,
# ---------------------------- # ----------------------------
# Merge LoRA into base model # Merge LoRA into base model
# ---------------------------- # ----------------------------
print("[4/4] Merging LoRA into base model...")
print(f"{80 * '_'}\n[4/4] Merging LoRA into base model...")
model = model.merge_and_unload() model = model.merge_and_unload()
print("LoRA successfully merged.") print("LoRA successfully merged.")



+ 11
- 4
README.md Wyświetl plik

4️⃣ Merge LoRA + modèle de base (mergeLora.py) 4️⃣ Merge LoRA + modèle de base (mergeLora.py)
5️⃣ Conversion en GGUF
5️⃣ Conversion en GGUF ()
6️⃣ Ollama (inférence finale) 6️⃣ Ollama (inférence finale)


``` ```
### validation
e script tests plusieurs prompt et renvoie celui avec le meilleur score BLEU.
### Validation
Executer le script ```python validation.py```


Il faut ensuite copier ce prompt dans le fichier modelFile.
Le script tests plusieurs prompts et renvoie celui avec le meilleur score BLEU.

Il faut ensuite copier ce prompt dans le fichier ModelFile.

### Merge
Executer le script ```python mergeLora.py```

### Conversion en GGUF

Ładowanie…
Anuluj
Zapisz