Utiliser Ollama avec n’importe quel modèle GGUF sur Hugging Face Hub

Vous pouvez également exécuter des GGUF privés depuis le Hugging Face Hub.

Ollama est une application basée sur llama.cpp permettant d’interagir directement avec des LLM via votre ordinateur. Vous pouvez utiliser n’importe quels quants GGUF créés par la communauté (bartowski, MaziyarPanahi et beaucoup d’autres) sur Hugging Face directement avec Ollama, sans avoir à créer un nouveau Modelfile. Au moment de la rédaction, il existe 45 000 points de contrôle GGUF publics sur le Hub, et vous pouvez exécuter n’importe lequel d’entre eux avec une simple commande ollama run. Nous proposons également des personnalisations telles que le choix du type de quantification, du prompt système et plus encore, afin d’améliorer votre expérience globale.

Commencer est aussi simple que :

1. Activez ollama dans vos Paramètres des applications locales.
2. Sur une page de modèle, choisissez ollama dans le menu déroulant Use this model. Par exemple : bartowski/Llama-3.2-1B-Instruct-GGUF.

L'extrait serait au format :

ollama run hf.co/{username}/{repository}

Veuillez noter que vous pouvez utiliser à la fois hf.co et huggingface.co comme nom de domaine.

Voici quelques modèles que vous pouvez essayer :

ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF
ollama run hf.co/mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF
ollama run hf.co/arcee-ai/SuperNova-Medius-GGUF
ollama run hf.co/bartowski/Humanish-LLama3-8B-Instruct-GGUF

Quantification personnalisée

Par défaut, le schéma de quantification Q4_K_M est utilisé lorsqu’il est présent dans le dépôt du modèle. Sinon, nous choisissons par défaut un type de quantification raisonnable présent dans le dépôt.

Pour sélectionner un schéma différent, il suffit de :

1. Depong l’onglet Files and versions d’une page de modèle, ouvrez le visualiseur GGUF sur un fichier GGUF particulier.
2. Choisissez ollama dans le menu déroulant Use this model.

L'extrait serait au format suivant (balise de quantification ajoutée) :

ollama run hf.co/{username}/{repository}:{quantization}

Par exemple :

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

# the quantization name is case-insensitive, this will also work
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:iq3_m

# you can also directly use the full filename as a tag
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Llama-3.2-3B-Instruct-IQ3_M.gguf

Modèle de chat personnalisé et paramètres

Par défaut, un modèle de dialogue est sélectionné automatiquement à partir d'une liste de modèles couramment utilisés. La sélection est basée sur les métadonnées intégrées tokenizer.chat_template stockées dans le fichier GGUF.

Si votre fichier GGUF ne contient pas de modèle intégré ou si vous souhaitez personnaliser votre modèle de chat, vous pouvez créer un nouveau fichier nommé template dans le dépôt. Le modèle doit être un modèle Go, et non un modèle Jinja. Voici un exemple :

{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
{{ end }}<|assistant|>
{{ .Response }}<|end|>

Pour en savoir plus sur le format de modèle Go, veuillez consulter cette documentation

Vous pouvez éventuellement configurer un prompt système en le plaçant dans un nouveau fichier nommé system dans le dépôt.

Pour modifier les paramètres d'échantillonnage, créez un fichier nommé params dans le dépôt. Le fichier doit être au format JSON. Pour la liste de tous les paramètres disponibles, veuillez consulter cette documentation.

Exécuter des GGUF privés depuis le Hugging Face Hub

Vous pouvez exécuter des GGUF privés depuis votre compte personnel ou depuis un compte d’organisation associé en deux étapes simples :

1. Copiez votre clé SSH Ollama, vous pouvez le faire via : cat ~/.ollama/id_ed25519.pub | pbcopy
2. Ajoutez la clé correspondante à votre compte Hugging Face en accédant à vos paramètres de compte et en cliquant sur Add new SSH key.
3. C’est tout ! Vous pouvez maintenant exécuter des GGUF privés depuis le Hugging Face Hub : ollama run hf.co/{username}/{repository}.

Références

• https://github.com/ollama/ollama/blob/main/docs/README.md
• https://huggingface.co/docs/hub/en/gguf