Sử dụng Ollama với bất kỳ Mô hình GGUF nào trên Hugging Face Hub

Bạn cũng có thể chạy các GGUF riêng tư từ Hugging Face Hub.

Ollama là một ứng dụng dựa trên llama.cpp để tương tác trực tiếp với các LLM thông qua máy tính của bạn. Bạn có thể sử dụng bất kỳ bản lượng tử GGUF nào do cộng đồng tạo ra (bartowski, MaziyarPanahi và nhiều người khác) trên Hugging Face trực tiếp với Ollama, mà không cần tạo một Modelfile mới. Tại thời điểm viết bài, có 45K checkpoint GGUF công khai trên Hub, bạn có thể chạy bất kỳ checkpoint nào trong số đó bằng một lệnh ollama run duy nhất. Chúng tôi cũng cung cấp các tùy chỉnh như chọn loại lượng tử, system prompt và nhiều hơn nữa để cải thiện trải nghiệm tổng thể của bạn.

Việc bắt đầu đơn giản như sau:

1. Bật ollama trong cài đặt Ứng dụng cục bộ của bạn.
2. Trên trang mô hình, chọn ollama từ menu thả xuống Use this model. Ví dụ: bartowski/Llama-3.2-1B-Instruct-GGUF.

Đoạn mã sẽ có định dạng:

ollama run hf.co/{username}/{repository}

Lưu ý rằng bạn có thể sử dụng cả hf.co và huggingface.co làm tên miền.

Dưới đây là một số mô hình bạn có thể thử:

ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF
ollama run hf.co/mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF
ollama run hf.co/arcee-ai/SuperNova-Medius-GGUF
ollama run hf.co/bartowski/Humanish-LLama3-8B-Instruct-GGUF

Tùy chỉnh Lượng tử hóa

Mặc định, phương thức lượng tử hóa Q4_K_M sẽ được sử dụng nếu có trong kho lưu trữ mô hình. Nếu không, chúng tôi sẽ mặc định chọn một kiểu lượng tử hóa hợp lý có sẵn trong kho.

Để chọn một lược đồ khác, chỉ cần:

1. Từ tab Files and versions trên trang mô hình, mở trình xem GGUF cho một tệp GGUF cụ thể.
2. Chọn ollama từ menu thả xuống Use this model.

Đoạn mã sẽ có định dạng (thêm thẻ lượng tử hóa):

ollama run hf.co/{username}/{repository}:{quantization}

Ví dụ:

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

# the quantization name is case-insensitive, this will also work
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:iq3_m

# you can also directly use the full filename as a tag
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Llama-3.2-3B-Instruct-IQ3_M.gguf

Mẫu Chat và Tham số Tùy chỉnh

Mặc định, một template sẽ được chọn tự động từ danh sách các template thường được sử dụng. Việc lựa chọn sẽ dựa trên metadata tokenizer.chat_template tích hợp được lưu bên trong tệp GGUF.

Nếu tệp GGUF của bạn không có mẫu tích hợp sẵn hoặc nếu bạn muốn tùy chỉnh mẫu chat của mình, bạn có thể tạo một tệp mới có tên là template trong kho lưu trữ. Mẫu này phải là Go template, không phải Jinja template. Dưới đây là một ví dụ:

{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
{{ end }}<|assistant|>
{{ .Response }}<|end|>

Để biết thêm về định dạng mẫu Go, vui lòng tham khảo tài liệu này

Bạn có thể tùy chọn cấu hình một prompt hệ thống bằng cách đặt nó vào một tệp mới có tên system trong kho lưu trữ.

Để thay đổi các tham số lấy mẫu, hãy tạo một tệp có tên params trong kho lưu trữ. Tệp phải ở định dạng JSON. Để xem danh sách tất cả các tham số khả dụng, vui lòng tham khảo tài liệu này.

Chạy các GGUF riêng tư từ Hugging Face Hub

Bạn có thể chạy các GGUF riêng tư từ tài khoản cá nhân hoặc từ tài khoản tổ chức liên kết trong hai bước đơn giản:

1. Sao chép khóa SSH Ollama của bạn, bạn có thể thực hiện bằng cách: cat ~/.ollama/id_ed25519.pub | pbcopy
2. Thêm khóa tương ứng vào tài khoản Hugging Face của bạn bằng cách truy cập cài đặt tài khoản và nhấp vào Add new SSH key.
3. Xong rồi! Bây giờ bạn có thể chạy các GGUF riêng tư từ Hugging Face Hub: ollama run hf.co/{username}/{repository}.

Tham khảo

• https://github.com/ollama/ollama/blob/main/docs/README.md
• https://huggingface.co/docs/hub/en/gguf