GGUF

Hugging Face Hub hỗ trợ tất cả các định dạng tệp, nhưng có các tính năng tích hợp sẵn cho định dạng GGUF, một định dạng nhị phân được tối ưu hóa để tải và lưu trữ mô hình nhanh chóng, giúp hiệu quả cao cho mục đích suy luận. GGUF được thiết kế để sử dụng với GGML và các trình thực thi khác. GGUF do @ggerganov phát triển, người cũng là nhà phát triển của llama.cpp, một framework suy luận LLM bằng C/C++ phổ biến. Các mô hình ban đầu được phát triển trong các framework như PyTorch có thể được chuyển đổi sang định dạng GGUF để sử dụng với các engine đó.

Như chúng ta có thể thấy trong biểu đồ này, khác với các định dạng tệp chỉ chứa tensor như safetensors – vốn cũng là định dạng mô hình được khuyến nghị cho Hub – GGUF mã hóa cả các tensor lẫn một bộ metadata chuẩn hóa.

Tìm tệp GGUF

Bạn có thể xem tất cả các model có tệp GGUF bằng cách lọc theo thẻ GGUF: hf.co/models?library=gguf. Hơn nữa, bạn có thể sử dụng công cụ ggml-org/gguf-my-repo để chuyển đổi/lượng tử hóa trọng số model của bạn thành trọng số GGUF.

Ví dụ, bạn có thể xem TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF để thấy các tệp GGUF hoạt động như thế nào.

Trình xem thông tin metadata & tensors

Hub có trình xem dành cho các tệp GGUF, cho phép người dùng kiểm tra thông tin metadata & tensors (tên, shape, độ chính xác). Trình xem này có sẵn trên trang mô hình (ví dụ) & trang tệp (ví dụ).

Sử dụng với các công cụ mã nguồn mở

• llama.cpp
• LM Studio
• GPT4All
• Ollama

Phân tích metadata với @huggingface/gguf

Chúng tôi cũng đã tạo ra một trình phân tích GGUF bằng javascript hoạt động trên các tệp được lưu trữ từ xa (ví dụ: Hugging Face Hub).

npm install @huggingface/gguf

import { gguf } from "@huggingface/gguf";
// remote GGUF file from https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF
const URL_LLAMA = "https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF/resolve/191239b/llama-2-7b-chat.Q2_K.gguf";
const { metadata, tensorInfos } = await gguf(URL_LLAMA);

Tìm thêm thông tin tại đây.

Các loại lượng tử hóa

nếu có bất kỳ sai sót nào trong bảng trên, vui lòng mở một PR trên tệp này.