Sử dụng GGUF với GPT4All

GPT4All là một ứng dụng LLM mã nguồn mở do Nomic phát triển. Phiên bản 2.7.2 giới thiệu một tính năng thử nghiệm hoàn toàn mới có tên là Model Discovery.

Model Discovery cung cấp cách tích hợp sẵn để tìm kiếm và tải xuống các mô hình GGUF từ Hub. Để bắt đầu, mở GPT4All và nhấp vào Download Models. Từ đây, bạn có thể sử dụng thanh tìm kiếm để tìm một mô hình.

Sau khi bạn đã chọn và tải xuống một mô hình, bạn có thể chuyển đến Settings và cung cấp một mẫu prompt phù hợp ở định dạng GPT4All (các placeholder %1 và %2).

Sau đó, từ trang chính, bạn có thể chọn mô hình từ danh sách các mô hình đã cài đặt và bắt đầu một cuộc trò chuyện.

Update on GitHub