Uso de GGUF con GPT4All

GPT4All es una aplicación de LLM de código abierto desarrollada por Nomic. La versión 2.7.2 introduce una nueva función experimental llamada Model Discovery.

Model Discovery ofrece una forma integrada de buscar y descargar modelos GGUF desde el Hub. Para comenzar, abre GPT4All y haz clic en Download Models. Desde aquí, puedes usar la barra de búsqueda para encontrar un modelo.

Después de seleccionar y descargar un modelo, puede ir a Settings y proporcionar una plantilla de prompt adecuada en el formato de GPT4All (marcadores de posición %1 y %2).

Luego, desde la página principal, puede seleccionar el modelo de la lista de modelos instalados e iniciar una conversación.

Update on GitHub