Update app.py

app.py

@@ -7,6 +7,7 @@ import uvicorn
 from dotenv import load_dotenv
 from difflib import SequenceMatcher
 import re
+import spaces  # Importar la librería spaces
 
 # Cargar variables de entorno
 load_dotenv()
@@ -36,12 +37,17 @@ model_configs = [
 class ModelManager:
     def __init__(self):
         self.models = []
+        self.loaded = False  # Para verificar si ya están cargados
     
     def load_model(self, model_config):
         print(f"Cargando modelo: {model_config['name']}...")
         return {"model": Llama.from_pretrained(repo_id=model_config['repo_id'], filename=model_config['filename']), "name": model_config['name']}
     
     def load_all_models(self):
+        if self.loaded:  # Si los modelos ya están cargados, no los vuelve a cargar
+            print("Modelos ya están cargados. No es necesario volver a cargarlos.")
+            return self.models
+        
         print("Iniciando carga de modelos...")
         with ThreadPoolExecutor(max_workers=len(model_configs)) as executor:
             futures = [executor.submit(self.load_model, config) for config in model_configs]
@@ -53,11 +59,16 @@ class ModelManager:
                     print(f"Modelo cargado exitosamente: {model['name']}")
                 except Exception as e:
                     print(f"Error al cargar el modelo: {e}")
+        
+        self.models = models
+        self.loaded = True  # Marcar como cargados
         print("Todos los modelos han sido cargados.")
-        return models
+        return self.models
 
-# Instanciar ModelManager y cargar modelos
+# Instanciar ModelManager
 model_manager = ModelManager()
+
+# Cargar modelos al iniciar la aplicación, solo la primera vez
 global_data['models'] = model_manager.load_all_models()
 
 # Modelo global para la solicitud de chat
@@ -68,6 +79,7 @@ class ChatRequest(BaseModel):
     temperature: float = 0.7
 
 # Función para generar respuestas de chat
+@spaces.GPU(duration=0)  # Anotación para usar GPU con duración 0
 def generate_chat_response(request, model_data):
     try:
         user_input = normalize_input(request.message)