Update app.py

app.py

@@ -10,23 +10,29 @@ from accelerate import init_empty_weights, load_checkpoint_and_dispatch
 dtype = torch.bfloat16
 device = "cuda" if torch.cuda.is_available() else "cpu"
 
-# Inicialización del modelo en la RAM
-with init_empty_weights():
-    pipe = DiffusionPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell", torch_dtype=dtype)
+# Inicializar el modelo solo una vez y cargarlo en RAM y GPU
+pipe = None
 
-# Cargar el modelo en la RAM y despachar los pesos a la GPU
-pipe = load_checkpoint_and_dispatch(
-    pipe, 
-    "black-forest-labs/FLUX.1-schnell", 
-    device_map="auto",  # Automatiza el uso de RAM y GPU
-    offload_folder=None,  # Evita que se almacenen los pesos temporalmente en el disco
-).to(device)
+def load_model():
+    global pipe
+    if pipe is None:
+        with init_empty_weights():
+            pipe = DiffusionPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell", torch_dtype=dtype)
+        # Cargar el modelo en la RAM y despachar los pesos a la GPU
+        pipe = load_checkpoint_and_dispatch(
+            pipe, 
+            "black-forest-labs/FLUX.1-schnell", 
+            device_map="auto",  # Automatiza el uso de RAM y GPU
+            offload_folder=None,  # Evita que se almacenen los pesos temporalmente en el disco
+        ).to(device)
 
 MAX_SEED = np.iinfo(np.int32).max
 MAX_IMAGE_SIZE = 2048
 
 @spaces.GPU()
 def infer(prompt, seed=42, randomize_seed=False, width=1024, height=1024, num_inference_steps=4, num_images=1, progress=gr.Progress(track_tqdm=True)):
+    load_model()  # Asegurarse de que el modelo esté cargado antes de la inferencia
+    
     if randomize_seed:
         seed = random.randint(0, MAX_SEED)
     generator = torch.Generator().manual_seed(seed)