Multimodal Image Agent: Product Identification with Gemini Vision

from app.agents.base_agent import BaseAgent
from app.schemas.agent import AgentResult
from typing import Optional
import os


class MultimodalAgent(BaseAgent):
    """
    Agente Multimodal de Imagen.
    Analiza imágenes de productos usando la capacidad de visión de Google Gemini,
    identifica el producto y lo relaciona con el catálogo de Patito S.A.
    """

    @property
    def name(self) -> str:
        return "agente_multimodal"

    @property
    def description(self) -> str:
        return (
            "Analiza imágenes de productos usando visión de Gemini, "
            "identifica el producto y consulta precio y disponibilidad en el catálogo."
        )

    @property
    def collection_name(self) -> str:
        return "col_catalogo"  # Cruza con el catálogo para obtener precios

    @property
    def system_prompt_path(self) -> str:
        return os.path.join(
            os.path.dirname(__file__), "..", "prompts", "multimodal_prompt.md"
        )

    def process_query(
        self, question: str, image_data: Optional[str] = None
    ) -> AgentResult:
        """
        Flujo del agente multimodal:
        1. Recibe la imagen (base64) y la pregunta
        2. Usa Gemini Vision para analizar la imagen
        3. Busca en el catálogo (RAG) para complementar
        4. Retorna respuesta con producto, precio y disponibilidad
        """
        ...
        # Agregar la imagen como contenido multimodal
        if image_data.startswith("data:"):
            # Ya tiene el prefijo data:image/...;base64,
            image_url = image_data
        else:
            # Solo es base64 crudo, agregar prefijo
            image_url = f"data:image/jpeg;base64,{image_data}"

        message_content.append(
            {"type": "image_url", "image_url": {"url": image_url}}
        )
        message_content.append(
            {
                "type": "text",
                "text": "Describe detalladamente el producto que ves en la imagen e intenta identificar su nombre según los productos conocidos de Patito S.A."
            }
        )

{
  "question": "¿Qué producto es este y cuánto cuesta?",
  "conversation_id": null,
  "image": "data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAA..."
}

docs/images/producto.webp
docs/images/artículo2.jpg