Hace poco terminé la implementación completa de mi primer analizador inteligente de reuniones, un sistema multiagente diseñado para ayudar al usuario final a comprender y contextualizar una reunión sin necesidad de invertir horas revisando el video completo.
La idea principal es sencilla: muchas reuniones pueden durar horas y no todo su contenido tiene el mismo nivel de relevancia. Por eso, el sistema busca generar un resumen estructurado, acompañado de notas técnicas y verificables a lo largo de la duración del video, permitiendo identificar los momentos que realmente aportan valor.
Algunos de los aspectos más interesantes durante su construcción fueron:
- Aplicación de principios de Computer Vision.
- Implementación y uso de LLM locales.
- Optimización de prompts orientados al resumen y extracción de información.
- Diseño de una estrategia para determinar qué información visual realmente aporta contexto.
El proyecto estuvo pausado durante un tiempo. Al retomarlo, tuve la oportunidad de replantear algunas de sus partes utilizando técnicas más actuales.
Uno de los cambios que más me gustó fue pasar de un enfoque sencillo de seleccionar frames periódicamente a intentar determinar de manera más deliberada qué frames contienen información relevante para el análisis. Esto permitió que el sistema no dependiera únicamente de una selección uniforme de imágenes, sino que buscara identificar elementos visuales que realmente pudieran aportar contexto al resumen.
El resultado final fue un proyecto que disfruté bastante, especialmente porque representó mi primer acercamiento práctico a Computer Vision aplicado a un problema real.
El cierre fue un poco abrupto, principalmente porque no pude implementar la API de Microsoft Graph, que habría permitido mejorar considerablemente la solución y reducir la dependencia de modelos locales para algunas tareas, especialmente la transcripción.
Aun así, considero que fue una experiencia bastante valiosa para explorar sistemas multimodales, agentes, procesamiento de video, LLMs locales y Computer Vision.
Gracias por leer.
deidev :)
Puedes ver la documentación técnica completa del sistema en la sección de proyectos.