Los investigadores han encontrado una solución para eliminar la aparición de camarógrafos en las transmisiones en vivo de juegos deportivos.
Un equipo de la Universidad de Tecnología de Kaunas en Lituania ha desarrollado un modelo de inteligencia artificial que elimina a los operadores de cámara en tiempo real cuando aparecen en la toma. Los científicos señalan que la presencia de un camarógrafo en pantalla «distrae de los momentos críticos del juego» y podría llevar a «pérdidas de ingresos para los transmisores debido a la insatisfacción de los espectadores.»
Para resolver esta distracción visual durante el juego, los investigadores han desarrollado un «sistema de extremo a extremo» que detecta a los operadores de video y los elimina de una manera similar a cómo un editor de fotos eliminaría un objeto de una fotografía.
Sistema de detección y eliminación
Eliminar un objeto de una imagen en vivo es un gran desafío. Para afrontarlo, los investigadores recurrieron a un sistema de detección de objetos de última generación llamado YOLOv8, conocido por su velocidad y precisión. YOLOv8, que significa «You Only Look Once» (Solo Miras Una Vez), puede detectar y clasificar objetos en una sola pasada, lo que lo hace ideal para eventos en tiempo real como las transmisiones deportivas en vivo.
Serhii Postupaiev, miembro del equipo de investigación, explica: «Funciona dividiendo la imagen en una cuadrícula y prediciendo cuadros delimitadores, probabilidades de clase y polígonos de segmentación para cada celda de la cuadrícula. Esto le permite identificar y segmentar a los camarógrafos.»
Para guiar al modelo YOLOv8 a detectar y segmentar correctamente a los camarógrafos durante los juegos, el equipo creó un conjunto de datos. «Creé este conjunto de datos para incluir una gama diversa de camarógrafos con diferentes tamaños, formas y tipos de equipo, capturados en diversas condiciones y en diferentes etapas del juego. Ahora, YOLOv8 utiliza este conjunto de datos para identificar dónde están los camarógrafos en los cuadros de video,» añade Postupaiev.
Video inpainting y retransmisión en vivo
El equipo utilizó la técnica de video inpainting, un tipo de aprendizaje profundo que opera de manera similar a la herramienta de Spot Healing Brush. La inteligencia artificial (IA) y la tecnología basada en visión por computadora analizan los cuadros de video para detectar a los camarógrafos no deseados y rellenan las áreas eliminadas con detalles de fondo relevantes. Los cuadros modificados se transmiten luego a los espectadores.
Gracias al ligero retraso de una transmisión en vivo, el algoritmo procesa la imagen grabada antes de que se muestre en vivo al aire unos segundos después. «La transmisión se sentirá más pulida y profesional sin interrupciones causadas por los camarógrafos apareciendo donde no deberían. Esta mejora reducirá el número de casos donde se pierden momentos importantes del juego debido a tomas distractoras,» destaca Postupaiev, quien obtuvo un Máster en la Universidad de Tecnología de Kaunas con este proyecto.
Aplicaciones futuras
Si bien el proyecto se centró principalmente en el fútbol, la tecnología se aplica a todos los juegos dinámicos, incluidos el baloncesto, el fútbol americano y el hockey sobre hielo. Postupaiev menciona que también podría agregarse retrospectivamente a grabaciones antiguas de juegos clásicos.
No es la primera vez que los transmisores buscan ocultar a los camarógrafos durante las transmisiones deportivas, un camarógrafo patinador camuflado en blanco ya ha salido al hielo durante los juegos de hockey.
