Resumen
La decodificación neural implica mapear las respuestas cerebrales de vuelta a los estímulos sensoriales utilizando un espacio de características. Proponemos un nuevo paradigma que usa estímulos controlados pero naturalistas con representaciones de características conocidas para la reconstrucción hiperrealista de rostros a partir de grabaciones de fMRI. Al integrar redes adversariales generativas (GANs) en la etapa de decodificación neural, utilizamos vectores latentes del generador de un GAN para representar las características de los estímulos percibidos. Nuestro enfoque, denominado HYPer, demuestra que estos vectores latentes capturan eficazmente las propiedades definitorias de los estímulos, resultando en las reconstrucciones más precisas de percepción hasta la fecha.
Introducción
La decodificación neural es el problema inverso de mapear las respuestas cerebrales de vuelta a los estímulos sensoriales a través de un espacio de características. Esto implica transformaciones lineales y no lineales que modelan los mapeos estímulo-característica y característica-respuesta, respectivamente. El uso de espacios de características permite una decodificación neural más eficiente en cuanto a datos y facilita la prueba de hipótesis sobre la representación neural del entorno al separar las transformaciones estímulo-respuesta en dos partes. Mientras que las redes neuronales profundas discriminativas han avanzado la decodificación neural al capturar representaciones neuronales de estímulos sensoriales, los modelos no supervisados como los GANs han sido menos exitosos debido a las dificultades en mapear estímulos a características latentes.
Los GANs, que constan de un generador y un discriminador, son herramientas poderosas para generar datos sintéticos a partir de vectores latentes. Sin embargo, usar GANs directamente para la decodificación neural ha sido un desafío debido a la falta de una transformación inversa de estímulos a espacio latente. Para superar esto, introducimos un paradigma experimental en el que los participantes ven estímulos sintéticos con representaciones latentes conocidas, lo que nos permite usar estos latentes en la decodificación neural.
Métodos
Pipeline HYPER
El pipeline HYPER implica presentar estímulos generados por GAN a los participantes durante la exploración fMRI. El pipeline integra un generador de GAN con un modelo de decodificación que predice vectores latentes a partir de la actividad cerebral. El generador, un GAN de Crecimiento Progresivo (PGGAN), produce rostros fotorealistas a partir de vectores latentes de 512 dimensiones. El modelo de decodificación usa una capa densa para transformar las respuestas de fMRI en vectores latentes, que luego se utilizan para reconstruir imágenes faciales.
Conjuntos de Datos
- Estímulos Visuales: Imágenes faciales de alta resolución (por ejemplo, 1024×1024 píxeles) generadas por el PGGAN y redimensionadas a 224×224 píxeles para la presentación. El PGGAN fue entrenado con el conjunto de datos CelebA.
- Respuestas Cerebrales: Datos de fMRI de dos participantes (hombres de 30 y 32 años) recolectados mientras veían estímulos faciales. Los datos se preprocesaron para extraer los voxeles más activos para la decodificación.
Métricas de Evaluación
- Similitud Latente: Similitud euclidiana entre vectores latentes predichos y verdaderos.
- Similitud de Características: Similitud entre características extraídas de imágenes por un modelo ResNet50.
- Correlación de Pearson: Correlación entre los valores de píxeles de los estímulos y las reconstrucciones.
- Similitud de Atributos: Evaluación de atributos visuales específicos (por ejemplo, género, edad) utilizando máquinas de soporte vectorial lineales.
Resultados
El modelo HYPER logró reconstrucciones sin precedentes de rostros percibidos, superando a métodos de vanguardia como VAE-GAN y enfoques de eigenfaces. Las métricas cuantitativas y las comparaciones cualitativas demostraron un rendimiento superior en la reconstrucción de vectores latentes, características y valores de píxeles. El análisis de similitud de atributos mostró correlaciones significativas para atributos como género, edad y pose, aunque no para la sonrisa.
El rendimiento de HYPER fue validado a través de pruebas de permutación y comparaciones con latentes aleatorios, mostrando que las predicciones de HYPER son significativamente mejores. Además, la fiabilidad de las grabaciones de fMRI se confirmó mediante pruebas de precisión de clasificación.
Discusión
El modelo HYPER representa un avance significativo en la decodificación neural al aprovechar GANs y estímulos sintéticos. El uso de vectores latentes conocidos del GAN permitió reconstrucciones de alta calidad, superando las limitaciones de los métodos de inferencia aproximada. Las mejoras futuras podrían incluir el uso de modelos como StyleGAN para abordar problemas de entrelazado de características y expandir el enfoque a estímulos faciales reales.
Limitaciones
El rendimiento de HYPER está limitado por el entrelazado de características del GAN y los sesgos del conjunto de datos de entrenamiento. La generalización a rostros reales y la resolución de problemas de entrelazado de características serán críticas para futuros avances.
Aplicaciones Futuras
Los avances en decodificación neural tienen aplicaciones potenciales en interfaces cerebro-computadora y neuroprótesis. El marco HYPER podría ampliarse a aplicaciones en imágenes e incluso en comunicación para personas con discapacidades severas.
Conclusión
El modelo HYPER introduce un marco novedoso para la reconstrucción hiperrealista de percepción utilizando espacios latentes de GAN, logrando una calidad de reconstrucción sin precedentes. Dado el rápido progreso en el campo del modelado generativo, se espera que este marco resulte en reconstrucciones aún más impresionantes de percepción e incluso de imágenes en el futuro cercano.