Нейросеть по мозговой активности смогла декодировать то, что видит человек
Исследователям удалось создать диффузионную модель нейросети, способную декодировать мозговую активность человека и воспроизвести то, что он видит. Диффузионные модели являются наиболее популярным методом генерации изображений искусственным интеллектом и используются в основе таких популярных сервисов, как DALL-E и Midjourney.
Как отмечают исследователи, декодирование визуальных стимулов по записям мозга призвано улучшить наше понимание зрительной системы человека и построить прочный фундамент для соединения человеческого зрения и компьютерного зрения через интерфейс «мозг-компьютер». Однако из-за дефицита аннотаций к данным и сложности базовой информации о мозге, декодирование изображений с проверенными деталями и значимой семантикой является сложной задачей.
Использовав самоконтролируемое машинное обучение, то есть самостоятельное обучение нейросети на одинаковых данных мозговой активности для разных людей, авторы исследования добавили предварительно обученную диффузионную модель превращения текста в изображение и модель-трансформер (cross-attention) в эти воображаемые репрезентации. После серии тестов, модель смогла декодировать то, что видит перед собой человек.
Данные обучения нейросети и код исследователи уже выложили в открытый доступ,.
