» » » ИИ научили определять, что видит человек, на основе «чтения мыслей»

ИИ научили определять, что видит человек, на основе «чтения мыслей»

Разработана система искусственного интеллекта, реконструирующая изображения, которые видел человек, на основе активности его мозга. О разработке сообщает «Хайтек» со ссылкой на Science.

Нейробиологи до сих пор до конца не понимают весь процесс того, как мозг преобразует визуальную информацию в мысли. Но это не мешает ИИ имитировать этот процесс. Японские ученые объединили алгоритмы, преобразующие текст в изображение, и систему анализа мозговой активности. ИИ Stable Diffusion сканирует мозг человека и воссоздает относительно реалистичные версии изображений, которые он видел.

 Оригинальные изображения (сверху) и снимки, полученные в результате распознавания мозговой активности Stable Diffusion. Изображение: Yu Takagi, Shinji Nishimoto, bioRxiv

Это не первое исследование, в котором ученые использовали ИИ для чтения снимков мозга и воссоздания изображений. Но в новой работе они добавили дополнительный этап: при обучении ИИ используются текстовые описания фотографий. В результате алгоритм анализирует не только мозговую активность, связанную с просмотром изображений, но и текстовое описание. Это напоминает работу популярных алгоритмов, таких как DALL-E 2 и Midjourney.

Для распознавания образов Stable Diffusion использует данные сканирования мозга с помощью функциональной магнитно-резонансной томографии (фМРТ), собранные при просмотре различных изображений. Когда люди смотрят на фотографию, височные доли анализируют информацию о содержании изображения (людях, объектах или декорациях), а затылочные — о расположении и перспективе, такую как масштаб и положение содержимого.

Для обучения ИИ исследователи использовали набор картинок и паттерны мозговой активности, собранные при их просмотре. При простом обучении алгоритм эффективно воссоздавал расположение объектов и перспективу просматриваемых фотографий, но вместо реальных объектов в центре композиции рисовал абстрактные фигуры. Но, после того как ученые добавили текстовые описания к фотографиям, использованным при обучении, качество сгенерированных образов существенно возросло.

 Оригинальное изображение (слева) и образы, полученные при использовании алгоритмов, обученных на визуальных (z), текстовых (c) и комбинированных данных (справа). Изображение: Yu Takagi, Shinji Nishimoto, bioRxiv

Исследователи отмечают, что комбинация текстовых и визуальных данных при обучении позволяет существенно сократить объем данных, которые необходимо использовать для обучения модели. В то же время они отмечают, что пока ИИ был обучен и протестирован только на данных фМРТ для четырех человек. Вероятно, потребуется выборка от большого количества людей для создания универсального алгоритма.



ДРУГИЕ НОВОСТИ

Комментарии

Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.
САМОЕ ЧИТАЕМОЕ / КОММЕНТИРУЕМОЕ
  1. Новый MINI Cooper вышел в версии с ДВС
  2. Покупка душевой кабины: ключевые моменты выбора
  3. Названо лучшее фото дикой природы по версии зрителей
  4. Палеонтологи открыли новый вид птерозавров юрского периода
  5. На Большом адронном коллайдере используют робопса для контроля радиации
  6. Volkswagen прекратил выпуск лифтбека Arteon
  7. «Автотор» запускает собственный бренд «АмберАвто»
  8. Геологи нашли объяснение разломов в Тихоокеанской плите
  9. Патогенные для человека бактерии выжили в марсианских условиях
  10. Toyota готовит новый RAV4. Это будет не электрокар
Как работать на себя с 2023 года? Вот что рассказали в МНС
Как работать на себя с 2023 года? Вот что рассказали в МНС
В Министерстве по налогам и сборам сообщили, что сейчас готовится проект постановления правительства и там будет определен Читать далее
В каких случаях водитель должен брать с собой медсправку?
В каких случаях водитель должен брать с собой медсправку?
Новшества касаются в том числе и перечня документов, которые обязан возить с собой водитель. Читать далее
Все новости
Галерея