» » » Создана человекоподобная память для ИИ-трансформеров

Создана человекоподобная память для ИИ-трансформеров

 Изображение: Sangjun Park & JinYeong Bak / techxplore.com

Ученые Университета Сунгюнгван в Южной Корее создали человекоподобную систему памяти, которая улучшает производительность трансформеров — моделей машинного обучения, используемых для обработки текстов на естественном языке и лежат в основе диалоговых платформ, таких как ChatGPT. Результаты исследования опубликованы в препринте статьи на сайте arXiv.

Трансформер представляет собой тип архитектуры глубокого обучения, который основан на механизмах, имитирующих когнитивное внимание. При обучении нейронная сеть определяет корреляции между различными словами в текстах (взятых, например, из «Википедии»), что позволяет ей генерировать собственные тексты. В отличие от рекуррентных нейронных архитектур, которые обрабатывают текст последовательно, трансформеры делают это параллельно.

Однако трансформеры сталкиваются с трудностями при обучении на длинных последовательностях из-за ограничений в емкости. Для решения этой проблемы ученые воспользовались тем фактом, что в отличие от нейронных сетей, которые обрабатывают весь текст, люди выделяют из текстов только релевантную информацию, откладывая ее в кратковременной и долговременной памяти, чтобы воспроизвести в будущем. Теория Хебба объясняет, как мозг формирует нейронные связи для запоминания и извлечения информации:

Согласно теории Хебба, которая объясняет, как мозг формирует связи между нейронами для хранения и извлечения информации, многократная одновременная активация двух нейронов укрепляет связь между ними. Новая система памяти, называемая Memoria, извлекает и хранит информацию, называемой энграммой, на нескольких уровнях (рабочая, кратковременная и долговременная память), используя коэффициенты, соответствующие силе связи между нейронами, которые изменяются в соответствии с теорией Хебба.

Серия экспериментов показала, что Memoria значительно повышает производительность трансформеров при выполнении различных задач, связанных с обработкой длинных последовательностей данных. Авторы пишут, что она улучшает способность учитывать долгосрочные закономерности в различных задачах и превосходит существующие методологии в сортировке и языковом моделировании, а также классификации длинных текстов.

Источник: lenta.ru



ДРУГИЕ НОВОСТИ

Комментарии

Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.
САМОЕ ЧИТАЕМОЕ / КОММЕНТИРУЕМОЕ
  1. Технологии производства воздушно-пузырьковых пленок и их применение
  2. Солнечные батареи заняли землю, с которой можно прокормить миллионы человек
  3. Специалисты рассказали, как отучить кошку драть мебель
  4. Dongfeng привез в Беларусь бюджетный электрокар Box
  5. Представлен BMW X3 нового поколения
  6. Автомобили Mercedes-Benz научатся автоматически менять полосу движения
  7. Для Apple создали аккумулятор с рекордной плотностью энергии
  8. Отсутствие инопланетян вблизи Земли объяснили свойствами земной коры
  9. Суперкар разогнался до 400 км/ч и затормозил за рекордные 27,83 секунды
  10. Создана первая в мире натриевая батарея без анода
Как работать на себя с 2023 года? Вот что рассказали в МНС
Как работать на себя с 2023 года? Вот что рассказали в МНС
В Министерстве по налогам и сборам сообщили, что сейчас готовится проект постановления правительства и там будет определен Читать далее
В каких случаях водитель должен брать с собой медсправку?
В каких случаях водитель должен брать с собой медсправку?
Новшества касаются в том числе и перечня документов, которые обязан возить с собой водитель. Читать далее
Все новости
Галерея