Исследование: мозг понимает язык с помощью «автокоррекции»

Исследователи Массачусетского технологического института применили модели искусственного интеллекта для изучения того, как и почему наш мозг понимает язык. Выяснилось, что человеческий мозг может работать примерно так же, как и функция автокоррекции на смартфоне.

Новое исследование опубликовано в Proceedings of the National Academy of Sciences.

Авторы работы заявляют, что функции языковых моделей ИИ напоминают метод языковой обработки в человеческом мозгу. Так, последнее поколение языковых моделей было разработано для предсказания следующего слова в тексте, как и функция автозамены в iMessage, но наблюдатели заметили, что они в некотором роде понимают значение текста.

«Чем лучше модель предсказывает следующее слово, тем больше она соответствует человеческому мозгу», — говорит Нэнси Канвишер, профессор когнитивной нейробиологии и автор нового исследования.

Новая модель предсказания следующего слова является частью усилий по глубокому обучению нейронных сетей. За последнее десятилетие эти модели использовались для воссоздания функций мозга, а именно для распознавания объектов.

Нейросети могут функционировать аналогично человеческому мозгу, потому что они смоделированы по его образцу. Они включают тысячи узлов обработки, которые передают информацию друг другу.

Группа исследователей из МТИ проанализировала 43 различных языковых модели, многие из которых были оптимизированы для предсказания следующего слова, в том числе GPT-3. Они предложили каждой модели словесную строку для измерения активности ее нейронных узлов. Затем они сравнили эти паттерны с активностью человеческого мозга, измеренной, когда испытуемые выполняли языковые задачи, такие как слушание, чтение полных предложений и чтение по одному слову за раз.

Исследование показало, что наиболее эффективные модели предсказания следующего слова имели паттерны активности, которые больше всего напоминали паттерны человеческого мозга. Кроме того, активность в этих моделях также коррелировала с поведенческими показателями человека, такими как скорость чтения текста.

Результаты исследования показывают, что предсказание следующего слова является одной из ключевых функций языковой обработки.

В дальнейшей работе ученые планируют создать варианты моделей предсказания следующего слова, чтобы увидеть, как небольшие изменения между каждой моделью влияют на их способность к обработке. Они также планируют объединить эти языковые модели с компьютерными, разработанными для выполнения других задач восприятия физического мира.

Конечной целью исследователей является понимание того, как возникает общий интеллект.

Ранее исследователи применили модель машинного обучения для преобразования сканов изображений мозга в изображения. Модель успешно восстановила увиденные человеком сцены путем анализа его мозговой активности.

Читайте так же:

  • No more SMM Описание 23 сентября Netpeak организовывает новую конференцию No more SMM — никакого больше SMM без стратегии, маркетинга и команды https://netpeak.me/7E00jn Поговорим о важности разработки стратегии по SMM и как она должна пересекаться с общим маркетинговым планом, KPI и […]
  • Sony Xperia 1 III и Xperia 5 III поступят в продажу только 31 августа в СШАSony Xperia 1 III и Xperia 5 III поступят в продажу только 31 августа в США Как сообщает Phone Arena, недавно анонсированные смартфоны Sony Xperia 1 III и  Xperia  5 III поступят в продажу только в конце лета, 31 августа. Данная информация указана онлайновым магазином B&H Photo Video. Который пока не начал приём предварительных заказов. Клиенты […]
  • А вот и они — первые живые фото Apple iPad Pro и iPad mini 6А вот и они — первые живые фото Apple iPad Pro и iPad mini 6 Вчера в Сети опубликовали живые фотографии новых моделей планшетов iPad. Источник добавляет. Что на изображениях показаны iPad Pro с экранами диагональю 12,9 и 11 дюймов. А также новый iPad mini 6. Левая и правая рамки планшета iPad mini 6 стали уже. Однако он сохранил большую верхнюю […]
  • Apple дала разработчикам возможность кастомизировать страницы приложения в App StoreApple дала разработчикам возможность кастомизировать страницы приложения в App Store Apple на сайте для разработчиков рассказала про новые функции: оптимизацию и кастомизацию страниц в App Store. В случае оптимизации страницы продукта разработчик может использовать альтернативные версии страницы продукта, после чего выбрать наиболее эффективную версию для всех […]