Это удалось доказать благодаря простому эксперименту.
Генеративные сервисы искусственного интеллекта привлекают внимание всех руководителей технологических компаний. Обещая масштабную автоматизацию и потенциальную замену миллионов рабочих мест, эти технологии находятся в авангарде дискуссий о будущем. Однако недавнее предупреждение исследователей из Массачусетского технологического института указывает на критический недостаток: генеративные модели ИИ не могут по-настоящему понять сложные “правила”, которые управляют системами реального мира.
Большие языковые модели (LLM) предназначены для имитации человеческого интеллекта и часто выдают весьма убедительные результаты на основе текстовых подсказок. Однако эти модели работают, предсказывая с впечатляющей точностью наиболее подходящую последовательность слов в заданном контексте. При столкновении с непредсказуемыми сценариями реального мира их надежность может быстро снизиться.
Исследователи Массачусетского технологического института попытались установить новые критерии для оценки того, обладают ли системы генеративного ИИ подлинным пониманием мира. Один из подходов заключался в оценке способности ИИ обеспечить подробную пошаговую навигацию по Нью-Йорку.
Чтобы проверить способность ИИ усваивать сложные правила, ученые выбрали две разные задачи: навигацию по улицам Нью-Йорка и настольную игру “Отелло”.
“Нам нужны были контролируемые условия, в которых мы могли определить модель мира. Это позволило нам строго оценить, что значит для ИИ реконструировать эту модель мира”.
Эксперименты показали, что нейросети в целом были компетентны в генерировании точных навигационных инструкций и абсолютно правильных движений в “Отелло”. Однако их производительность снижалась, когда на карте Нью-Йорка появлялись обходные пути. В этих случаях генеративный ИИ с трудом адаптировался, предлагая несуществующие эстакады или неверно ориентируя улицы. После того как всего 1% улиц был помечен как недоступные, точность модели упала с почти 100% до 67%.
