Домой Технологии Роботы, дроны и ИИ MOBI-тест. Так ли хороши нейросети для работы с текстом?

MOBI-тест. Так ли хороши нейросети для работы с текстом?

4419

Сегодня нейросети стали широко используемым инструментом для работы с текстом. OpenAI запустил ChatGPT, позволяющий нам генерировать оригинальные текста на любую тему. О данной сети говорят многие, но это не единственный сервис, на который стоит обратить внимание. В нашем обзоре мы протестируем и расскажем о таких популярных нейросетях, как Балабола, RuGPT-3, тот же ChatGPT и некоторых других.

ruGPT-3

Модель ruGPT-3 XL содержит 1,3 млрд параметров и умеет продолжать тексты на русском и немного на английском языках. Для этого пользователю необходимо сформулировать «затравку» — фразу, которую модель допишет. Однако, так ли ruGPT-3 хороша, как сказано в описании? Давайте проверим!

Мы сформулировали «затравку» для ruGPT, которая звучит так: “В Казахстане вышел новый смартфон…”
Что ответила нейросеть, вы можете наблюдать на экране.

MOBI-тест. Так ли хороши нейросети для работы с текстом?

Мы прогнали данный текст через Антиплагиат, чтобы определить, насколько уникальные тексты пишет данная нейросеть. И посмотрите на результат:

MOBI-тест. Так ли хороши нейросети для работы с текстом?

Оригинальность высокая, однако это не точно, так как сайт для проверки мы брали бесплатный. Теперь посмотрим, как чат справляется с обычными вопросами и справляется ли вообще. Мы попросили нейросеть сформулировать рекламный слоган и она, увы, не справилась с этим.

MOBI-тест. Так ли хороши нейросети для работы с текстом?

Как показал тест ruGPT не может ответить на ваши запросы, придумать для вас рекламный слоган или написать шутки, однако, сеть может продолжить уже готовое предложение или текст, если есть такая необходимость. Конечно, вам, в любом случае, придется этот текст проверять и корректировать, что говорит о несовершенности работы искусственного интеллекта.

ChatGPT

Популярность данной нейросети возраста в последние полгода очень сильно. Студенты активно использовали его в выполнении домашнего задания, а маркетологи для генерации рекламных слоганов. В Гонконге даже временно запретили студентам использовать чат-бот ChatGPT и другие подобные инструменты на основе ИИ для создания учебных, курсовых и научных работ. Однако нейросеть, несмотря на все “предъявы” в ее сторону, продолжает работать и развивается, и сегодня мы ее затестим!

MOBI-тест. Так ли хороши нейросети для работы с текстом?

Для начала мы узнаем, что может данная нейросеть, а затем просим ее решить задачу, на которую у нас, естественно, есть решенный ответ.

MOBI-тест. Так ли хороши нейросети для работы с текстом?
MOBI-тест. Так ли хороши нейросети для работы с текстом?

Нейросеть решила данную задачу с помощью простого уравнения и даже показала нам логику своего ответа. Однако ответ – неверный. На сайте, где мы нашли эту задачу есть также ее решение, вот что оно гласит:

MOBI-тест. Так ли хороши нейросети для работы с текстом?

Понятно, с задачами нейросеть справляется не идеально (точнее не справляется), но что насчет текстов?
Мы попросили бота придумать шутку для стендап выступления на тему отношений и он прислал нам следующее. Да, текст все-таки дописан, но смешной ли он? Решите это вы!

MOBI-тест. Так ли хороши нейросети для работы с текстом?

Что касается научных материалов или выполнения домашней работы, с этим ChatGPT справляется отлично. Научные работы он пишет по всем требованиям: введение, основная работа, заключение и список литературы. К домашнему заданию нейросеть тоже подходит ответственно, дает развернутые и логичные ответы без грамматических ошибок. Однако, насколько эти текста оригинальны и смогут ли они пройти проверку на Антиплагиат? Давайте узнаем!

MOBI-тест. Так ли хороши нейросети для работы с текстом?

Мы отправили на Антиплагиат “шутку” и получили 100% оригинальность. Однако, если мы вставим этот текст обратно в ChatGPT и поинтересуемся, принадлежит ли данная работа этой нейросети, ответ будет следующим:

MOBI-тест. Так ли хороши нейросети для работы с текстом?

Поэтому не советуем использовать данную нейросеть для написания таких серьезных работ, как научная статья или дипломная работа. Для написания шуток и решения задач она также не подходит. Использовать ChatGPT лучше в качестве помощника, который подскажет, где и какую информацию лучше поискать, какие книги почитать или о чем написать материал.

Порфирьевич

Довольно необычный сайт с концепцией похожей на ruGPT, где нейросеть заканчивает ваши предложения или текста.

Во вкладке о проекте мы столкнулись с интересным описанием “Проект разработан вполне сознательно. Разработчикам хотелось выглядеть успешными. Но что сделано, то сделано. Теперь вы можете пользоваться трудами авторов совершенно свободно, без потерь. И не надо с сожалением перечитывать то, что написано под прикрытием редактирования.” Получилось довольно самокритично, поэтому давайте скорее приступать к тесту.

MOBI-тест. Так ли хороши нейросети для работы с текстом?

На вопросы нейросеть не отвечает, но логично продолжает заданный “стиль общения”. Давайте попробуем весте с Порфирьевичем написать шутку…

MOBI-тест. Так ли хороши нейросети для работы с текстом?

Понятно. Насчет логичного продолжения мы ошиблись, складывается ощущение, что бот рандомно дописывает предложения, вообще не анализируя посыл. Давайте дадим ему еще один шанс, может все-таки мы ошиблись при составлении ТЗ (технического задания)?

MOBI-тест. Так ли хороши нейросети для работы с текстом?

Уже лучше. В интернете данное предложение найти не получилось, Антиплагиат также показал 100% оригинальность, поэтому будем верить, что Порфирьевич придумал это сам.
В заключении хочется сказать, что данная нейросеть работает в разы быстрее и лучше ruGPT, но также как и ruGPT абсолютно не годиться для написания нормальных текстов, шуток или работ. Идем дальше!

Балабола

Балабола – российская нейройсеть, которая также как и Порфирьевич с ruGPT просто продолжает ваши фразы. Как пишут разработчики: “Балабоба демонстрирует, как с помощью нейросетей семейства YaLM можно продолжать тексты на любую тему, сохраняя связность и заданный стиль. В основе Балабобы лежит первая версия YaLM, которая была разработана в 2021 году для Поиска и Алисы”.

При первом заходе на сайт вы сталкиваетесь с таким вот “предупреждением”, что очень хорошо с этической точки зрения, также на сайте есть отметка 18+.

MOBI-тест. Так ли хороши нейросети для работы с текстом?

Мы попробовали задать ей вопросы в надежде, что хотя бы она умеет не только продолжать наши предложения, но и отвечать, как настоящий искусственный интеллект. Увы, Бабабола может только “набалаболить” продолжения и, судя по первому ответу, довольно депрессивное.

MOBI-тест. Так ли хороши нейросети для работы с текстом?

Шутки Балабола не продолжает, что очень обидно (мы ведь даже указали, что это должен быть анекдот).

MOBI-тест. Так ли хороши нейросети для работы с текстом?

Попробуем поработать с обычными текстами, к примеру, про нашу любимую цифровизацию. Ответ гораздо лучше, чем нам предлагал Порфирьевич, но довольно несвязный. Если же вы планируете использовать этот ответ в работе, то его явно придется дорабатывать.

MOBI-тест. Так ли хороши нейросети для работы с текстом?

Из всех “продолжалок” Балабола, конечно, лучшая, но для чего ее можно использовать – непонятно. Потестировать или поиграть во время рабочего перерыва можно, но для существенных работ данный формат абсолютно не подходит.

Подводя итоги

В общем, несмотря на все достижения в области работы нейросетей, они все еще имеют свои “косяки”. Например, нейросети могут допускать ошибки в понимании контекста, особенно когда речь идет о сложных концепциях; они не отличаются глубиной понимания и даже задачи решают не всегда. Также существует проблема интерпретации результатов, то есть сложно понять, как именно нейросеть приняла решение.

Поэтому, учитывая все эти нюансы, можно сделать вывод, что, на данный момент своего развития, нейросети плохо подходят для работы с большими и достаточно сложными текстами.