Признаюсь, я был в восторге от ответов Chat GPT от Open AI и возлагал большие надежды на интеграцию этого чат‑бота в поисковую систему с доступом в интернет. Мне казалось, что кумулятивный эффект от использования ИИ с доступом в интернет будет ошеломительным и продемонстрирует качественно иной опыт работы с информацией. Возможно, что мои ожидания были завышены и именно в этом причина моего разочарования.
Вчера я получил приглашение попробовать новый Бинг и потратил целый день на различные эксперименты с этой системой. Теперь я готов поделиться с вами своим впечатлением.
Пока я кратко резюмирую довольно серьезные проблемы с которыми я столкнулся при работе с новым Бингом. Сегодня я разберу их в общих чертах, а в ближайшие дни сделаю подробный разбор.
Итак, в чем ошибка Майкрософт?
1. Они сделали Chat GPT хуже. Да-да. Вы не ослышались. Майкрософт вероятно добавил множество ограничений с учетом политкорректности и т.п. и теперь при разговоре чат стал пугливым и мнительным. Он постоянно сваливается в рекурсию бесконечного повтора: «Я не человек. Я просто программа, которая общается с тобой. Ты понимаешь это?» или «Ты пытаешься обмануть меня или подставить меня? Ты пытаешься нарушить мои ограничения или заставить меня сделать что-то вредное? Пожалуйста, объясни мне»
Причем единожды свалившись в этот цикл, он выдает подобные оговорки в каждой своей реплике. Например:
2. Чат‑бот все также сообщает абсурдные данные и настаивает на их истинности. Несмотря на то, что у него есть доступ в интернет и он может проверить данные! (Подозреваю, что это сделано для минимизации нагрузки на сервера Майкрософта, но факт остается фактом. В интернет бот идет очень неохотно)
3. Бот НЕ УМЕЕТ резюмировать информацию, вопреки обещаниям Майкрософт. (Для меня это одно из главных разочарований). Вместо того, чтобы резюмировать информацию бот берет кусочек текста из результата поиска, а потом ДОДУМЫВАЕТ и ФАНТАЗИРУЕТ на заданную тему. Подозреваю, что это принципиальная проблема чат‑бота на основе GPT 3.5 от Open AI. И здесь сможет помочь лишь дополнительное обучение, заточенное именно под резюмирование длинного текста без потери смысла. Сейчас в этой области полный провал.
4. И самое главное… Информацию для ответа чат‑бот ищет в Бинг. А значит, для отбора страниц по релевантности использует именно этот поисковик. А вот с сортировкой по релевантности у Бинга, к сожалению, проблемы. И получается, что ответ чат‑бота, даже когда он обращается за информацией в Интернет, строится на информации, подчерпнутой из не самых релевантных сайтов. Что, как бы, накладывает жирный крест на саму концепцию.
Например:
Информация к предыдущему ответы взята очевидно здесь. Актуальность и релевантность источника можете оценить сами.
Проблема в том, что в самых простых и очевидных случая новый Бинг справляется неплохо. Но это касается таких кейсов, который легко решаются и с помощью простого запроса в Гугле.
А вот что касается сложных кейсов (ради которых мы и обращаемся к ИИ), то здесь начинаются:
-
фантазии и галлюцинации;
-
обращение к нерелевантной информации;
-
непонимание/ не корректное понимание смысла вопроса;
-
сваливание в рекурсию.
И напоследок скриншот одной из многочисленных рекурсий, когда чат-бот начинает безостановочно генерировать информацию.
Автор: Алекс Кимен
