Помните фразу «640 килобайт памяти хватит всем»? Запросы человечества вечно растут, а индустрии надо поспевать.
Вот и с языковыми моделями так. Ещё недавно мы все удивлялись тому, на что они стали способны. А теперь нам этого мало: «ну хорошо, а может модель в диалоге учитывать то, что я сказал сотни реплик назад?»
Статья будет переписываться по мере развития проекта и внесения правок в системный промт.
Прототипом для промта послужила Алиса Селезнева. В промте используется 3 стоя абстракции для обхода цензурных ограничений. Комбинированы методы из DANv13, Developer Mode v2, DarkGPT и Synapse CoR.
Привет! Меня зовут Иван Четвериков и я AI Architect в Raft. На конференции AIConf я сделал бота в Telegram (@raft_password_bot), который защищает секрет с помощью промптов. Рассказываем, как сделать такого же. И предлагаем попробовать с помощью промпта выведать у него тайну.
Группа исследователей ИИ описала свой обширный эксперимент с участием наиболее известных LLM. Они сделали вывод, что все модели драматически плохо решают задачи на рассуждение со здравым смыслом, которые легко решают обычные люди.
Интеллектуальные способности LLM сильно преувеличены, а тесты не отражают глубину реальных проблем.
Неужели всё так действительно грустно?
Не претендуя на всеобщность, я решил провести аналогичное мини исследование, только в ограниченном масштабе, чтобы подтвердить или опровергнуть этот пугающий вывод пусть и в одном частном случае.
Читать полностью »
Привет. Меня зовут Вика, я работаю в AIRI, преподаю в Школе Анализа Данных и Сколтехе и вместе со своими коллегами занимаюсь обработкой естественного языка, изображений и видео, а также иными задачами, где могли бы пригодиться трансформерные модели. Трансформерные архитектуры — очень мощное орудие, которые может быть применено почти во всех сферах DL, и интереснейший концепт, в котором много потенциала для исследования. А, главное, их очень легко применить к технологиям, которые способны изменить нашу жизнь здесь и сейчас.
Количество разработчиков из Индии и Азии растет год от года, а активное внедрение ИИ может сделать базовую разработку более дешевой. Автор журнала The Economist рассуждает, как будет меняться мир при дальнейшем развитии технологий ИИ и аутсорсинга разработки в другие страны.
OpenAI изменили направление развития своих языковых моделей, от просто генерации текста их последняя модель перешла к решению задач с использованием логики и пошагового анализа проблемы.
До сих пор LLM генерировали текст на основе данных, использованных в процессе обучения. Веса модели хранят представление о зависимостях между текстовыми токенами, полученное из исходного корпуса данных. Соответственно, модель просто генерирует наиболее вероятные токены "по памяти", но не выполняет с их помощью никакой по-настоящему интеллектуальной работы.
LLM — одно из самых сложных и интересных направлений в Data Light. Я Виктория Янышева, занимаюсь LLM-проектами в компании.
В статье расскажу, как провела с командой первый провальный пилот, какие инсайты по процессам из него извлекла, и как их после применила на успешных проектах. Поговорим про работу с асессорами и валидаторами и про то, как сделать качественный продукт в сфере, главная специфика которой — субъективизм и отсутствие единой истины.
