В преддверии выхода GPT-5 хотелось сделать бенчмарк который по-настоящему проверит её способности. Не прекращаются споры – если LLM просто стохастические попугаи, то как решают олимпиадные задачи по математике? Если Chatgpt способен написать полезное приложение по одному запросу, то почему не может посчитать число r в слове Strawberry или описать как фермеру перевезти себя и две курицы через реку? Пора положить обсуждениям конец с помощью 150 задач по Битрикс24 разработке!
Кто просил об этом?
