Рубрика «AI Security»

«Машина может пересчитать все звёзды на небе, но не может понять, зачем человек смотрит на них».
— Айзек Азимов

В одну из пятниц у нас была обычная онлайн‑встреча. Еженедельный обмен знаниями, так сказать. Коллега решил показать что‑то «интересное про MCP» — и началось всё безобидно, с классического объяснения теоретической части. Но спустя час было очень тихо на звонке. Никто не перебивал, не шутил, не задавал вопросов, просто все слушали и пытались осознать происходящее. Тема оказалась куда глубже, чем мы ожидали, и, как выяснилось, напрямую касается того, чем мы занимаемся каждый день.

Читать полностью »

Модели машинного обучения (ML) становятся ключевой частью современных продуктов и сервисов, и вопросы их безопасной разработки выходят на первый план. Однако на практике у многих команд нет понимания, как именно выстраивать защиту — на каких этапах, с помощью каких инструментов и против каких угроз.

Меня зовут Александр Серов, я ведущий специалист по безопасности больших языковых моделей в Swordfish Security. В этой статье я покажу, как подходить к безопасности ML-систем системно — через уровни зрелости, жизненный цикл моделей и реальные практики.

Читать полностью »

AI-агенты, способные самостоятельно обращаться к функциям системы для решения задач, набирают популярность. На прошлой неделе OWASP опубликовал гайд об угрозах для AI-агентов и примеры уязвимостей на базе популярных фреймворков: LangChain, LangGraph, CrewAI, OpenAI Swarm. Участник лаборатории ИТМО AI Security Lab Александр Буянтуев предложил версию криптоагента FreysaЧитать полностью »

Языковая модель DeepSeek R1 наделала много шума в начале этого года. Сначала в AI-сообществе с восхищением обсуждали, как китайцам удалось получить качество генерации текста на уровне передовых западных моделей при меньших затратах на обучение. Затем восторг сменился жёсткой критикой о политической предвзятости, копировании моделей OpenAI и доступности истории запросовЧитать полностью »

Сколько раз вы были свидетелями судейства на хакатонах, которое, на первый взгляд, казалось неверным? Думаем, таких случаев было много.

Сегодня мы посмотрим на результаты AI Product Hack и постараемся разобраться в том, кто после присуждения мест оказался прав: раздосадованные поражением участники команд или судьи.

В частности мы будем рассматривать кейс компании Raft - “Мониторинг токсичного контента в AI-продуктах”. 

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js