AI-агенты, способные самостоятельно обращаться к функциям системы для решения задач, набирают популярность. На прошлой неделе OWASP опубликовал гайд об угрозах для AI-агентов и примеры уязвимостей на базе популярных фреймворков: LangChain, LangGraph, CrewAI, OpenAI Swarm. Участник лаборатории ИТМО AI Security Lab Александр Буянтуев предложил версию криптоагента FreysaЧитать полностью »
Рубрика «AI Security»
Илон Маск заинтересовался взломом AI-агента на $50000
2025-02-23 в 15:40, admin, рубрики: AI Security, ai-агенты, безопасность, вызовы функций, искусственный интеллектDeepSeek vs Mixtral: что безопаснее использовать для корпоративного чат-бота?
2025-02-05 в 10:05, admin, рубрики: AI RedTeaming, AI Security, deepseek, llm, mixtral, ragЯзыковая модель DeepSeek R1 наделала много шума в начале этого года. Сначала в AI-сообществе с восхищением обсуждали, как китайцам удалось получить качество генерации текста на уровне передовых западных моделей при меньших затратах на обучение. Затем восторг сменился жёсткой критикой о политической предвзятости, копировании моделей OpenAI и доступности истории запросовЧитать полностью »
Под микроскопом: AI Product Hack
2024-10-29 в 19:57, admin, рубрики: AI Security, BERT, llm, lora, mlops, nlp (natural language processing)Сколько раз вы были свидетелями судейства на хакатонах, которое, на первый взгляд, казалось неверным? Думаем, таких случаев было много.
Сегодня мы посмотрим на результаты AI Product Hack и постараемся разобраться в том, кто после присуждения мест оказался прав: раздосадованные поражением участники команд или судьи.
В частности мы будем рассматривать кейс компании Raft - “Мониторинг токсичного контента в AI-продуктах”.