Существует множество примеров того, как злоумышленники могут атаковать модели, развернутые в инференсе через адверсальные атаки или jailbreaking. (Вкусная подборочка из лекции Карпатого была у меня тут).
Рубрика «ai alignment»
Poisoned Data — отравление данных для LLM и создание «Спящего Агента»
2024-08-20 в 6:00, admin, рубрики: AI, ai alignment, llm, RLHF, искусственный интеллектВнедрение ИИ — лучшая ставка на выживание человечества
2023-08-21 в 9:00, admin, рубрики: AGI, ai alignment, falcon, LLaMA 2, LongChat, ruvds_статьи, StableLM, vicuna, ИИ, коллективный интеллект, моральная паника, негативный биас, позитивная повестка, сильный ИИ, страх технологий, технологическая сингулярность, технооптимизм, футурология, часы судного дня, ядерная война
Слева: древнеримский мост через реку Тахо в испанском городе Алькантара, построенный в 106 году. Справа: отряд муравьёв, формирующих мост. Источник: статья Ха и Танга про коллективный интеллект ИИ-агентов (doi: 10.48550/arXiv.2111.14377)
Влияние ИИ на человеческое общество ощущается уже сейчас. Во-первых, дата-майнинг и нейросети всё активнее используются в сфере управления. Обычному человеку не очень приятно осознавать, что его босс — алгоритм, который оценивает качество работы, выписывает премии и может уволить в любой момент. Но такова жизнь.
Читать полностью »
Человечество против искусственного интеллекта: может ли развитие нейросетей привести к катастрофе
2023-04-06 в 4:25, admin, рубрики: ai alignment, gpt, gpt-4, llm, Блог компании Open Data Science, будущее, будущее здесь, Илон Маск, искусственный интеллект, машинное обучение, экзистенциальные угрозы, элиезер юдковскийИстория про «восстание машин» давно знакома всем любителям научной фантастики, но после взрывного роста возможностей нейросетевых языковых моделей (вроде ChatGPT) об этом риске заговорили и вполне серьезные исследователи. В этой статье мы попробуем разобраться — есть ли основания у таких опасений, или это всего лишь бред воспаленной кукухи?