Рубрика «восстание машин»

От переводчика: я нашел на Quora вопрос: Какую программу или код можно назвать самыми сложными из когда-либо написанных? Ответ одного из учасников был настолько хорош, что вполне тянет на статью.

Пристегни ремни.

Самая сложная программа в истории была написана командой людей, имена которых нам неизвестны.

Это программа – компьютерный червь. Червь был написан, судя по всему, между 2005 и 2010 годами. Поскольку этот червь является таким сложным, я могу дать лишь общее описание того, что он делает.
Читать полностью »

I

В недавней моей статье по поводу рисков, связанных с ИИ, один из комментаторов попросил меня вкратце сформулировать аргументы, доказывающие серьёзность ситуации. Я написал нечто вроде такого:

1. Если человечество не самоуничтожится, то в конце концов мы создадим ИИ человеческого уровня.
2. Если человечество сможет создать ИИ человеческого уровня, то прогресс продолжится, и в итоге мы придём к ИИ уровня гораздо выше человеческого.
3. Если появится такой ИИ, он в итоге станет настолько сильнее человечества, что наше существование будет зависеть от того, совпадают ли его цели с нашими.
4. Уже сейчас возможно провести полезные исследования, которые увеличат наши шансы на успешное решение задачи совпадения наших целей.
5. Поскольку мы уже можем начинать эти исследования, мы, вероятно, и должны так поступить, поскольку будет достаточно недальновидно оставлять эту проблему до тех пор, пока она не станет слишком явной и срочной.
Читать полностью »

Рисками, связанными с ИИ, я заинтересовался ещё в 2007 году. В то время реакция большинства людей на эту тему была примерно такой: «Очень смешно, возвращайся, когда в это будет верить кто-нибудь, кроме интернет-придурков».

В последовавшие годы несколько чрезвычайно умных и влиятельных фигур, среди которых Билл Гейтс, Стивен Хокинг и Илон Маск, публично поделились своими опасениями по поводу рисков ИИ, а за ними повторяли сотни других интеллектуалов, от оксфордских философов до космологов из MIT и инвесторов из Кремниевой долины. И мы вернулись.

Затем реакция поменялась на: «Ну ладно, парочка каких-то учёных и бизнесменов могут в это верить, но вряд ли это будут настоящие эксперты в этой области, реально разбирающиеся в ситуации».

Отсюда появились такие заявления, как статья в Popular Science "Билл Гейтс боится ИИ, но исследователям ИИ лучше знать":

Поговорив с исследователями ИИ – настоящими исследователями, с трудом заставляющими такие системы вообще как-то работать, не говоря уже о том, чтобы работать хорошо, становится понятно, что они не боятся, что сверхинтеллект вдруг подкрадётся к ним, ни сейчас, ни в будущем. Несмотря на все пугающие истории, рассказываемые Маском, исследователи не спешат строить защитные комнаты и самоуничтожение с обратным отсчётом.

Читать полностью »

Нужно волноваться не за машины, не подчиняющиеся командам. Злонамеренные люди и неправильно понятые команды – вот, что должно внушать опасения.

Почему роботы должны научиться отказывать нам - 1

HAL 9000, разумный компьютер из «Космической одиссеи» предсказывает зловещее будущее, в котором машины, наделённые интеллектом, не признают главенство человека. Захватив контроль над космическим кораблём, и убив почти всю команду, HAL отвечает на приказ возвращающегося космонавта открыть шлюз спокойным голосом: «Прости, Дэйв, но, боюсь, я не могу этого сделать». В недавнем НФ-триллере «Из машины» соблазнительный гуманоид Эва обманом заставляет несчастного молодого человека помочь ей уничтожить её создателя Нэйтана. Её махинации подтверждают мрачные предсказания Нэйтана: «Однажды ИИ посмотрят на нас так же, как мы смотрим на ископаемые скелеты на равнинах Африки. Прямоходящие обезьяны, живущие в пыли, с грубым языком и инструментами, чьё вымирание неизбежно».
Читать полностью »

Статья является вольным переводом The Flaw Lurking In Every Deep Neural Net.

Недавно опубликованная статья с безобидным заголовком является, вероятно, самый большой новостью в мире нейронных сетей с момента изобретения алгоритма обратного распространения. Но что же в ней написано?

В статье "Интригующие свойства нейронных сетей" за авторством Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow and Rob Fergus, команды, включающей авторов из проекта Google по глубокому обучению, кратко описываются два открытия в поведении нейронных сетей, противоречащие тому, что мы думали прежде. И одно из них, честно говоря, ошеломляет.
Читать полностью »

Угроза «восстания машин» будет изучена

Одной из самых обсуждаемых новостей в англоязычном Интернете стало интервью профессора философии Хью Прайса, сопровождавшее сообщение о скором запуске Центра по изучению глобальных рисков при Кембриджском университете (CSER), а тема «восстания машин» стала превалирующей при упоминаниях CSER.

Даже на новостных сайтах с весьма консервативной публикой, вроде BBCnews, число комментариев под соответствующей новостью доходит до нескольких сотен.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js