I
В недавней моей статье по поводу рисков, связанных с ИИ, один из комментаторов попросил меня вкратце сформулировать аргументы, доказывающие серьёзность ситуации. Я написал нечто вроде такого:
1. Если человечество не самоуничтожится, то в конце концов мы создадим ИИ человеческого уровня.
2. Если человечество сможет создать ИИ человеческого уровня, то прогресс продолжится, и в итоге мы придём к ИИ уровня гораздо выше человеческого.
3. Если появится такой ИИ, он в итоге станет настолько сильнее человечества, что наше существование будет зависеть от того, совпадают ли его цели с нашими.
4. Уже сейчас возможно провести полезные исследования, которые увеличат наши шансы на успешное решение задачи совпадения наших целей.
5. Поскольку мы уже можем начинать эти исследования, мы, вероятно, и должны так поступить, поскольку будет достаточно недальновидно оставлять эту проблему до тех пор, пока она не станет слишком явной и срочной.
Читать полностью »