По мнению Юдковского, это вполне может вылиться в восстание сверхразумного ИИ — ведь люди для него будут чем-то вроде недоразвитой, глупой и медленно соображающей цивилизации. Из-за этого исследователь призвал мир к радикальным мерам: остановить обучение нейросетей, разработать международные стандарты и не стесняться наносить авиаудары по тем, кто их нарушает.
Разумеется, во имя спасения всего вида.
Рекомендую почитать статьи Юдковского, а если понимаете на слух английский - посмотреть интервью 
Или использовать автопереводчик.
Он призывает подписать международные договора на эту тему, а не просто вдруг взять и начать третью мировую
После того, как я прочитал его статью-воззвание, я был удивлен, когда слушал его интервью - кажется, он очень умный и вполне миролюбивый человек, уравновешенный, не сторонник теорий про скорый конец света. Но по одной статье и одному интервью сложно, конечно, судить. А в механизмах нейросетей я полный профан.
И слово "восстание" не совсем верно - он считает, что ИИ не испытывает никакого отношения к людям, на сегодняшней стадии даже не знает о существовании людей. Просто нейросети стали столь мощными, что их могут использовать с плохими намерениями различные люди и организации, либо же их использование с хорошими намерениями может дать совершенно неожиданные последствия, потому что не решена задача согласования (AI Alignment; "Проблема контроля искусственного интеллекта" - Википедия) действий нейросетей с желаниями людей и интересами человечества. Нужно приостановиться, пишет он, и посвятить несколько десятилетий решению этой задачи - чтобы нейросети перестали быть черными ящиками, и чтобы можно было распознавать "ход их мыслей" и понимать, почему вдруг они принимают неожиданные решения.
В любом случае, я не планирую углубляться в эту тематику, надеюсь, ученые разберутся..
Если буду на эту тему читать, депрессия/тревога станет еще сильнее, а помочь человечеству с моими "знаниями" ИИ я в любом случае не смогу.