Наверное, ни для кого уже не секрет, что человечество вплотную подобралось к созданию способного мыслить и принимать решения искусственного интеллекта, а компания Google/Alphabet, лидирующая в этой области, все сильнее начинает ассоциироваться с печально известным, хоть и пока что только вымышленным, врагом человечества, компанией SkyNet. Последняя разработка внутреннего подразделения Deep Mind, программа AlphaGo, уже доказала свою состоятельность, одержав победу над одним из лучших игроков в го за последние 10 лет. Напомним, количество комбинаций в игре превышает число атомов в наблюдаемой Вселенной, так что речь идет действительно об искусственном разуме, а не о счетной машинке. В этом году планируется поединок с еще одним чемпионом.

Машины уже умеют обучаться, что повсеместно используется для поиска и структурирования информации, при создании автопилотов и в проектировании роботов. Машины даже пишут литературные произведения и рисуют картины.И многие евангелисты науки и технологий уже давно видят в этом большую опасность, ведь машине нет разницы, какую задачу решать и каким способом.

Судя по всему, после последних успехов в этой области, опасаясь молвы, а может и здравых упреков, специалисты компании сообщили о работе над защитным алгоритмом, который поможет предотвратить "восстание машин". Все мы знаем о предусмотренной для экстренных случаев «Красной кнопке», которая должна будет отключить мыслящую машину, если что-то пойдет не так. Она имеется, но все не так просто: в основе алгоритма лежит задача не позволить машине обучиться предотвращать свое отключение человеком.

Документ с соответствующими тезисами, формулами и выкладками (PDF) уже находится в открытом доступе, так что желающие могут подтвердить или опровергнуть представленные методы и механизмы, в силу своей осведомленности в этом вопросе.