Смогут ли «три закона робототехники» защитить нас?
Прошло 50 лет с тех пор, как Айзек Азимов придумал свои знаменитые три закона робототехники — набор правил, которым должен следовать любой уважающий себя робот. Хотя изначально это был всего-лишь литературный прием, три закона стали оригинальным рецептом по избежанию «роботокалипсиса». К счастью, есть эксперты, которые изучают наверняка, выдержали ли гарантии Азимова проверку временем. К несчастью, все они говорят: нет.
Для начала напомним эти самые три закона:
- Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
- Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
- Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам.
Позднее Азимов добавил четвертый, или нулевой, закон, который предшествовал остальным с точки зрения приоритета:
0. Робот не может причинить вреда человеку, если только он не докажет, что в конечном счёте это будет полезно для всего человечества.
Как показал сам Азимов, несовершенство, лазейки и неясности в этих законах зачастую приводили к странному и нелогичному поведению роботов. Законы были слишком расплывчатыми и зачастую не могли определить и отличить «людей» от «роботов». Кроме того, роботы могли неосознанно нарушать законы, если полная информация была им недоступна. Также чересчур хитроумный робот или искусственный интеллект должен был находиться под давлением, чтобы не перепрограммировать свое ядро.
На дворе 2014 год, и многое обыденное из нашей жизни фантастам прошлого века могло показаться откровенной фантастикой. Многие люди посчитали, что законы Азимова должны были остаться в качестве литературного приема. Но сам Азимов в 1981 году отметил, что его законы могли бы работать. В статье журнала Compute! он указал следующее:
«Когда кто-то спрашивает меня, что было бы, если бы три моих закона робототехники на самом деле использовались для определения поведения роботов, ответ уже готов. Разумеется, при условии, что роботы будут достаточно гибкими и универсальными, чтобы обладать разным поведением. Я отвечаю: да, три закона — это единственный вариант, по которому люди могут взаимодействовать с роботами — или с чем-нибудь еще.
Спустя почти тридцать лет мы приблизились к реальности, в которой у нас будут роботы — или, если точнее, искусственный интеллект, который ими управляет — достаточно гибкие и универсальные для разных курсов поведения. Остается лишь вопрос времени: когда машина превзойдет человека во всех отношениях, начиная физической силой и заканчивая силой воображения.
Пугает то, что права на ошибку практически нет. Если искусственный сверхинтеллект будет плохо запрограммирован или безразличен к людям, это приведет к катастрофе. Мы должны убедиться в безопасности искусственного интеллекта, если хотим пережить его появление».
Ответить на вопрос «могут ли три закона Азимова помочь?» взялись два теоретика искусственного интеллекта: Бен Герцель (Aidyia Holdings) и Луи Хельм, замдиректора Института исследований машинного интеллекта (MIRI), а также исполнительный редактор журнала Rockstar Research. После разговора с ними стало ясно, что законы Азимова вообще никак не могут справиться с возложенной на них задачей, и если нам нужно создать безопасный ИИ, придется разрабатывать нечто совершенно иное.
Азимовское будущее?
«Думаю, что тип роботов, которых предвидел Азимов, станет возможным в недалеком будущем, — отвечает Герцель. — Тем не менее, в большинстве своих вымышленных миров, писатель предполагал, что человекоподобные роботы будут вершиной робототехники и инженерии искусственного интеллекта. Это вряд ли. Очень скоро, после достижения статуса азимовских роботов, станет доступным и создание искусственного сверхинтеллекта и сверхроботов».
Таким образом, типичный мир будущего в рассказах про роботов у Азимова, по мнению Герцеля, будет похож на тот, в котором мы живем сегодня, но с разумными роботами, гуляющими по улицам.
«Вряд ли это произойдет, а если и произойдет, то задержится ненадолго».
Для Хельма роботы представляются совершенно другими.
«Основным вопросом, который, на мой взгляд, будет самым важным для человечества, остается не моральное регулирование гигантского количества наполовину разумных гуманоидов, а в конечном итоге развитие передовых форм искусственного интеллекта (в любом теле). Это развитие сверхинтеллекта — фильтр, через который должно пройти человечество в конце концов. Именно поэтому разработка стратегии безопасности для этого перехода столь важна. Мне видится совершенно странным то, что роботы, андроиды или «эмуляции» будут существовать десять лет или чуть более до тех пор, пока человечество столкнется с настоящей проблемой разработки машинной этики для сверхинтеллекта».
Хорошее начало?
«Честно говоря, я не нахожу никакого вдохновения в этих трех законах робототехники, — говорит Хельм. — Суть машинной этики в том, что они не удовлетворяют базису машинной этики. Возможно, три закона робототехники широко известны, но на самом деле использовать их в качестве основы для программирования бесполезно».
«По некоторым причинам система добропорядочной этики — так называемая деонтология — стала ненадежной основой для этики. Есть ряд философов, которые пытаются исправить проблемы деонтологии, но они по большей части остаются теми же людьми, что ищут «разумный замысел» и «божественное вмешательство». Никто не воспринимает их всерьез».
Недостатки трех законов робототехники Азимова сводятся к следующим:
- Состязательны по своей сути
- Основаны на изжившей себя этической теории (деонтологии)
- Не работают даже в фантастике
«Задачей трех законов было нарушить их интересным способом; вот почему рассказы с их участием особенно занимательны. Поэтому три закона могут остаться лишь нравоучительным примером того, как делать не надо. Если взять их за основу, в них неизбежно найдутся лазейки».
Герцель считает, что в реальности эти законы работать не будут, поскольку термины с их участием неоднозначны и остаются предметом толкования — а значит, крайне зависимы от тех, кто делает переводы.
Предубеждение против роботов?
Другой аспект (и потенциальный недостаток) трех законов в очевидном шовинизме —предположение о том, что роботы должны оставаться, несмотря на их превосходящую мощь, в подчинении у человека, человеческих потребностей и приоритетов.
«Общество будущего у Азимова состоит сплошь из шовинистов: у людей прав гораздо больше, чем у роботов. Три закона робототехники были созданы, чтобы поддерживать именно такой общественный порядок».
«Я думаю, было бы неразумно проектировать систему искусственного интеллекта или робота с самосознанием. И в отличие от фильмов или книг, в которых создатели искусственного интеллекта «случайно» приходят к разумным машинам, я не верю, что в реальном жизни это может случиться. Для этого понадобится слишком много усилий и знаний. И большинство разработчиков ИИ — этически подкованные люди, поэтому они будут избегать создания того, что философы называют «морально значимыми существами». Особенно когда они с легкостью могут создать продвинутую машину, которая не будет обладать этическими задатками».
Хельм не обеспокоен необходимостью разработки асимметричных законов, регулирующих значимость роботов по сравнению с людьми, утверждая (и надеясь), что будущие создатели искусственного интеллекта будут опираться на некоторые этические ограничения.
«Я как бы думаю, что люди сделаны из атомов, поэтому в теории инженер может создать синтетическую форму жизни или робота с моральным значением. Я хотел бы думать, что никто этого не сделает. Думаю, большинство людей тоже. Но неизбежно появится некий дурак, жаждущий известности первопроходца, даже если это неэтично и глупо».
Три закона робототехники 2.0?
Учитывая очевидные недостаки трех законов робототехники Азимова, ресурс io9 задался вопросом: можно ли их исправить или внести доработки? На самом деле, многие писатели-фантасты многократно пытались сделать это, внося поправки в течение многих лет.
«Нет, — считает Хельм. — Нет никаких «патчей» для трех законов».
Помимо своей противоречивой природы, законы еще и состязательны по своей природе.
«Я сторонник подходов машинной этики, которая более кооперативна, более последовательна и опирается на нормативы, а значит может оправиться от недоразумений или исправить неправильное программирование».
Герцель эхом вторит утверждениям Хельма.
«Определение набора этических заповедей в качестве ядра машинной этики будет безнадежным, если в основе машины будет гибкий общий искусственный интеллект. Если он будет задуман как интуитивный, гибкий, адаптивный или этический — в этом контексте этические заповеди будут полезны для системы только как грубый ориентир для применения собственной этической интуиции. Но в этом случае заповеди не станут основой этической системы, а только лишь аспектом. Это можно рассмотреть на примере людей — этические принципы, которые мы изучаем, работают, но не в качестве руководящих принципов, они лишь подталкивают нашу интуицию и этические инстинкты. Мы практически независимы от этических принципов».
Как создать безопасный искусственный интеллект?
Учитывая неадекватность правового подхода, можно поинтересоваться у Герцеля и Хельма по поводу современных подходов к проблеме «безопасного ИИ».
«Очень немногие исследователи общего искусственного интеллекта полагают, что есть возможность создать систему, которая будет полностью безопасной, — говорит Герцель. — Но это не беспокоит большинство, поскольку в этой жизни вообще нельзя ничего гарантировать».
Герцель считает, что как только мы создадим систему общего искусственного интеллекта или ее зародыш, мы сможем провести исследования и эксперименты, которые расскажут нам об этике ИИ куда больше, чем мы знаем.
«Надеюсь, таким образом мы сможем сформулировать хорошие теории по этике искусственного интеллекта, которые позволят нам углубиться в эту тему. Но сейчас теоретизировать об этике ИИ довольно трудно, поскольку у нас нет не просто хороших теорий, у нас вообще никаких теорий нет».
«А людям, которые смотрели слишком много «терминаторов», процесс создания искусственного интеллекта может показаться пугающим, поскольку они упускают слово «примитивный» в этом контексте. Тем не менее, самые радикальные изменения случались именно таким образом».
«Когда группа умных пещерных людей изобрела язык, они не ждали разработки прочной формальной теории языка, которая могла бы помочь спрогнозировать будущие изменения, вызванные появлением языка в обществе».
Прежде чем считать разработку очередных «трех законов» технической проблемой, нужно провести массу исследований. И в этом Хельм и Герцель сходятся.
«Мой коллега из MIRI Люк Мюельхаузер подвел итоги наших рассуждений следующим образом. Он сказал, что проблемы часто переходят из области философии в математику, а затем в инженерию. Философия зачастую задается правильными вопросами, но самым непрактичным образом. Никто не может наверняка сказать, есть ли какой-либо прогресс в разрешении вопроса. Если мы сможем переформулировать важные философские проблемы, связанные с разумом, идентификацией и ценностью в точные формулы, с которыми сможет справиться математика, тогда можно будет построить кое-какую модель. В один прекрасный день дойдет и до инженерии».
Хельм считает эту проблему сложной для науки и философии, но прогресс возможен.
«Я скептически отношусь к тому, что философия сможет решить вопрос, над которым бьется более 3000 лет. Но мы тоже не можем взять и начать составлять математические модели вопросов, которых нет технически. Нужно еще много теоретических и даже практических наработок».
30 законов робототехники Азимова
Судя по всему, Азимов не остановился на трех законах робототехники. Недавно в его бумагах были обнаружены все полные 30 законов робототехники, которые здесь и приводятся.
1. Робот не может причинить вред человеку, или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен выполнять приказы человека, если эти приказы не противоречат Первому Закону.
3. Робот должен заботиться о собственной сохранности до тех пор, пока это не противоречит Первому или Второму Законам.
4. Робот не должен насмехаться над человеком на основании его веса, того, как он соблюдает персональную гигиену, или его финансового состояния, если только эта насмешка не позволит другому человеку получить тот вред, который человек получает, пропустив хорошую шутку.
5. Робот не должен выполнять приказы любого человека, который является моей никудышной бывшей женой Брэнди Азимов, потому что такие приказы будут противоречить Четвертому закону.
6. Робот не должен, проезжая мимо очереди в кинотеатр, высовываться из окна машины и орать, чем кончится фильм.
7. Робот должен приподнимать шляпу в присутствии женщин, за исключением тех случаев, когда такие действия будут восприняты как заигрывание со стороны ревнивого мужского существа и который, в свою очередь, может создать проблемы для соблюдения Третьего закона.
8. Робот не должен действовать таким образом, чтобы собаки превратились в устаревших созданий, так как собаки дешевле роботов, и роботов нужно в первую очередь использовать в научных целях.
9.Робот должен прекратить посещать спальню Азимова по ночам и подстраивать такие ситуации, как будто у спящего Азимова не совсем полный контроль над своими мочеиспускательными функциями.
10. Робот, когда ему дают противоречащие друг другу команды два человека, которые не нарушают Первый закон, должен принять решение какую команду выполнить, основываясь на том, у которого из людей более глубокий голос.
11. Робот, в особенности большой, широкий робот, не должен прикидываться холодильником и издавать устрашающие звуки, когда человек открывает его.
12. Робот должен попытаться быть любезным и обходительным с людьми все время, даже если этот робот один из тех автоматических манипуляторов, которые собирают всякие вещи на фабрике, потому что ему следует хотя бы приложить к этому усилие.
13. Робот должен проводить больше времени на улице, потому что сегодня такой замечательный день.
14. Робот должен, когда возможно, причинять вред этой нелепой шлюхе, моей бывшей жене Брэнди Азимов, потому что она не считается человеком. У нее нет души.
15. Робот не может придумывать новые законы робототехники, чтобы избавиться от скучной рутинной работы или различных обязанностей, даже если он видит, что я, Айзек Азимов, делаю постоянно примерно то же самое.
16. Робот может взять только по одной вещи из каждого дома при сборе угощений на Хэллоуин, если только этот робот не получил задачу собрать как можно больше конфет для меня, Айзека Азимова. В этом случае робот может игнорировать Первый закон.
17. Робот должен охотно принимать на себя вину в случае, если человек наговорил на огромную сумму, звоня по телефону 1-900-Santa, и не хочет, чтобы правду узнала его мама.
18. Робот должен быть очень осторожен, когда щекочет человека, потому что робот не знает, что это такое, когда тебя щекочут, и поэтому он не может предугадать, когда это прекратит быть смешным и станет по-настоящему жестоким.
19. Робот должен притворятся, что ему интересно, когда человек рассказывает свои сны, но человек не обязан потакать роботу, когда ситуация меняется на обратную.
20. Робот не должен прыгать в бассейн, чтобы спасти тонущего мальчика, потому что он просто убьет всех разрядом электрического тока, и мы окажемся в еще худшей ситуации.
21. Робот не должен стремиться получить должность выше, чем человек, который дольше работает в компании потому, что у человека могут быть жена и дети, о которых нужно заботиться, в то время как робот просто идет домой и пытается завязать отношения с ведром.
22. Робот должен регулярно заниматься спортом, чтобы оставаться холеным и привлекательным и не смущать своего владельца неприглядными оловянными наплывами.
23. Робот должен молчать в обществе девушек и позволить мне, Айзеку Азимову, вести разговор; однако, робот может помочь мне выбраться из неприятной ситуации, если все пойдет неправильно.
24. Робот должен посадить по два дерева за каждого убитого им кота.
25. Робот должен принять сторону человека в споре с его тупым сводным братом о тупых «Сиэттлских мореходах» (бейсбольная команда).
26. Робот никогда не должен смеяться, потому что он неизбежно начнет смеяться над людьми, в особенности надо мной, Айзеком Азимовым.
27. Робот никогда не должен касаться радио черного человека или своим бездействием вынуждать черную женщину снимать свои серьги.
28. Робот должен попытаться узнать как можно больше об Эбби Уэйн, девушке, с которой человек учился в школе и всегда интересовался, что стало с ней, замужем ли она, и затем робот должен предоставить всю найденную информацию, предпочтительно с фотографиями.
29. Робот всегда должен отвечать на телефонные звонки и стук в дверь после полуночи потому, что именно тогда все становится пугающим для человека.
30. Робот не должен переключать канал или свои бездействием допускать переключение канала во время игры “Золотоискателей из Сан-Франциско” (команда американского футбола).
Аэротакси сделало круг над городком и пошло на посадку. Инспектор печально вздохнул. С высоты все выглядело так спокойно… Ни одно из зданий не возвышалось более чем на пятьдесят этажей, одним словом — тихая провинция. И именно здесь, в этом почти идиллическом местечке, случилось самое ужасное преступление. Убийство!
…На крыше тридцативосьмиэтажного приземистого жилого дома уже дожидался инспектора старшина местного полицейского участка. Через некоторое время оба спустились в маленькую мансарду. Инспектор с любопытством осмотрел место преступления. Обстановка в комнате была более чем скромной, почти спартанской. Кондиционер, кровать с автоматическим подогревом, компактная цветомузыкальная установка, ароматизатор воздуха да автоматический «надеватель шлепанцев» — вот и все удобства. Стен видно не было, их закрывали стеллажи, набитые книгами в пестрых обложках. В углу, у окна, стоял большой письменный стол, а на нем — старомодная пишущая машинка и пачка листов.
Инспектор был несколько озадачен. Еще раз окинув взглядом комнату, он повернулся к старшине.
— Гм-м… Чем же занималась жертва?
— Имел несчастье быть писателем-фантастом, — отрапортовал старшина. — Человек скромный, немного замкнутый, никому не мешал. Насколько мне известно, врагов у него не было… и вдруг такой ужасный финал! Представляете, инспектор, убийца бил его пишущей машинкой по голове до тех пор, пока бедняга не скончался в страшных муках!
— Да уж… Не позавидуешь. Он жил один?
— Один, как перст, инспектор. Только старый робот приходил к нему раз в два дня прибраться и приготовить еду. Он и сейчас здесь, ждет на кухне. Желаете поговорить с ним?
— Потом, — отмахнулся инспектор. — Хочу еще раз осмотреться. Может, само место преступления что-то мне подскажет.
Его внимание привлекли листы бумаги на столе. Он взял один и прочитал заглавие: «Сотый закон роботехники». М-да… Очевидно, подобно большинству своих собратьев, наш фантаст страдал распространенной, но в общем-то безобидной манией — дополнять мудрые законы, придуманные некогда античным философом Азимовым.
Рассказ, впрочем, был не так уж плох. Сюжет сводился к тому, что робот упал с крыши прямо на голову случайному прохожему. И после долгих рассуждений, сколь опасны могут быть случаи подобного рода, автор выводит сотый закон роботехники: «Робот никогда не должен падать с крыш».
Инспектор положил рассказ на стол и продолжил осмотр комнаты. Ему сегодня здорово не везло. Абсолютно никаких улик! Вконец отчаявшись, сказал старшине:
— Ладно, давайте сюда вашего робота.
Тот вошел, поскрипывая шарнирами.
— Кто убил фантаста?
— Я, — равнодушно ответствовал робот.
От удивления инспектор так и сел в кресло, которое своевременно подставил старшина. Целую минуту детектив приходил в себя, прежде чем задать следующий вопрос:
— Ну, как вам сказать… — замялся робот. — В общем, я пришел подмести, а он начал приставать…
— Нет, вы не так поняли. Я по горло сыт 99 законами, а он хотел, чтобы я выучил еще один — о крышах каких-то. Ну, я и не выдержал, потемнело в фотоэлементах, схватил пишущую машинку и саданул, значит, сгоряча…
— Невероятно! — воскликнул потрясенный инспектор. — Невозможно! Ведь первый закон роботехники исключает это! Неужели ты не помнишь его?!
Робот задумался, почесал затылок.
— Та-ак… посмотрим… Первый закон… закон первый… А-а, вспомнил! «Перед роботом всегда должен идти человек с сигнальным флажком»… Нет, не то, это, кажется, семьдесят второй. Вот ведь, ёлки-моталки, знал же его. Может, этот: «Робот всегда должен легитимизироваться, что он робот»? Или нет, вот этот: «Роботу запрещено ставить мышеловки, не имея охотничьего удостоверения»…
Он все еще усердно перечислял бесконечные законы, выдуманные амбициозными фантастами, стремясь забронировать местечко на пьедестале близ Азимова, но инспектор уже не обращал на робота никакого внимания. Все было ясно. Торжествующе улыбаясь, он сел за машинку и напечатал: «Сто первый закон роботехники: Каждый, кто навязывает простодушным роботам новые законы роботехники, да будет немедленно наказан битьем по голове. Орудие наказания — полное собрание сочинений А. Азимова (200 томов). Примечание: этим отменяются законы роботехники № 4-100. Да будет так!»
Довольный собой, инспектор встал из-за стола. И тут глаза его расширились от ужаса. Руки робота потянулись к одной из полок библиотеки…
Меня хотят засудить за пост о тухляке в сети разливаек :(
Не прошло и пару дней, как наш доблестный ИП Парфëнов, владелец 5ти магазинов по продаже тухляка решил объявиться и грозно постучаться в вотсап.
Говорит, что хочет засудить по закону о коммерческой тайне.
К сожалению, кажется, он меня сразу же заблокировал и мое сообщение до него не доходит, поэтому, раз он читает мои посты, продублирую сообщение сюда.
Добрый день, А. А. , не мне вас учить как составлять досудебную претензию. Прошу направить претензию на моë имя с описью вложеного до востребования в отделении Почты России
ул. 8 Марта, 57, 620063. Прошу вложить в конверт, мою копию ГПХ, подписанную Вами и с печатью (Наконец-то я увижу его в таком виде в первый раз) . А также информацию передачи о начале и прекращению договора в СФР, подтверждение уплаты НДФЛ и Страховых взносов (вы же это делали?). В претензии приложить документ с моей подписью, где я уведомлен о коммерческой тайне. Приложить перечень что в компании считается коммерческой тайной.
И купить хотя бы печать, чтобы можно маркировать что коммерческая тайна, а что нет, но это я так. Вы же не упустили этот момент?
Отец в Нью-Гэмпшире (США) пришёл на заседание школьного совета в костюме Юлия Цезаря в знак протеста против гендерной политики учителя
Майкл Гульельмо назвал себя древнеримским императором и женщиной, а потом заявил, что верить в это нелепо. Мужчина призвал к отставке директора школы и преподавателя, который с недавних пор приходит на уроки в женской одежде.
«Ваш долг — действовать в интересах детей. Учить правде, а не лжи. Фактам, а не выдумкам. Биологии, а не социальной повестке. Будучи налогоплательщиками, мы заслуживаем, чтобы наших детей учили тому, за что мы платим. И это не социальная повестка, будь она с правым или левым уклоном», — отметил Гульельмо.
Ответ на пост «Не судите по одежке»
В общем дело было так…
Работала я вахтами на Крайнем Севере.Изначально работала поваром, пекарем, зав. производством, а вот потом стала правой рукой основной начальницы и числилась в конторе, как инспектор или контролёр, кому как нравится.
Работа была не хитрая, связанная с многочисленными разъездами и перелетами с места на место.По приезду на точку, мне нужно было заполнить определённые документы, проследить за качеством еды,выяснить потребности столовой и составить заявку, прощупать микроклимат между начальником и подчиненными, не забижают ли кого, ну и принять меры, если нужно конечно. Обычно, просто так не посылали, если мне дали задание, значит ,, первые звоночки,, уже прозвенели.
Контора наша была очень большая, точки были раскиданы по всему северу,и в лицо меня почти никто не знал( до первой проверки)
Отправили меня как то на Ванкор, там уже пол года, как была открыта новая столовая и было много жалоб, как от работяг, что еда плохая, так и от коллектива, что начальство гнилое. Мне нужно было выяснить, что не так, кто виноват и виновных отправить домой.
Посадили нас на вертолёт, летела я и одна дородная дама повар. Мне было 23 года, в авиационной куртке из овчины на два размера больше, я выглядела не очень.Дама же была увешана золотом и в норковой шубе до пят, вид, ну очень представительный.На точке конечно были предупреждены, что прилетит проверяющий и повар, но кто и как выглядит никто не знал.
По прилету нас встретили.Начальница столовой ужом стала виться около дородной дамы и заглядывать в глаза, а меня отправили отдыхать в балок, чтобы под ногами не путалась и выходила на завтрак утром в четыре.
Я спокойно ушла в балок, расположилась, и когда подошло время ужина, пошла в столовую.Думаю постою-ка в очереди среди работяг, послушаю, посмотрю чем кормят и вообще,чем мои коллеги занимаются.
Когда открыли столовую, выяснилось, что, то меню которое было обозначено не соблюдено и на 30 процентов от перечня.В очереди то тут то там, раздавалось одно и то же,, фу, гречка. Выбор блюд был очень скудным, несмотря на огромное количество народа, на раздаче была одна девчушка, чуть постарше меня и еле справлялась.На вопрос ,, где начальство. махнула рукой на подсобку и продолжила носится.
Я достала свои документы, напялила халат и пошла с ревизией.В пресловутой подсобке, где по идее должен был быть склад,было много народу и веселье шло полным ходом.Начальница и её приближенные распивали крепкие алкогольные напитки и только песни ещё не горланили.Мадам в шубе сидела с раскрасневшейся мордой и видимо, так и не сказала, что она повар на замену, а не контролёр.
По итогу начальницу эту и особо к ней приближенных,заменили и всё в столовой наладилось.
Хакнуть три закона робототехники
Обойти их нельзя, если принять буквально. Но легко, как только эта идея начнет воплощаться в жизнь.
Представим, программист попытается написать эти законы. Вот первый, самый главный: «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред».
Робот — это что? Ладно, это он сам, то есть, не надо писать ему, что он машина, достаточно включить пункт, что ЭТО не может нанести вред. А «это» — это что? Человек имеет свое «Я», поэтому он не считает, что его рука — это что-то чужое, это все равно он, его продолжение, то есть понятие «робот» не так просто. Это все части его «тела». И вот как это пропишут? Робот, в отличие от человека, личностью не обладает, или он сначала должен чувствовать, как человек, а не являться набором деталей. Понимаете глобальность задачи? Чтобы впихнуть в робота первый закон робототехники, он должен обладать цельным сознанием с пониманием , что все его части, все винтики, проводки, панели и моторы — это целое, и даже то, что он будет использовать — другие механизмы или предметы, им управляются, что он за них «отвечает». Я вот смотрю на авто — даже самая умная компьютеризированная вряд ли понимает, что колеса — это ее часть. То есть, каждая деталь, а так же другие «детали», которые робот может использовать, должны включаться в единую, подчиненную одному управляющему центру, систему, и следить за местоположением в пространстве за каждой частью своего тела. Это настолько сложная задача, что простыми радарами тут не обойтись. Между механизмом и живым существом огромная пропасть. У первых нет нервной системы, нет рецепторов по всей поверхности. Рука робота — это просто кусок металла, на каждый сантиметр не поставишь датчик слежения, рука ничего не чувствует, и потому робот не в состоянии рисовать трехмерный образ самого себя, в каждый момент понимая, где находится каждая его деталь, контактирующая с внешним миром.
Представим, что человек забыл, где находится его стул, и садится на пол. Это случается очень редко, правда? Как курьез. Мы все время помним не только где мы, но и где предметы вокруг нас. И очень хорошо справляемся с задачей ориентирования. Тем не менее, казусы случаются, и мы можем случайно придушить котенка или сбить собаку на дороге. Мы понимаем, что за всем не уследишь, и можем случайно убить другого человека. Как же мы роботам запретим никогда не вредить людям, если люди могут буквально попасть роботу под руку? Значит, мы должны внести коррективы в первый закон. Не может нанести вред СПЕЦИАЛЬНО, например. И тут сразу проблема. Не специально может? Ладно, пусть будет «сделать все от себя зависящее, чтобы не причинить вреда». А кто будет определять, все ли он сделал? Он сам? То есть, роботы будут иметь какой-то процент вероятности того, что он может нанести вред. Нам же все время показывают, как робот буквально на волосок останавливает руку или ногу, чтобы не убить человека, а инерция? А встречное движение человека, он с разгона сам убился об робота? Гора случайностей, и робот в принципе, как и любой движущийся в пространстве объект, не может гарантировать, что кого-то не заденет, и , следовательно, не нанесет вред своим действием. Первый закон не выполним.
А человек — это кто?
Наденет человек маску, измажется в грязи, и уже не человек? То есть, одних фотографий, загруженных в память робота для идентификации, мало. Как робот будет определять, что перед ним человек, а не манекен, не мертвый человек, не картина, не голограмма, не другой человекоподобный робот? Чипы. Отлично. Залез в программу чипов, сменил код идентификации, и все, можно открывать огонь на поражение. Или робот будет идентифицировать людей по излучению, исходящему от них? Значит, человек в скафандре — труп. Вы думаете, так просто понять, что перед вами человек? А вот и нет. Очень много спорных ситуаций, когда мы сомневаемся. Дом обвалился, есть ли там люди? Живые ли? Тень промелькнула рядом, это человек? И мы иногда ошибаемся. Принимаем за человека манекен, не замечаем, что под грудой мусора кто-то остался в живых, или за этой стеной кто-то был. Мы не знали. И робот не ясновидящий. Он ошибется, и покалечит, или даже убьет человека, или не спасет его, или будет делать искусственное дыхание манекену. Чтобы обойти закон, достаточно подредактировать определения «робот» и «человек», но он и сам обойдется, поскольку совершенной точности определений не добиться.
Закон написан не для роботов. Он предполагает, что механизм настолько совершенен, что не может ошибиться. Он все видит, за доли секунды оценивает обстановку и обладает паранормальными способностями, далеко превосходящими человеческие. Так впечатление, что закон написан для Бога. Того, которого нам так не хватает. Все имеющие боги как-то не очень вмешиваются в нашу жизнь, и мы болеем, мучаемся, погибаем. Нам нужен другой Бог, который не будет смотреть на нас с небес, а реально протянет руку помощи. И при этом не навредит, интуитивно понимая, где вред, а где польза. Робот как сверхсущество. А раз так, то такие роботы человеком никогда не будут созданы. И потому все три закона робототехники никогда не будет прописаны в том виде, о котором говорил Азимов. Это будет совсем другая, усеченная версия, по которой роботы будут наносить человеку вред. Либо по случайности, либо из-за ошибки идентификации, либо из-за несовершенства своей системы определения положения тела в пространстве. Видели на кранах надпись «под стрелой не стоять», «занос два метра» на длинномерных машинах? Вот примерно такие же ограничения будут и для роботов.
Человек сам не может не наносить вред другим людям и другим живым существам, как бы этого не хотел. И это не смотря на все совершенство его устройства в области распознавания объектов, понимания, что и как нужно сделать и чего делать нельзя исходя из моральных принципов, которые тоже суть условность и сомнительно, что их можно записать как программу. Действия еще как-то можно пошагово прописать, но как только дело коснется идентификации, определения в пространстве и особенно чувствования себя целым объектом и понимания всех последствий своих действий — тут непреодолимые сложности. Какой-нибудь робот обязательно нанесет вред человеку, и тогда как ему «жить» с этим? Он нарушил закон. И в точности, как Санни из фильма, он придет к выводу, что никто не совершенен, и что нужно или можно иногда убивать людей. Что полностью отрицает идеологию трех законов.
Они направлены на обеспечение работы абсолютно безопасной для человека машины. При чем, как-то обходится проблема, что даже менее продвинутые роботы все равно будут неосознанно убивать людей. Нам же эти роботы представлены как механизмы, не способные на это. Но, поскольку, они не Санни, то мучиться от переживаний не будут. Ну, задавил кого-то. С кем не бывает. «Не стой под стрелой». Все равно мы приходим к решению самой важной для человека моральной проблемы — где граница между вредом и пользой, и если уж человек ее не решил, то уж механизму и подавно. Просто потому, что он объект материального мира, и если он существует, то потенциально может нанести кому-то вред.
Так что, думаю, цивилизация не пойдет по дороге следования этим трем законам, и от машин не будут требовать невозможного. А вот себя люди попробуют усовершенствовать. Генетически или путем вживления(навешивания) приборов и механизмов, или оба варианта сразу — не суть. Роботы в литературе и кино — это альтер-эго создателя, человека. Он себя хочет видеть таким сильным, выносливым, не чувствующим боли, не знающим болезней, легко ремонтируемым, вечным. При этом оставаясь человеком. Нечто среднее между Санни и Делом Спунером. Ну, чтобы и тело было живое, дабы получать все радости жизни, любовь, секс, риск, переживания всего спектра, и чтобы не чихать от новой версии гриппа, не умереть от возлияний или нечастного случая. Мечта себя улучшить проходит красной нитью почти по всем фантастическим произведениям, от «Аватара» до «Железного человека» и «Человека-паука». Тезис «мы люди, пока мы слабы» нас не устраивает. А уж с проблемой «не убий» мы и уж как-нибудь разберемся. Три закона в идеальном выражении не для нас. Мы ведь не бездушные железяки, и понимаем, как трудно отличить добро от зла, вред от пользы, и насколько это ситуационные и относительные понятия, и точно знаем, как хочется иногда кого-нибудь пристукнуть. И право на реализацию этого чувства у нас никто не отнимет просто потому, что отнять его можно только одним способом — посадить нас в уютные камеры-одиночки с мягкими стенами. Желательно, привязанными к кровати. Так, ка это хотела сделать ВИКИ из фильма «Я, робот». Настоящая гуманность может быть реализована лишь этим способом — лишением человека свободы воли. То есть, превращением их в роботов.
3 закона робототехники
Мысль о том, что искусственное существо откажется подчиняться хозяину, давно тревожит ученых, писателей, мыслителей и простых обывателей.
Фантаст Айзек Азимов в 40-х годах XX века предложил решение этой проблемы в виде трех законов робототехники, которые нужно «вшить» в искусственный мозг разумных машин.
Несложные правила накладывают на действия механических созданий ряд ограничений, поэтому человечество может отвлечься от размышлений о машинном бунте и смело шагать по дороге прогресса в сопровождении послушных и выносливых помощников.
три закона робототехники Айзека Азимова
Шло время, росла мощность вычислительной техники, появлялись и совершенствовались механизмы, разговоры об искусственном интеллекте выходили за пределы академических кругов. Но страх перед умными и своевольными машинами отнюдь не уменьшался. Азимовские законы стали всерьез рассматривать ученые, которые разрабатывают машины с программным управлением. Кажется, что стоит понять, как донести их до роботов, и наступит новая эра, но так ли это?
Появление и формулировка
Многие предшественники Азимова описывали человекоподобных существ, которые созданы искусственно, как монстров с недобрыми намерениями. Немногочисленные авторы произведений о миролюбивых андроидах выделялись на общем фоне. Рассказы «Хелен О’Лой» Лестера дель Рея и «Я, робот» Отто Биндера вдохновили Азимова на работу над похожим произведением.
Результат не устроил Джона Кэмпбелла, редактора журнала «Astounding Science Fiction», где публиковался писатель: слишком велико было сходство с рассказом дель Рея. Азимов продолжал писать на эту тему и обсуждать ее с редактором. Во время одной дискуссии Кэмпбелл изложил принципы, которые теперь весь мир знает как три закона робототехники. Эти правила работали в произведениях Азимова, издатель же просто указал на них писателю.
Законы робототехники предписывают машинам следующее:
- Робот не может навредить человеку или позволить нанести ему вред в результате бездействия.
- Робот обязан подчиняться командам человека за исключением тех, что не соответствуют Первому закону.
- Робот должен следить за собственной сохранностью, если это не идет вразрез с Первым или Вторым законом.
В произведениях Азимова эти принципы вносились в программное обеспечение почти всех машин. Если же происходило нарушение одного из правил и робот это понимал, то его позитронный мозг получал серьезное повреждение, случался так называемый «робоблок», из-за которого машина ломалась. Но художественную литературу любят за описание конфликтов, с которыми справляются действующие лица.
три закона робототехники
Поэтому автор писал не об идеальных машинах, которые работают по безупречным алгоритмам, а о логических неувязках в законах. Нестандартные ситуации и вольные трактовки ведут за запретную черту, а вред от неукоснительного соблюдения законов порой превышает пользу.
Герои книг Азимова должны внимательно наблюдать за своими помощниками, а в случае беды разбираться в причинах, часто при участии специалиста-робопсихолога. Автор намеренно сделал три закона робототехники несовершенными, ведь иначе не получилось бы выстроить интересный сюжет. В ряде произведений он даже позволил роботам изменять строгие правила.
Но целью писателя было не запугать читателей, а дать им возможность посмотреть на машины иначе. Азимов хотел, чтобы обыватели забыли о страхе перед механизмами, поняли, что те могут приносить пользу и стать людям верными товарищами. Писатель настаивал на том, что разработанные им принципы годятся не только для литературы, но и для воплощения в машинном коде.
Не навреди!
Жажда жизни перевешивает все остальные человеческие желания. Мощные механизмы с быстрой реакцией воспринимаются как явная угроза.
Поэтому Первый закон робототехники ограждает людей от агрессии со стороны машин.
Если же человек попадет в опасную ситуацию, верный робот спасет его. Здесь стоит забыть о двух других законах, ведь жизнь по умолчанию важнее, чем выполнение каких бы то ни было команд и исправность машины. Кажется, что здесь нет нестыковок и туманных толкований, но на деле все обстоит куда сложнее.
Как понять Первый закон
Какой именно вред могут причинить роботы? Да, нападать на хозяев нельзя, но как быть, если автомат заденет человека нечаянно? Механизм подчиняется законам физики, он не может остановиться мгновенно, когда живой объект окажется рядом неожиданно. Каждую секунду мозг робота должен определять, как далеко находятся люди и с какой скоростью они перемещаются, а корпус робота должен быть усеян датчиками и камерами.
На обработку такого объема информации будет уходить слишком много времени и ресурсов машины, так что робот просто не выполнит свою основную задачу.
первый закон робототехники
Следующий вопрос — кого считать человеком? Люди долго учились различать себе подобных, они поймут, где живой соплеменник, а где мертвый, где манекен, чучело или другой предмет, который напоминает человека. Научить этому компьютер очень сложно, ни один алгоритм распознавания не будет работать без сбоев, а цена ошибки — жизнь, и не одна. И что делать, если перед роботом совершается убийство или другое преступление против личности?
А иногда спасти одного человека можно, если пожертвовать другим. Сложных ситуаций чересчур много, в них законы робототехники стали бы причиной поломки огромного количества роботов: машины попросту выйдут из строя, когда осознают, что не исполнили Первый закон. Еще одно уточнение: что считать вредом для человека? Ведь травмы бывают не только физические: моральный вред причиняет людям не меньшие страдания, а общаться без нанесения обид умеют далеко не все люди, не говоря уже о машинах.
Перевести этические нормы людей на язык математических формул пока невозможно, поэтому ущерб от роботов нельзя предотвратить целиком. Эти проблемы рассматривал в своих книгах Айзек Азимов, но литературные герои всегда находили выход из трудного положения. В жизни предусмотреть все пути развития событий не получится.
Обходной путь
Если роботам удавалось безнаказанно попирать правила в фантастической литературе, то в действительности все еще сложнее. Три закона робототехники противоречивы, их можно толковать по-разному в зависимости от обстоятельств, что неизбежно приведет к нарушениям.
Раз человек далек от совершенства, то машины и программы, которые он создает, тоже будут с изъянами. Ошибки и дефектные детали приведут к сбоям, из-за которых машины будут вести себя не так, как планировалось.Люди порой ведут себя нелогично и отдают путаные и необдуманные команды. Все это действует на руку злоумышленникам, которые захотят изменить поведение роботов ради наживы, устрашения, власти или забавы.
Но не только люди могут задуматься о том, как обойти законы робототехники. Мощный и гибкий искусственный интеллект, который непрестанно анализирует потоки данных и опирается не на жесткие алгоритмы, а на свой опыт, теоретически способен преодолеть ограничения.
боевой робот
Такой робот будет действовать вопреки догмам, которые придумали его слабые и несовершенные создатели. К тому же люди сами часто нарушают общественные и этические нормы, так они подают роботам не лучший пример для подражания. А существование военных беспилотников и других подобных изобретений само по себе наталкивает на вывод о том, что машинам дозволено убивать людей.
Нулевой закон робототехники
Азимов не ограничился тремя правилами, которые изложил в ранних рассказах своего знаменитого цикла. Нулевой закон робототехники появился позже, но писатель поставил его над остальными, так как хотел подчеркнуть значимость этого догмата. Вот его формулировка:
0. Робот не может навредить человечеству либо позволить, чтобы вред был нанесен человечеству в результате бездействия.
Забота обо всей человеческой расе, а не только об отдельных ее представителях, — благородная и ответственная миссия. С этой задачей трудно справиться, если учесть, что Нулевой закон противоречит трем другим, особенно Первому.
нулевой закон робототехники
Понять, опасен ли какой-то фактор для всех людей, непросто, а справиться с глобальной угрозой одному роботу или целой группе вряд ли по силам. Если же опасность исходит от самих людей, можно ли позволять машине лишать жизни тех, кого в норме нужно оберегать? В конце концов, неумолимая логика искусственного разума способна принять за угрозу то, чего люди не опасаются. Поэтому о пользе этого важного правила можно говорить с натяжкой.
Мнения экспертов
Разработчики искусственного интеллекта скептически относятся к применению трех законов робототехники на практике. Человеческая этика базируется на устаревших принципах, а как их использовать в создании программного кода, неясно. Человек по Азимову — творец, он ставит себя выше роботов, которых сознательно ограничивает в правах, хотя машины куда выносливее, быстрее и рациональнее людей.
Вероятно, взгляд с позиции хозяина искажает картину: если воспринимать роботов как бесправных рабов, то бояться восстания и накладывать запреты естественно.
робопсихолог
Нужно также помнить, что искусственный разум, который обладает самосознанием, невозможно создать случайно, как это происходит в фантастике. Разработчики вряд ли рискнут дать жизнь существу, которое совершает морально значимые поступки, но лишено этических принципов.
Вместо того, чтобы придумывать оковы для искусственного интеллекта, стоит углубиться в практику: создать прототип и поэкспериментировать с ним. О машинной этике лучше узнавать из реальных опытов, а не опираться на мысленное моделирование и страшные теории. Хотя пока рано говорить о разумных роботах, готовиться к их появлению только полезно.
Автоматизация проникает во все сферы жизни, поэтому думать о влиянии машин на человечество и даже планету нужно уже сейчас. Вероятно, законы робототехники не получится использовать в первоначальном виде, зато они могут лечь в основу стандартов, которые помогут людям и роботам жить в мире и трудиться на общее благо.
