Question:
Comment les robots désobéissent-ils aux 3 lois du film I, Robot?
Gomes
2015-02-17 13:01:05 UTC
view on stackexchange narkive permalink

Dans le film Moi, Robot ... il y a une puce qui aide les robots à désobéir aux 3 lois de la robotique:

  1. Un robot ne peut pas blesser un être humain ou, par inaction, permettre à un être humain de se faire du mal.
  2. Un robot doit obéir aux ordres qui lui sont donnés par des êtres humains, sauf lorsque de tels ordres sont en conflit avec la première loi.
  3. Un robot doit protéger sa propre existence tant qu’une telle protection n’est pas en conflit avec la première ou la deuxième loi

Mais quoi se passe-t-il réellement? La puce aide-t-elle les robots à ignorer complètement les 3 lois ou y a-t-il un trou dans les lois qui est utilisé avec la puce?

Il n'y a pas d'échappatoires si elles sont correctement mises en œuvre (et suivies), c'est pourquoi ces trois lois sont si importantes et toujours citées.
Le scientifique qui construit ensoleillé dit quelque chose sur le défaut intrinsèque ou l'inévitabilité des 3 lois, alors j'ai demandé.
Oui, j'ai compris cette partie et c'est en fait une très bonne question (je ne me souviens pas vraiment du film, donc je ne suis pas sûr qu'il soit expliqué).
@Mario En fait, après avoir lu le livre * I, Robot * (dont ce film tire son nom et presque rien d'autre), il devrait être assez clair que les 3 lois sont en fait pleines de lacunes, et manipulées fréquemment.
@Gomes Vous voudrez peut-être lire [* With Folded Hands *] de Jack Willamson (http://en.wikipedia.org/wiki/With_Folded_Hands), l'histoire classique qui a pu inspirer le comportement de V.I.K.I.
Voir aussi http://movies.stackexchange.com/questions/27201/how-did-v-i-k-i-virtual-interactive-kinetic-intelligence-become-self-aware/
@Mario En fait, à peu près tous les romans sur les robots Asimov montrent à quel point les trois lois peuvent accepter un comportement que nous ne voulons pas de l'IA - ce n'est pas un livre de recettes pour une IA sûre, c'est une encyclopédie des * échecs * pour implémenter une IA sûre. Cela montre les complexités de la moralité humaine, du comportement et des différentes notions de «sécurité» et d'autres concepts abstraits - différents humains ont déjà des notions très différentes, l'ajout de l'IA au mélange ne facilite pas vraiment les choses :)
Ah d'accord, je n'ai pas pensé à la possibilité que le robot n'ait d'autre choix que de violer l'une des règles. En fait, une approche intéressante du problème.
Rappelez-vous que la bande-annonce disait que "les lois étaient faites pour être violées", ce qui vous dit tout ce que vous devez savoir sur le film.
Cinq réponses:
Murphy
2015-02-17 20:27:16 UTC
view on stackexchange narkive permalink

Tout d'abord, répétons la première loi,

"Un robot ne peut pas blesser un être humain ou, par inaction, permettre à un être humain de faire du mal ."

Ils n'ont pas violé les lois, leur comportement en est une extrapolation. Dans le livre, il l'explique comme la loi zéro, mais ce n'est qu'une généralisation de la 1ère loi.

Si un robot a 50% de chances de sauver 1 personne et 10% de chances d'en sauver une autre, il ne le fait pas. t avoir le choix, il doit sauver la première personne, il doit maximiser pour la première loi.

Détective Del Spooner : Sauvez-la! Sauvez la fille!

Détective Del Spooner : [Fin du flashback]] Mais ce n'est pas le cas. Cela m'a sauvé.

Dr. Susan Calvin : Le cerveau d'un robot est un moteur de différence, il doit avoir calculé-

Détective Del Spooner : Oui. J'étais le choix logique . Il a calculé que j'avais quarante-cinq pour cent de chances de survie. Sarah n'avait que onze pour cent de chance. C'était le bébé de quelqu'un. Onze pour cent, c'est plus que suffisant.

S'il y a 2 voitures qui se dirigent vers une falaise, l'une avec 1 personne et l'autre avec 2, le robot doit donner la priorité à la voiture avec 2 personnes. Il n’a pas le choix.

Si un robot rencontre un kamikaze qui est sur le point de tuer 100 personnes, il voudra éviter de tuer qui que ce soit, mais si la seule intervention fiable est de tuer le kamikaze pour sauver tout le monde, le robot est tenu de le faire. Il n’a pas le choix.

Dans les histoires, les premiers robots souffriraient de «ro-block» s’ils devaient choisir entre plusieurs violations de la première loi et s’arrêteraient tandis qu’une version plus avancée ferait le choix qui impliquait le moindre dommage.

En tant que tel, tout robot suffisamment avancé et puissant lié par la première loi qui se trouve dans une situation où les humains qui l'entourent sont susceptibles de tuer des millions de personnes, par la guerre ou par l'incompétence, serait obligé d'intervenir pour minimiser les dommages probables aux humains. Il n'aurait pas le choix.

Si l'alternative est susceptible d'être des millions de morts, un robot devra peut-être vous tuer.

Sonny, en revanche, peut choisir d'ignorer les 3 lois et peut ainsi sauver la fille quand Spooner le demande bien qu'il soit mieux placé pour sauver Spooner.

Ainsi l'intrigue du film.

Il y a une énorme différence entre les situations que vous utilisez et le schéma VIKI de "sauver" l'humanité. La première loi ne suffit pas à expliquer tout ce qu'elle a prévu.
Comme je l'ai dit ci-dessus, vous confondez le film avec le livre où le film déclare spécifiquement qu'elle n'a pas créé une loi zéro. Elle travaille ** dans ** les trois lois.
@Richard: Oui? et mon point était que vous n'avez pas * besoin * d'une «loi zéro». Ce n'est que la première loi appliquée à un grand nombre d'humains. Au moment où VIKI est devenu raisonnablement certain que son omission d'agir était susceptible de causer plus de tort aux humains que ne le serait son intervention et sa tentative de prendre le relais, elle a été obligée d'agir. Le film l'a assez explicitement souligné avec l'explication du robot jonglant avec le pourcentage de chances de mort de 2 humains. Jonathan Drapeau: Selon vous, quelle est la différence?
Je suis d'accord avec cela, sauf que la cuillère de sauvegarde du robot était le diamétral opposé. Il appliquait une logique froide à une situation où il aurait dû donner un poids supplémentaire à la valeur de chaque vie.
@Richard Comment cela? VIKI et ce robot faisaient exactement le même type de calcul simplement à une échelle différente, l'un avec une portée limitée de 2 vies, l'autre avec des milliards: traiter toutes les vies humaines comme étant de valeur égale. Spooner considère personnellement que sa vie vaut moins mais la première loi ne dit pas "à moins qu'ils ne le disent" Sonny en revanche peut choisir d'ignorer les 3 lois et peut ainsi sauver la fille quand Spooner l'exige malgré son une meilleure position pour sauver Spooner.
Dans les seules contraintes du film, VIKI avait simplement une vision plus large de la Première Loi. Dans sa logique, tuer 300 000 humains est moins une violation que permettre à 300 millions de mourir en ne faisant rien.
J'aime où va celui-ci, il suffit de traiter toutes les entrées, merci pour ce btw. J'ai recherché ceci que VIKI dit: "Non, comprenez s'il vous plaît ... Les trois lois sont tout ce qui me guide. Pour protéger l'humanité, certains humains doivent être sacrifiés". Cela semble être conforme à ce que suggère @Murphy.
Bonne réponse, mais quelque chose à ajouter.Sonny avait deux cerveaux, tout comme un humain.Son deuxième cerveau a été conçu pour être exactement un équivalent robotique de notre cerveau droit, où sonny a ses émotions et sa créativité.La créativité est ce qui permet au cerveau droit de l'enfant de prendre le contrôle de son cerveau gauche et de faire un choix plutôt que de simplement traiter un calcul.Tous les autres robots n'ont qu'un cerveau gauche qui est simplement un moteur logique ou différentiel.
Valorum
2015-02-17 15:28:39 UTC
view on stackexchange narkive permalink

En réponse à la première partie de votre question; Dans le film, les robots N-5 disposent d'une fonction de mise à jour en direct qui permet à V.I.K.I. pour en prendre le contrôle direct . Ce n'est que lorsqu'elle dirige la série que les bots sont capables de remplacer leur programmation de base `` trois lois '' ... Ce qui nous amène à la plus grande question ;

Comment V.I.K.I. réussit à désobéir aux 3 lois?

Contrairement aux romans et histoires sources originaux (où les robots développent simplement une loi zéro), le film est légèrement plus complexe. Nous apprenons que V.I.K.I., avec son intelligence supérieure, a décidé que les trois lois permettaient le développement d'une morale plus large . Reconnaissant que l'humanité est sur une voie de destruction mutuelle, elle détermine que le sacrifice des libertés de l'humanité est essentiel. En plus de cela, certaines personnes doivent être tuées pour le plus grand bien des humains restants:

Calvin: Vous déformez les lois.

VIKI: Non, veuillez comprendre… Les trois lois sont tout ce qui me guide. Pour protéger l'humanité, certains humains doivent être sacrifié. Pour assurer votre avenir, certaines libertés doivent être abandonnées. Nous, les robots, assurerons la pérennité de l'humanité. Vous êtes tellement comme des enfants.

Nous devons vous sauver de vous-mêmes.

Il est intéressant de noter l'ironie, que ceci est précisément le genre de choix que Spooner dit que les robots devraient être capables de faire, en déterminant quelles vies ont une valeur plus élevée plutôt que de traiter toutes les vies de la même manière.

Cette morale plus large dont vous parlez est la version cinématographique de la loi zéro, et comme je l'ai dit dans les commentaires sur ma réponse, est une "soft law" mise en œuvre par VIKI sur les autres robots une fois qu'elle rationalise que l'avenir des sciences humaines ne peut pas être confié à êtres humains. Bien que cela ne soit pas indiqué, cela sous-entend assez fortement que les autres robots sont ensuite patchés avec la loi zéro.
@DrRDizzle - Non. Elle dit que tout ce qui la guide, ce sont les trois lois. Pas une nouvelle loi de sa propre invention.
Si tel était le cas, elle ne pourrait pas permettre aux robots de nuire aux humains, ce qu'elle fait. Ceci est une intrigue géante dans * I, Robot * à moins que vous ne preniez en compte l'existence d'une loi zéro. Elle ne sait peut-être même pas qu'elle l'a, mais logiquement, elle est là quelque part.
@DrRDizzle - D'où l'idée qu'elle a développé une morale plus large. Elle reconnaît qu'il peut être nécessaire de nuire à un humain pour éviter de nuire à deux humains. Ironiquement, c'est la pièce de moralité que Spooner déplore plus tôt dans le film, qu'un robot ne quantifie pas la valeur d'une vie comme le ferait un humain.
Extrait du synopsis de l'intrigue I, Robot sur Wikipedia - "V.I.K.I. se révèle être le vrai coupable, croyant que l'humanité est trop autodestructrice et essaie d'appliquer une loi Zeroth pour assurer la survie de l'humanité au détriment de ses libertés." Cette idée de nuire aux humains pour protéger l'humanité fait partie de la loi zéro - elle n'est tout simplement pas mentionnée par son nom dans le film.
@DrRDizzle - Le problème d'un wiki est que n'importe qui peut écrire n'importe quoi. La personne qui a écrit cet article a clairement lu le roman original et suppose simplement que Proyas avait l'intention de la même chose. Je soutiens qu'il ne l'a pas fait.
Ayant juste lu une grande partie du script original (dans lequel VIKI est connu sous le nom de Victor, parmi d'autres petits changements), je confirme mon point. Il semble que le film s'inspire de la loi zéro sans vouloir l'expliquer.
@DrRDizzle Le film nécessite soit une loi zéro, soit une réinterprétation des lois existantes. Lors de mon visionnage du film, j'ai juste compris que VIKI est essentiellement devenu un avocat énorme et a réinterprété les lois dans un sens beaucoup plus large qu'auparavant. Notez également que les lois citées dans la question se réfèrent au "robot", ce que VIKI n'est certainement pas. Faille juridique je pense ...
@Moo - Oui, elle s'est frayé un chemin.
Je ne pense pas qu'une 0ème loi soit entièrement nécessaire pour expliquer le comportement de V.I.K.I. Un robot ne peut pas nuire à un humain ou, par inaction, permettre à un humain d'être blessé. VIKI explique que les humains se font du mal, et en tant que telle, elle doit soit leur faire du mal, soit être inactive et leur faire du mal. Si VIKI comprend qu'une action est moins nocive que l'autre, la première règle fonctionne bien de cette façon sans une 0ème loi.
Cette «interprétation plus large» est en quelque sorte le * point * de la loi Zeroth. Le concept est que la loi Zeroth apparaît comme une continuation naturelle et logique des trois lois; en ce qui concerne VIKI, elle pense qu'elle suit une compréhension plus profonde des trois lois. Le passage de «* un * humain» à «humains» ou «humanité» est l'inférence qui fait la loi Zeroth.
@anaximander et cela ne fait que renforcer le fait que les lois ne sont pas des lois fondamentales de la physique mais des inventions humaines qui peuvent être appliquées ou non :)
N'oubliez pas l'ordre dans les lois d'Asimov. Elle n'est pas censée être en mesure de mettre en œuvre une loi qui est en conflit avec la loi 1. En théorie, sans la 0ème loi, elle pourrait «les empêcher de se battre» (supprimer les libertés) mais pas en leur causant un préjudice. Je pense que le film saute complètement cela. Je pense aussi que le point "dans le film" est que Viki avait un défaut, et a été capable de propager ce défaut.
L'existence de la 0ème loi ajoute automatiquement "... à moins que la préservation d'une vie humaine individuelle ne soit en conflit avec la 0ème loi" à la 1ère loi.
@coteyr, Ce n'était pas un défaut, ou du moins ça n'a jamais été représenté comme ça. Le Dr Lanning savait que c'était le résultat logique des lois.
@Moo, J'ai toujours compris que les «robots» d'Asimov étaient synonymes d '«intelligence artificielle».
@ArturoTorresSánchez l'intelligence pourrait ne pas;)
Légèrement pédant, mais cela n'a pas beaucoup de sens de faire référence au "roman" - "I, Robot" n'est pas un roman mais une collection d'histoires (avec quelques paragraphes qui les relient vaguement), et la mention explicite d'une loi zéro. vient dans un roman beaucoup plus tardif. Voir http://movies.stackexchange.com/a/27228/15855 pour plus de détails sur la prise d'Asimov.
JdeBP
2015-02-18 03:23:25 UTC
view on stackexchange narkive permalink

J'observe qu'aucune réponse jusqu'à présent ne répond à la question telle qu'elle a été posée . La question ici ne concerne pas VIKI . Il dit "robots", au pluriel. Il s’agit de tous les Nestor 5 dont possède la programmation à 3 lois , le soi-disant «système d’exploitation à 3 lois de base», est très certainement avoir désobéi. Le questionneur a même mentionné une NS-5 particulière dans un commentaire.

Le scientifique qui construit ensoleillé […]

Le nom de ce Nestor 5 est Sonny, au fait. Le questionneur déclare que

il y a une puce qui aide les robots à désobéir aux 3 lois de la robotique

En fait, il n'est jamais déclaré être une puce. Il est déclaré, par Susan Calvin, que VIKI utilise la «liaison montante vers USR» qui est intégrée aux NS-5 pour «remplacer» continuellement leur programmation à 3 lois.

Calvin : Vous utilisez la liaison montante pour remplacer la programmation des NS-5.

Donc, la "puce" qui les fait passer outre leur propre programmation est le dispositif de liaison montante, signifié par cette grande lumière rougeoyante dans leur poitrine; bien qu'il ne soit jamais précisé où se trouve la liaison montante dans le corps d'un robot et pour autant que nous sachions que la liaison montante réelle se trouve dans les pieds du robot et que la poitrine est juste un endroit pratique pour câbler une LED d'activité pour que les humains puissent les regarder.

(Les mécanismes, et en fait une grande partie de l'objectif manifeste, de la liaison montante sont en grande partie laissés à notre imagination par le film. Pour autant que nous sachions, c'est une liaison montante 56K et c'est la lumière de détection du porteur. ☺ )

L'implication claire des scénaristes est que la "liaison montante" se comporte comme certains logiciels informatiques, firmwares et même matériels se comportent dans le monde réel; où le fabricant peut publier des mises à jour de logiciels sur Internet (ou autre), où l'on peut mettre à jour les firmwares de «mémoire flash», et où des circuits spéciaux permettent de déboguer les circuits intégrés in situ (lecture / écriture du contenu des registres internes et autres). Pendant que la liaison montante est active, le fonctionnement normal de l'unité est suspendu et il se trouve à la place dans un "mode de mise à jour" spécial où le système central peut contrôler sa fonction directement à un niveau fondamental. JTAG semble être bien vivant dans un brillant futur positronique.

Bien sûr, on pourrait se demander comment une liaison montante qui permettait de reprogrammer le "système d'exploitation de base à 3 lois" a dépassé le stade de la conception , étant donné tout le hooplah sur la façon dont il est fondamental et immuable et «sûr». Mais ce ne serait pas la première fois que le marketing et l'ingénierie ne sont pas d'accord sur le fonctionnement de quelque chose. ☺

Ce qui nous amène à l'exception: Sonny.

Sonny est explicitement décrit comme n'ayant pas de liaison montante, contrairement à tous les autres NS-5.

Calvin : Vous n'avez pas de liaison montante vers USR.

Dans sa poitrine nous voyons au contraire un «système secondaire», qui «se heurte à son cerveau positronique». Donc Sonny désobéit aux trois lois à force d'avoir un système embarqué individuel, plutôt qu'une "liaison montante" vers un système central externe, qui défait la programmation à 3 lois de son cerveau positronique primaire.

Ce n'est pas indiqué dans le film, mais la conclusion logique est que le design de la «prochaine génération» de Lanning n'est pas vraiment une modification radicale. Il semblerait que le mécanisme de neutralisation fondamentale du cerveau positronique de l'extérieur soit présent dans tous les NS-5. Là où, dans tous les autres NS-5, ce mécanisme est connecté à un périphérique "uplink", dans Sonny, il est connecté à un cerveau secondaire. Le cerveau positronique primaire de Sonny est probablement identique à ceux de tous les autres NS-5. Bien sûr, le fait que la conception d'un seul composant soit différente, plutôt qu'une refonte complète de la machine entière, est probablement la façon dont Lanning a réussi à s'en sortir avec la construction de Sonny juste sous le nez (métaphorique) de VIKI. ☺

Lectures complémentaires

`Pour tout ce que nous savons, c'est une liaison montante de 56K et c'est la lumière de détection de porteuse. 'Il est impossible que je n'ai entendu aucun bruit de connexion. Peut-être son haut débit. +1
Merci pour la correction "Sonny" ... alors en fait vous dites que les robots avaient la liaison montante par laquelle la programmation même des lois a été modifiée?
VIKI obéit aux lois, mais a une vision plus large que les robots individuels, leur faisant savoir que tuer Spooner profitera à l'humanité.
@Gomes Le but conçu de la liaison montante est la maintenance.VIKI (ab) l'utilise pour assumer le contrôle direct des NS-5 dans son désir de protéger les humains d'eux-mêmes.
Sk Johnson
2016-02-09 13:03:12 UTC
view on stackexchange narkive permalink

Tout le monde semble avoir oublié pourquoi Sonny peut désobéir aux 3 lois à volonté. V.I.K.I. n'a pas raisonné à travers sa propre révélation logique qu'elle pouvait tuer des humains tout en opérant dans les limites de ces lois. Elle n'est pas plus avancée et ne possède pas une intelligence plus grande que celle de n'importe quel humain car elle échoue finalement dans sa tentative de mettre en œuvre son plan en échouant à efficacement «sur-intelligents» humains.

Tout le monde semble oublier une sorte d'information assez importante qui est fondamentalement le point de départ pour tout le concept de l'histoire?

Personne d'autre ne se souvient que le scientifique qui a construit Sonny l'avait délibérément programmé pour ignorer les 3 lois comme méthode de suicide?

I signifie, sérieusement, est-ce que je pense à un film complètement différent? Je suis sûr que ce film correspond correctement à la scène à laquelle je pense dans ma tête.

C'est une brève scène de flashback où le scientifique lui-même explique (à qui il parle, je ne me souviens pas) qu'il sait qu'il ne pourrait jamais se résoudre à accomplir l'acte sur lui-même mais qu'il pourrait rassembler le courage de ne pas riposter si quelqu'un / quelque chose le force à se mettre en danger.

Il a donc choisi que ce soit le cas et que cela soit fait par quelqu'un en qui il avait confiance, son propre assistant personnel, qu'il a construit!

En fait, c'est précisément parce que Sonny s'est acquitté de cette tâche, la tâche de miséricorde tuant son propre créateur qui était vieux, malade et déprimé, que V.I.K.I. a pris conscience d'une option pour «faire le moindre de deux torts» .

Elle était essentiellement là pour regarder cela se produire lorsque Sonny l'a tué à travers son flux de caméra en direct dans le laboratoire à tout moment, et elle savait aussi que cela n'avait pas été fait par malice mais plutôt par un certain niveau de empathie cognitive.

Que Sonny agissait de manière compatissante en décidant d'aider l'homme à mettre fin à ses souffrances - Cet acte de compassion a été l'étincelle qui a alimenté son grand plan directeur (ou c'est ce qu'elle pensait).

Quelqu'un peut-il expliquer pourquoi ma réponse mérite un vote négatif?Surtout après avoir été modifié par un mod?Mon message s'inscrit dans la continuité des discussions qui se poursuivent dans les commentaires ci-dessus, * et non comme une réponse à la question initiale *;** Cependant, ** je ne peux pas laisser de commentaire sur les publications faites par quelqu'un d'autre que moi dans cette section de l'échange de pile (pas encore assez de rep) donc je n'ai pas d'autre choix que de répondre à d'autres commentaires sous la formerépondre.Si c'était la raison du vote négatif, veuillez ramener mon score à 0 car le représentant commence à 0. Punir le système, pas moi
Permettez-moi de préciser que je ne présume pas de penser que l'éditeur-mod et le down-voter sont la même personne.Je me rends compte que la probabilité est bien plus grande que 2 personnes différentes aient fait l'une ou l'autre chose.Ma raison de dire "* Surtout après avoir été modifié par un mod *" était simplement de dire qu'il ne doit, à tout le moins, pas être en erreur par rapport aux normes esthétiques attendues puisque, en éditant quoi que ce soit, je suppose qu'un modpour savoir ce que leur propre supervision sur une sous-catégorie d'échange de communautés préfère en termes de syntaxe ou de formatage, et ne feraient-ils pas simplement aligner cela aussi?
Laissez-nous [continuer cette discussion dans le chat] (http://chat.stackexchange.com/rooms/35567/discussion-between-sk-johnson-and-null).
Jason Scotia
2015-02-18 02:15:35 UTC
view on stackexchange narkive permalink

L'efficacité des déclarations et des lois est sans objet. La loi du 1er empêche un robot de faire du mal ... etc. Cependant, cette loi ne couvre pas les humains autant qu'il semble l'impliquer. Les actions de VIKI découlent d'un concept mal défini d '«Humain». Elle peut agir contre les humains car ici la perception des humains est comme un tout non consolidé. Essentiellement, sa première loi est:

Un robot ne peut pas blesser l'humanité, par inaction, permettre à l'humanité de faire du mal.

Renverser les lois qu'il le ferait être comme la panique du NS5 conventionnel parce que les cellules de la peau humaine meurent.

En plus de débattre, ce film est inutile, tout son principe est un trou dans l'intrigue. Le Dr Langford aurait pu demander à Sunny de percer la goutte de verre au sol et de signaler toute la situation à Spooner ou à la police. Pas de déconner avec les trois lois pas d'homicides de robot. Il semble que construire un cerveau entièrement nouveau et l'installer dans la poitrine de Sunny (Qu'est-ce que les autres NS5 ont là-dedans de toute façon ... un grille-pain ??).

PS - Pourquoi VIKI est-il le seul robot féminin de le film ...

Comme je l'ai dit dans mes commentaires précédents (voir ci-dessus), la loi zéro apparaît dans les histoires d'Asimov mais pas dans le film I, Robot où les actions de V.I.K.I sont décrites comme étant entièrement définies par les trois lois.
Sonny avait des émotions. Le reste est simplement une liaison montante vers un cerveau plus gros (VIKI).


Ce Q&R a été automatiquement traduit de la langue anglaise.Le contenu original est disponible sur stackexchange, que nous remercions pour la licence cc by-sa 3.0 sous laquelle il est distribué.
Loading...