Deux IA ont communiqué dans une langue indéchiffrable par l’homme

[Sukumvit]

Putain, vous avez vu cela ? 

http://sciencepost.fr/2016/11/deux-ia-ont-communique-langue-indechiffrable-lhomme/

Vous en pensez quoi ?

[...]
"Alors qu’ils n’avaient mis aucun algorithme spécifique en place, les chercheurs ont constaté que ces deux ordinateurs ont sécurisé leurs communications par le biais d’un chiffrement qu’ils avaient eux-mêmes développé. Si la troisième IA est parvenue à intercepter certaines communications, la majorité d’entre elles sont restées indéchiffrables. "
[...]

[Caïthness]

Skynet !! (ou embryon de Matrix )

[tholdur]

Avec un peu de temps on pourrait certainement déchiffrer le reste, non?
C'est comme la machine Enigma, il a fallu du temps.

Quant au qualificatif d'inquiétant, c'est parce qu'on prête aux machines des sentiments humains avec entre autre la duplicité, la fourberie intrinsèque, la volonté de faire passer son intérêt personnel avant le collectif. Mais la machine ne "raisonne" pas ainsi. Tant qu'une machine n'aura pas "trouvé" d'intérêt de lutter contre l'être humain, elle ne le fera pas. La question est: peut-il exister un intérêt, un bénéfice pour la machine?
Perso je n'en vois pas, mais la question reste ouverte.

[kurt]

Bonjour,

J'avais fait quelques recherches sur le sujet de l'IA, pour différentes raisons... notamment parce que je voulais devenir journaliste (mais finalement mes autres activités commencent enfin à démarrer doucement, alors j'ai laissé de côté), et ensuite parce que les postes que l'on me proposait étaient souvent liés directement ou indirectement à l'intelligence artificielle. Cela pose un vrai problème quand on est développeur, car pour garder un minimum d'éthique dans ses choix on est obligé de se mettre un peu au bord de la route (surtout quand on refuse aussi la finance).

Mon point de vue est peut-être subjectif, car j'ai toujours un a priori négatif lorsque des firmes comme Google ou Amazon se lancent dans de vastes programmes de recherches. Mais j'en suis arrivé à la conclusion que les robots qui parlent ou qui communiquent font avant tout diversion par rapport aux applications réelles, déjà en place, notamment en ce qui concerne le ciblage publicitaire et le traitement des données personnelles.

Pour ce qui est de Elon Musk, toujours cité comme un gentil gendarme prêt à dire qu'il s'inquiète, il y participe quand même beaucoup...
notamment au sein de "openAI", une association à but non lucratif sensée réfléchir aux dérives des intelligences artificielles, et qui reçoit des fonds venus des principaux acteurs (Amazon en particulier, ainsi qu'un fonds d'investissement qui finance des startups également accrocs aux IAs). OpenAI travaille précisément sur l'intelligence artificielle et a déjà publié des travaux sur la reconnaissance faciale :
https://openai.com/blog/generative-models/

Partner ship on IA, je ne connaissais pas, mais ça ressemble encore à de la fumisterie (un peu comme quand la NRA lance des campagnes sur les dangers des armes à feu). Ou pire, puisque leur premier but semble être avant tout de "mettre en commun leurs avancées".

Il y a aussi une hypocrisie lorsque ces même acteurs disent mettre en open source certains algorithmes. Tout d'abord, il y a fort à parier qu'une sélection sera faite parmi ceux que tout un chacun pourra télécharger. Ensuite, avoir les algorithmes ne suffit pas. Il faut aussi une quantité de matériel et d'énergie pour faire touner tout ça (Google est le premier consommateur d'électricité au monde).

Après il est clair que combiner ce que les intelligences artificielles font déjà (dans la gestion des fameuses "big data", qui vont des données récoltées lorsque l'on surfe sur internet à l'enregistrement de nos achats avec les cartes de fidélité), avec la possibilité d'apprendre et d'évoluer par elles-mêmes, ça fait clairement penser à Person of Interest. Mais je suis surpris de voir que l'on parle davantage de ce qu'elles feront peut-être que de ce qu'elles font déjà.

[kurt]

Tant qu'une machine n'aura pas "trouvé" d'intérêt de lutter contre l'être humain, elle ne le fera pas. La question est: peut-il exister un intérêt, un bénéfice pour la machine?

Cela dépend avant tout des développeurs. Même si la machine évolue, crée ses propres algorithmes, communique... des contraintes peuvent toujours être insérées dès le début, à partir desquelles l'IA devra faire ses propres choix.

Même sans aller jusqu'à imaginer un développeur pervers apprenant à son IA comment nuire aux autres, rien qu'en prenant la théorie des jeux il y a de quoi créer des catastrophes tout en faisant croire à la machine que ses choix sont tout à fait rationnels pour le bien de l'humanité.

[Sukumvit]

Oui, l'IA c'est une menace à long terme.
Je pense qu'actuellement il y a tellement de sources d'angoisses possibles vis-à-vis des nouvelles technologies que les gens sont complètement submergés et n'arrivent même plus à avoir peur de quelque chose en particulier tellement la vitesse de la Science les sature.
Ce qui me vient à l'esprit : disparition de la devise physique, chômage, puçage bancaire des individus, possibilité pour un Etat de détruire socialement un individu en quelques clics en coupant boulot, revenu minimum et accès au logement (plus besoin de goulag !), imprimantes 3D, effet des écrans et de l'internet sur enfants exposés très jeunes, influence des émotions par le biais des puces ou des ondes... Et j'oublie sûrement plein de trucs.
Concernant le big data, j'ai pu lire qu'en chine le contrôle de l'opinion de la population par différents moyens dont certains présents dans cette liste est visé de manière assez officielle.

[tholdur]

Tu parles du contrôle d'un Etat, on est donc toujours dans le cas de l'homme qui tire les ficelles.
Rien à voir avec la menace d'une IA.

Comme toujours, on rejette la faute sur les outils, alors que c'est l'utilisation qu'on en fait qui est potentiellement dangereuse. Rien n'est bon ou mauvais en soi. Depuis "l'invention" du feu. Et jusqu'à un prochain être cyborg, voir plus.
C'est l'homme qui est capable du pire, comme du meilleur.

Mais je suis d'accord pour dire qu'on est trop assisté et qu'on devient dépendant, et que cette dérive est potentiellement dangereuse car on a de moins en moins besoin de se creuser la tête, d'agir et bouger. Le surpoids de plus en plus fréquent chez les personnes n'est pas qu'une question de génétique, c'est aussi comportemental.

[kurt]

Effectivement, en Chine c'est officiel : le gouvernement veut noter les citoyens en collectant le maximum d'informations... ce qui va de paire avec un investissement de 13,5 milliards dans l'intelligence artificielle et le développement d'une plateforme de Big Data (le premier prétexte était de prédire les crimes, un peu comme dans Minority Report). Même acheter des jeux vidéos sera sanctionné, cela fera perdre des points.

Histoire d'allonger votre liste déjà pas très joyeuse : on peut aussi ajouter les données biologiques que les utilisateurs d'objets connectés offrent gratuitement (rythme cardiaque, pression artérielle et j'en passe), ou encore les différentes activités sportives, le nombre de pas effectués dans la journée etc... Tout cela pourrait bien intéresser les mutuelles santé. Il y a aussi les mouchards placés sur les voitures, pour les assurances auto.

Ce qui est sidérant, c'est que souvent ce sont les utilisateurs qui sautent sur l'occasion et qui se transforment en cobayes volontaires.


Pour répondre à Tholdur : Je suis d'accord qu'il ne sert à rien de critiquer l'outil. D'ailleurs je ne crois pas au risque d'une IA indépendante, déconnectée de ce que les développeurs auraient pu décider à la base.

[Sukumvit]

Oui, c'est cela que j'ai lu... Les chinois veulent carrément donner une note sociale aux citoyens. Et si ces derniers tombent en-dessous d'un certain seuil on supprime peu à peu toutes les aides. ça paraît tellement impensable que cela puisse marcher...

Pour la question de l'humain ou pas, j'avais lu une interview d'un roboticien japonais il y a longtemps : il disait que selon lui les robots finiraient par remplacer l'homme, et que cela serait une volonté de l'homme lui-même. Il expliquait que l'humanité, trop consciente de ses défauts, se déteste profondément au point de vouloir sa propre extinction. Et il citait le film Avatar où des centaines de millions de gens ont applaudi un film où à la fin des ET tuent massivement des êtres humains qui sont les méchants de l'histoire, et le héros quitte son enveloppe humaine pour devenir un être virtuel ! Et ça se finit bien lol !

[tholdur]

La volonté de créer un être sinon parfait, du moins meilleur (dans le sens moins vulnérable). Car l'évolution uniquement biologique a ses limites. Un être qui n'ai pas besoin d'eau, d'air, de matière organique....

Je pense que ce sont ces vulnérabilités qui sont à la source des sentiments, des émotions. De cette conscience de nos vulnérabilités (ou même de manière inconsciente parce qu'on ne veut pas trop creuser la question de la mortalité, du sens de la vie) a conduit au besoin de se rassurer, de trouver de bonnes raisons de vivre. Empathie, égoïsme: les bonnes raisons sont multiples et chacun se construit sa propre représentation, sa manière d'être, avec un mélange de choses contradictoires (on peut être altruiste ou égoïste alternativement).
Je pense qu'un être qui serait totalement non vulnérable, immortel donc, n'aurait au contraire aucun besoin, aucune nécessité d'éprouver de sentiment ou d'émotion. Ce serait juste du superflu. Il ne vivrait pas sur le même "plan" que nous. On ne pourrait pas se comprendre ni vraiment intéragir.
L'homme, la plupart du temps, base son système de vie sur sa descendance, et à leur tours les enfants font de même avec leurs propres enfants. Et les grands parents se rassurent en voyant leurs petits enfants, en se disant qu'avant leur trépas la nouvelle génération prends la "relève"... Je ne débattrais pas de "l'utilité" de ce système. Mais je pense qu'un être immortel n'aurait aucun besoin de descendance, donc pas d'amour à donner, pas de sentiment.
En gros je crois que tendre vers la non-vulnérabilité, c'est tendre vers la non-contradiction, et donc vers moins de sentiments et émotions. Et jusqu'à leur totale disparition si un jour est atteinte la non-vulnérabilité totale. Le "robot" parviendra-t-il à devenir cet être-là? Ce n'est pas évident. L'évolution de l'homme peut-elle donner le jour (aidé ou non par la technologie) à un être nouveau de moins en moins émotif? Serait-il possible d'arriver malgré tout à un être non-vulnérable capable de conserver des émotions?

Bon vous avez 4 heures, après je ramasse les copies^^

[kurt]

En 4 heures c'est pas facile... surtout que là on arrive sur le thème du transhumanisme.

Pour les transhumanistes, l'objectif premier est "d'améliorer l'humanité par la science et la technologie". Dans l'absolu, il est difficile de savoir si l'être du futur sera construit en partant de zéro, ou à partir de l'humain qui ne serait plus qu'une sorte de matière première, mais la deuxième hypothèse me paraît plus probable car déjà à portée de main. Ce qui est intéressant, c'est que l'on retrouve Google en première ligne dans les deux cas.

Le problème de savoir si cet homme augmenté et non vulnérable aurait alors moins de sentiments et d'émotions est considéré surtout chez les pro-transhumanistes français (outre-atlantique ils s'en moquent pas mal, ce sont surtout des libertariens). Conscients que le risque est de créer plusieurs sortes d'humains, et que surtout si l'homme modifié est considéré comme supérieur alors l'homme d'aujourd'hui sera considéré comme inférieur, ils veulent augmenter le degré d'empathie pour éviter au moins en partie les conflits à venir. On se demande bien comment, d'autant que la partie "science cognitive & intelligence artificielle" est clairement en retard sur la partie "génétique et nanotechnologies". C'est un peu normal, car l'hypothèse réductionniste marche moins bien dans un cas que dans l'autre.

Le transhumain sera donc moins vulnérable bien avant d'être plus empathique. De toute façon, la législation aura toujours un métro de retard. Je ne suis pas sûr que l'option "devenir plus empathique", tant qu'elle sera facultative, sera choisie par la majeure partie des futurs clients. Et quand bien même, cela ne résout pas la question de savoir quelle serait la place dans la société pour les uns et les autres. Enfin, une fois enclenché le processus de transhumanisation, il n'est pas destiné à s'arrêter en chemin. Le transhumain, par définition, est en constante transition. Or, il est difficile d'imaginer un système égalitaire « en temps réel » et ce ne sont plus deux espèces qui risquent de cohabiter de façon inégale, mais une infinité. La fortune ne se lirait plus sur les relevés de comptes mais sur les compte-rendus médicaux.

Ce qui est intéressant, c'est que ce sont des problématiques proches de celles de l'eugénisme. Pourtant, on continue à voir régulièrement une approche idéalisée du problème (je me souviens d'affiches récentes dans le métro avec de beaux humanoïdes qui ressemblent à ceux d'un clip de Bjork). Et le fait de nous faire miroiter l'immortalité nous force à raisonner contre notre propre instinct de survie.

[kurt]

Sur la question fondamentale de savoir si les émotions et sentiments disparaissent lorsque l'on devient invulnérable, j'avoue que je n'en sais rien. Et je ne crois pas que les sciences cognitives prennent le problème dans le bon sens pour y répondre. Ils pensent souvent qu'en étant capable de décrire ce qu'il se passe dans le cerveau, ils peuvent comprendre les émotions qui y sont associées. Mais cela sous-entend déjà d'avoir fait l'expérience soit-même de ces émotions, autrement il n'est pas possible d'interpréter le résultat. La description purement physique ne suffit donc pas.

Réciproquement, imaginons un être créé de toute pièces. On lui colle un réseau de fils électriques, que l'on stimule de la même façon que le cerveau lorsqu'une personne ressent telle ou telle émotion. Comment peut-on en déduire qu'il y a derrière une conscience qui ressent véritablement cette émotion ?

En revanche, j'ai peur que l'empathie diminue entre des êtres trop différents. Si l'on crée différentes espèces d'humanoïdes, il faut a priori s'attendre au pire.