fragments...

_notes_boite_noire.txt

@@ -0,0 +1,527 @@
+problématique compréhension biais -> cacher certaines choses ?
+impact dont d'organe, orientation, credit social chinois, etc.
+
+pourquoi l'éthique ?
+Pourquoi l’éthique ? Comment le développement fulgurant du numérique ré-interroge les scientifiques et la société
+---
+
+*claude kirchner*
+
+> définit éthique, basé sur une hierarchisation de valeur, reflexion manquante dans le domaine du numérique, donne des exemples de 2 types puis conclue sur les initiatives
+
+révolution bien plus profonde que l'on peut imaginer.
+avant on pensait 3 matieres fondamentales : matière, vivant, énergie.
+Mais on a oublié l'information
+
+support de l'information et révolution : langage/dessin -> ecriture -> imprimerie -> numerique
+*vraiment ce terme de révolution...*
+
+nous sommes des systèmes de traitement de l'information
+numérisation de toutes les activités humaines, lois plus adaptés, *missing*
+
+5 notions : éthique, morale, déontologie, intégrité, droit
+éthique -> positionnements sur les hierarchies de valeurs
+morale -> ethique mais aussi morale sociale ou religieuse
+deontologie -> regles de la profession
+integrite -> absence de mauvaise intention, honneteté
+droit -> code civil, national, international, sujet à interpretation
+
+exemple de la puce RFID "exemple simple": liste des valeurs qui entrent en jeu
+et explique pourquoi dans le second cas on accepte la surveillance
+plein de valeurs (anonymat, empowerement, reversibilite, etc.)
+
+ - Quelles valeurs ?
+ - Quelles décisions ?
+ - Quels algorithmes
+
+exemple de mercedes : on protège avant tout le constructeur.
+
+on en arrive donc à hierarchiser des valeurs :
+bienfaisance, non mal-traitance, autonomie, justice, reproductibilité, loyauté, gratuité, respect, transparence...
+
+Comment prendre des décisions en communauté quand on ne partage pas les memes hierarchies de valeur ?
+
+Utilisation non envisagée : Siri + autiste, panneau public Paris + message Alix
+
+Aborde les problèmes de :
+  - persistance des données (pour toujours en ligne)
+  - qui ces données concernent t'elles ? Moi mais aussi mon entourage (ADN, communications)
+
+Présentation du cas de la faille 0-day
+  - 1 million de dollars sur le marché noir
+  - responsible disclosure
+
+Exemple de l'authentification sur mon service :
+  - oAuth Google ou Facebook
+  - auth locale
+
+Scientifique et amazon mechanical turk
+
+--> quelles sont les valeurs derrière ça ?
+
+Éthique & Numérique - Un référentiel pratique pour les acteurs du numérique
+Des initiatives autour de l'IA et meme de la standardisation AFNOR.
+Il existe des comités d'éthiques : CCNE, CERNA, COMETS, etc.
+Et des comités opérationnels d'éthiques : Coerle, Cernis, CPP, etc.
+
+éthique est un imperatif humanisme numerique
+libre -> plus grand éthicité ?
+éducation au numérique et à l'éthique
+
+questions : normalisation de l'ethique par l'AFNOR ? qui hierarchise les valeurs ?
+
+Society2Vec
+-----------
+
+> On explique notre société traditionnellement avec des catégories : des catégories de gens et des categories d'action / comportement. Ces categories impactent notre perception de la réalité. Elles représentent mal aussi notre société. L'idée c'est d'arrêter d'utiliser des catégories symboliques et d'utiliser des modèles non lineaires, dit connexioniste. Parallèle avec l'histoire de l'IA. Donne des exemples avec Netflix et Facebook. Explique pourquoi le concept de trace fonctionne mieux que les données déclaratives. Une fois ce point accepté, qu'est ce qu'on veut regarder ? autonomie / liberté (sur l'individu seulement) beaucoup plus exploré que théorie de la justice (égalite, à l'échelle de la société) 
+
+*Dominique Cardon*
+
+De la catégorisation statistique à la prédiction comportementale.
+débat sur l'éthique --> la place de la technologie dans la société et pas sur les algos et les biais.
+
+tension propre au numerique : theorie de la justice VS theorie de la liberté || liberté vs égalité
+
+question de la catégorie et crise de la representation statistique de notre societe.
+débat sur les biais algorithmiques.
+Mais si on demande quel serait la bonne distribution de l'algo, definition de la norme, l'algo sans biais serait quoi ? on est pas d'accord.
+
+pour décrire la société, on met les individus derriere un systeme de categorie et on essaye de trouver des régularités derrière ces categories.
+
+categorie individu et categorie pratique sociale, etc.
+particularité -> elles font systèmes.
+
+on a façonné notre compréhension de la société selon ce système.
+
+La distrinction de Pierre bourdieu.
+
+le travail sociologues, crimonologues, marketing influencent notre perception de la réalité.
+on a façonné des représentation de la société avec ces classes.
+etude : acheter des questions INSEE (ou allez vous en vacances, etc.) pour deviner l'emploi de la personne
+
+critique normativve de la categorisation : aliénante, normalisatrive, etc.
+représenter la société sans catégorie.
+
+"Discrimination in the Age of Algorithms"
+
+algo de la justice, recrutement, selection (université).
+on essaye de prédire le meilleur score.
+Pour essayer de redresser des biais dans les données d'apprentissage.
+
+-- On enchaine sur le machine learning --
+
+"La revanche des neurones. L'invention des machines inductives et la controverse de l'intelligence artificielle" Réseaux 2018
+
+connexionism -> ok
+symbolic -> AI winter
+connexiomism -> retour de l'AI
+
+---> on ne calcule pas sur des symboles
+l'idée de categoriser n'a pas de sens. connexions de bas niveau.
+
+--- granularise les données ----
+
+netflix 70 000 micro-genres
+on a pas besoin de leur sexe, age, diplome mais leur trace de navigation
+on calcule très mal les gens avec du declaratif, il faut du comportemental.
+ils onr arrete de prendre les notes sur les films
+Quand on a une liste de traces de films regardées, c'est bien superieur aux notes.
+YT n'utilise plus les j'aime / j'aime pas par exemple.
+
+conclue sur 2 notions : theorie de la justice et autonomie.
+distribution des ressources dans la société (justice)
+influence sur moi (autonomie)
+
+est ce que l'algorithme a influencé l'intention initiake de la personne
+est ce que l'algorithme a empeché aux gens si il n'y avait pas eu l'algorithme.
+
+pionniers du web se sont occupés de l'autonomie
+Mais jamais de la théorie de la justice qui revient dans l'histoire du numerique. p-e Felix Treger l'abordera.
+
+https://neurovenge.antonomase.fr/
+
+Face à l'automatisation des bureaucraties, l'accommodement ou le refus ?
+----
+
+*Felix Treguer*
+
+> Historique des technologies qui ont aidé la bureaucratie du 16ème siècle à nos jours : nombres, imprimerie, la poste, le telegraphe, Cybersin. Critique de la bureaucratie : accapare le pouvoir. Parle des premières critiques de la bureaucratie (Marc Savio, Les clodos, Safari).
+
+prolongation travaux de theses.
+
+parcours sup, demat' service public, controle au frontiere, reconnaissance faciale, les boites noires de la loi renseignement signaux faibles radicalisation.
+
+notion d'automatisation -> assemblage homme machine
+
+automatisation des bureaucraties
+remonte au 16eme siecle
+leviathan thomas honnes
+gouvernance par les nombres
+
+pose un imaginaire normatif qui est le notre
+
+techniques de communication et mecanisation du travail gouvernemental
+imprimerie aide le developpement des bureaucraties (reproduire des notices, etc.)
+cite aussi la poste, le telegraphe de chappe.
+
+Delphine Gardey : Ecrire, Calculer, Classer
+Augmente le volume et la rapidite des productions d'écriture
+complexes technico humains qui servent autant le gouvernement des affaires que celui de l'état
+
+lendemain seconde guerre mondiale.
+utopie gouvernement cybernetique
+salvador allende projet cybersin
+
+-- quand la critique des bureaucraties se confond avec l'informatique --
+
+XIX et XX -> critique des bureaucraties (John Stuart Mill, Marx, Max Weber).
+idée appareil bureaucratique accapare le pouvoir.
+
+se retrouve dans les moments contre-culture des annees 1960
+la technocratie qui gouverne est assimiliée à une machine
+mario savio there comes a time
+
+bcp parlé des hippies qui veulent utiliser la machine pour la democratie
+moins de ces contres cultures
+
+groupe anarchiste les clodos / action directe
+
+premières controverses sur l'informatique et la surveillance d'état et leurs consequences pour les libertés publiques.
+Exemple de Safari qui amène à la création de la CNIL
+
+-- Face à la résisttance, se dessine dès les années 1960 la stratégie des accomodements raisonnables vis à vis de l'informatisation --
+
+commission Bell sur l'an 2000 (1960) rapport Nora-minc (1978), etc.
+mené dans les années 1960 pour essayer de predire le fonctionnement de l'an 2000
+
+renoncer à la vie privée, besoin des ordinateurs pour rester libre, pour nous outiller.
+
+compromis informatique liberalisme et bureaucratie de masse
+
+éthique et informatique, protection des données personnelles, transparence administrative :
+socle commun d'un compromis censé garantir l'acceptibilité sociale de l'informatique
+
+idée informatisation etat + agile, + en phase, + transparent avec les citoyens
+
+40 ans plus tard : la startup nation comme nouveau paradigme bureaucratique
+
+la configuration politique parait similaire, seuls certains mots-clés ont changé.
+
+1978 estaing (année informatique et liberté) on va pouvoir domestiquer l'informatique et juguler ses effets nefastes.
+IA liberee vs IA maitrisee il y a un an
+
+rejouer la meme scene que dans les annees 1970.
+Qu'est ce que les lumieres ? 1984 Foucault
+
+L'enjeu est donc : ...
+
+ces approches ont échoué 
+
+approche de l'accomodement. conteneir les effets pervers et nefastes.
+cornelius castoriadis, la montée de l'insignifiance
+La raison d'état est infiniment plus forte... "
+
+make it stop :
+rouvrir nos imaginaires à la possibilité d'une désescalade technologique, d'une refus de l'informatique de controle et de ses multiples incarnations
+
+
+ces approches permettent de limiter la casse
+mais accomoder avec un refus plus clair, plus affirmé de l'informatique de controle
+automatisation des bureaucraties
+
+accomodement VS refus -> binarité un peu trompeuse ?
+autre histoire vient du design confort et mécanisation
+software takes command
+http://manovich.net/index.php/projects/software-takes-command
+
+chez max weber la breaucratie c'est plein de qualités
+sans bureaucratie, on met la justice à la porte
+ex: argh...
+
+
+--- table ronde ---
+
+standardisation de l'éthique en informatique -> se heurter aux autres domaines (santé) - comment fait on ?
+deja normaliser l'éthique va à l'encontre de sa définition. 
+
+accomodement du refus.
+parle des groupes d'éthique
+Felix Treguer parle de leur contournement Chine + Singapour
+La meme Inria qui critique les boites noires mais en meme temps Safe City à Nice
+
+montee en puissance de l'éthique 
+alors que les droits fondamentaux aussi peu respectés
+symptone de l'incapacitation du droit
+droit une simple contrainte parmi d'autre
+quelle entité pourrait avoir un effet contraignant alors que le droit n'est pas respecté
+GAFAM ne s'y sont pas trompés
+risque de privatisation de la régulation ?
+demontrer l'inutilité de toute régulation juridique
+Court circuite le débat public
+nouvelle forme d'auto regulation
+innefectivité totale de l'auto regulation.
+
+apporte des reflexions interessantes
+mais forme de contournement du droit
+ethical washing
+
+foucault régimes securitaires : "quand vous dites aux gens qu'ils n'ont plus de libertés, hitler est à vos portes, ils ne vous croient pas. Si on veut organiser de la resistance, il faut parler de cette angoisse"
+
+"libre marché des idées"
+
+promesse de la technologie qui nous libere est fausse, a réduit notre champs des possibles
+pas interessé par l'éthique mais la critique
+a partir d'un moment, le refus devient nécessaire
+produit des attentes auprès du legislateur pour qu'il fabrique de la norme
+le legislateur ne fait pas bien son travail
+débat sur la loi AVIA sur comment ça a été construite.
+On fabrique de la norme assez problématique meme si il y a des choses qui renvoient à des attentes sociales
+
+Quel degré de transparence pour les algorithmes ?
+------
+
+*Claire Mathieu*
+
+> Cite avantages et inconvenients de la transparence dans le cas des algorithmes puis présente les 4 dimensions de la transparence. Analogie avec parcoursup. Probleme de la loi de Goodhart. Mentionne la théorie des jeux
+
+transparence des algorithmes
+transparence : du positif et du négatif (surveillance)
+algorithme : techniques
+
+loi : pouvoir expliquer les décisions individuelles
+
+transparence : arme contre la stupidité des dev.
+ex knuth vol 2 - calculer une suite de nombre pseudo aleatoire.
+propose un algorithme qui ne marche pas -> l'algo converge vers 6065038420
+
+la transparence aide à la confiance
+ex: algorithme d'allocation de bourses communales pour les ycéens de Nantes à travers les années
+meme probleme de confiance avec les algos :
+qui décide et selon quel critère
+
+la transparence accroit l'égalité
+difference de pouvoir entre celui qui sait et celui qui ne sait pas
+
+la transparence permets les contournements
+-> si nous rendons notre méthode publique, les gens vont en profiter pour tricher
+loi de Goodhart : lorsqu'une mesure devient un objectif, elle cesse d'être une bonne mesure
+Reactions :
+  1. Cacher la mesure
+  2. (mieux) Réagir et s'adapter au comportement
+
+Théorie mathematique de la transparence
+theorie des jeux : construire la mthode de facon que meme en schant tout des autres participants
+
+Methode de Vickrey : vendu au plus offrant au prix du second plus offrant.
+
+Risque 1 : la gouvernance des algos
+ - C'est l'algo, c'est comme ça on n'y peut rien
+ - Voici comment ça marche...
+
+comment faire quand algo trop compliqué ?
+
+Risque 2 : Role de l'humain
+ - Dans cette formation, le comite a classe votre dossier derriere d'autres candidatures
+
+4 dimensions de la transparence :
+  - Transparence du contexte -> affectation aux formations de l'enseignement superieur. Les conditions : taux de boursiers, d'externes, etc.
+  - Transparence de l'approche -> publication de l'algo et du code
+  - Transparence du résultat -> comité fermé
+  - Transparence de l'execution -> au fur et à mesure. ce qui est important c'est comment les formations classent les dossiers
+
+et si un algo d'apprentissage statistique fait mieux que les humains et est irrémédiablement opaque.
+
+QUESTION : est ce qu'on peut parler de transparence de l'approche et des resultats sans avoir accès au code complet et aux entrées pour reexecuter la logique en locale et comparer ? 
+
+Les FAT (fair, accountable, transparent) algorithms ou la mystique d'une démocratie immanente
+---
+
+*Antoinette ROUVROY*
+
+> cherche a anticiper. la norme ne definit plus le reel mais le reel definit la norme, rapport aux données d'apprentissages. pratique car plus de symbole, les données sont décorellées de tout sens (les vecteurs en ML vs les categories). Meme en cas d'algos parfaits, présente des biais ()
+
+hypothese gouvernementalite algorithmique
+la norme soit domestiquée par le reel lui meme
+
+inverse foucault : les corps sont domestiques par la norme
+on disait code is law
+avec le ML, le code est domestiqué par les données
+
+trasncription presque passive de la sauvagerie des faits.
+ne representent plus le monde mais en tiennent lieu
+
+pas une proliferation symbolique mais de pure signaux.
+alternative seduisante aux politiques, à l'état de droit rigide, etc.
+
+en relisant des textes de baudriard sur la transparence du mal.
+dans la theorie revolutionnaire, que le l'état disparaisse et que la politique se nie dans la transparence du social.
+
+le politique a bel et bien disparu et il a entraine le social dans sa disparition
+
+degré 0 de la politique mais dans sa simulation. 
+
+privilegie la notion de cosmetique a la notion d'onthologie
+
+géré de manière très anticipative, prémptrice, préventive
+données asinifiante -> expurgée de leur contexte -> de l'etre vivant
+
+engouement pour les boites noires pas symptomatique de la techno mais de la politique
+IA/stats très utile pour detecter des regularités detectables sur des très grands nombres
+
+on ne peut pas etre competitif avec un ordi mais incapable de donner sens à leurs resultats
+inutile de fantasmer competition intelligence humaine/artificielle
+
+il faut combiner les biais
+
+IA est toxique quand elle ne sert à automatiser que des etats de fait insoutenables
+
+il y a des moments dans la vie ou savoir que penser autrement c'est necessaire pour continuer a penser" Foucault, à peu près
+
+glissement du societe du signe (signifiant, symbole) vers une societe du signaux insignifiant.
+question du droit dans ce glissement
+
+on substitue un apprentissage continue à la production d'une verite stable.
+plus vrai ou faux, juste suffisament fiable pour justifier une prise d'action
+la modelisation n'a pas vocation a etre vraie
+
+3. on ne vise plus la comprehension de ces phenomenes mais leur prediction
+arrachement du signal numerique au signifiant --> tres emancipateur ?!
+la donnée n'est pas représentative de quelque chose qui lui préexiste
+ces nouvelles technos sont utilisées par entites qui n'ont pas d'interet la cooperation entre elles ou le bien commun 
+
+
+-- du signe au pur signal
+on detecte vos potentialités avant meme que vous ayez imaginé passer à l'acte 
+--> préemption (et pas prévention)
+prédire les phénomènes sans avoir à les comprendre.
+beaucoup plus large que la biopolitique de Foucault.
+l'incertitude comme tel. 
+cette demande de sécurité se traduit par une demande de certitude.
+Quel meilleur moyen d'etre sur de l'avenir que de le produire.
+actualisation du virtuel. 
+"frappes de signature"
+
+prive la capacité de ne pas faire tout ce dont vous êtes capable
+
+--
+
+"ce qui se joue avec le numerique ajd c'est l'abandon du monde de la representation pour rentrer dans le monde du programme dont le [...] est celui du credit. [...]"
+https://journals.openedition.org/appareil/1586?lang=en
+
+ce monde numerique nous dispense d'expliquer les choses au profit d'une pure présence.
+
+hyper individualisation.
+chacun devient sa propre référence statistique.
+destitution de la connaissance, on peut se passer de compréhension. pas les ingenieux mais les politiques
+données allégées. on les garde par defaut.
+donnes personnelles -> mouarf, juristes à coté de la plaque
+surtout des données relationnelles
+
+machines aux frontieres -> ne se basent plus sur des categories -> devient très difficiles à contester -> toute la dimension collective a disparue.
+la loi pour evoluer a besoin de contestation / contestabilité
+en se basant sur la gouvernementabilite algorithmique, on ne detecte plus des personnes mais des risques et plus de categorie, on ne peut plus se reconnaitre.
+emancipateur ? des dimensions langagieres avec leurs biais (colonial, etc.)
+
+transformation des formes du savoir, très personnel mais insignifiant.
+acces au reel en haute definition. 
+ces categories avant étaient jamais vrai adequates.
+
+autant de faux positifs chez les blances et les noirs -> fair ? sauf que les gens n'ont pas tous les memes ressources pour se defendre. 
+
+recommendation judiciaire -> algo qui evalue les risques de recidive -> fair, accountable, transparent -> paradoxal on veut garder la main mais on a l'algo -> juge qui decide -> pas content, prend le contrepieds ou d'accord et suit.
+
+le droit ce n'est rien d'autre que l'anticipation de la decision du juge.
+est ce que la decision qu'il prend est equitable
+dur de modeliser le comportement d'un juge face à ces machines.
+
+compliciter entre la gouvernementalité algorithmique et le capitalisme neoliberal
+systeme immunitaire de ce systeme contre tout ce qui pourrait le mettre en crise.
+s'accaparer par avance cet espace du virtuel.
+
+cette fiction de l'individu libre rationnel et autonome.
+surveillance de masse <=> personnalisation
+
+plus d'individu autonome, un amas de pulsion. 
+plus leur capacité d'entendement, de volonté, en les attrapant dans leurs pulsions
+
+
+Cultures de l'observation et méthodes pour la transparence algorithmique
+---
+
+*Loup Cellard*
+
+> Loup Cellard nous parle d'algorithme pour définir l'organisation de la bureaucratie (ndlr: nommé process). Il donne un exemple à travers les crèches. Il montre que cet algorithme n'est pas formalisé et mal connu de ses agents. Il introduit la CADA et des lois qui permettent d'acceder à ces algos/process et donne des exemples auxquelles ces lois s'appliquent et leurs limitations. Ils presentent les avantages de la transparence mais montre qu'elle n'assure pas l'intelligibité.
+
+etnographie / etalab / 8 mois.
+3 cas d'études -> taxe habitation, attribution des places en creches, outil de recherche d'emploi
+
+2019 consultant etalab
+ecriture d'une note de recherche sur les demandes citoyennes
+organisation d'une journée sur l'explicabilite
+
+
+pourquoi parler d'algo dans le cas de la creche
+les algorithmes sont partouts mais invisible et quand on les trouve c'est souvent des boites noires.
+du coup recherche des algorithmes dans les creches
+
+a reussi a representer l'algorithme d'assignation des places en creche.
+  1- premier rdv pour collecter des donnees
+  2- entrees dans une logiciel concerto
+  3- exporter ces données ordonnees par demande sous forme d'un fichier excel
+  4- le fichier excel est modifié et ordonné à la main
+    4.1 - par type de contrat (200h, 160h, ...)
+    4.2 - par ordre de priorite (handicap, soutien des services sociaux, familles mono parentales, naissances multiples, parents etudiants, priorite medicale des parents)
+    4.3 - par revenus (du moins eleve au plus eleve)
+  5- Le fichier excel est discuté dans une commission composée de [...]
+
+pas full ordi mais correspond a la definition d'un algo
+c'est un systeme socio-techniquer (seaver, 2014. 2019)
+
+est maintenant considere comme algo :
+  - jury de prof pour l'entree en classe euro
+  - systeme de calcul de la taxe d'habitation
+  - systeme de priorisation de l'intervention entre SAMU et pompiers
+--> tout ca requalifié comme algorithme
+
+Les outils classiques de la transparence sont inadaptés pour rendre intelligible les situations algorithmiques.
+
+instrument de transparence 
+  - auto legitimation
+  - gestion des impressions
+  - visibilite
+  - mais pas l'intelligibilite
+
+delegation du travail d'interpretation
+
+les gens de la bureaucratie ne sont pas capable de décrire la procédure.
+
+"modèle inquisitorial de l'enquete administrative"
+epreuve d'explicitation des algorithmes
+
+si algo dans la prise de decision, possibilite de :
+  - demander à l'administration
+  - puis demander à la CADA
+  - puis aller au tribunal administratif
+
+ex: M. X, femme accident cardiaque, appelle le 15, arbre d'aide à la decision SAMU / Pompier, demande l'arbre de decision
+MAIS CADA répond "communiquer l'algo porterait atteinte à la securite publique."
+trop large dans sa demande, ce qu'il voulait c'était le cas de se femme.
+
+limitations de la cada :
+  - tributaire des questions posées
+  - se protege derriere les reponses des administrations
+  - elle n'a pas moyen pour investiguer les avis
+  - confusion des procedures CADA et CNIL
+
+ cada ne peut interpreter.
+apprendre aux gens à faire la demande, etc.
+
+etc.
+
+"Guide des algorithmes publics"
+"Le design de la transparence"
+
+deleuze - societe de controle
+possibilité de desobeir à la lois
+
+