quentin.dufour.io/_notes_boite_noire.txt
2020-06-20 12:06:49 +02:00

527 lines
23 KiB
Text
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

problématique compréhension biais -> cacher certaines choses ?
impact dont d'organe, orientation, credit social chinois, etc.
pourquoi l'éthique ?
Pourquoi léthique ? Comment le développement fulgurant du numérique ré-interroge les scientifiques et la société
---
*claude kirchner*
> définit éthique, basé sur une hierarchisation de valeur, reflexion manquante dans le domaine du numérique, donne des exemples de 2 types puis conclue sur les initiatives
révolution bien plus profonde que l'on peut imaginer.
avant on pensait 3 matieres fondamentales : matière, vivant, énergie.
Mais on a oublié l'information
support de l'information et révolution : langage/dessin -> ecriture -> imprimerie -> numerique
*vraiment ce terme de révolution...*
nous sommes des systèmes de traitement de l'information
numérisation de toutes les activités humaines, lois plus adaptés, *missing*
5 notions : éthique, morale, déontologie, intégrité, droit
éthique -> positionnements sur les hierarchies de valeurs
morale -> ethique mais aussi morale sociale ou religieuse
deontologie -> regles de la profession
integrite -> absence de mauvaise intention, honneteté
droit -> code civil, national, international, sujet à interpretation
exemple de la puce RFID "exemple simple": liste des valeurs qui entrent en jeu
et explique pourquoi dans le second cas on accepte la surveillance
plein de valeurs (anonymat, empowerement, reversibilite, etc.)
- Quelles valeurs ?
- Quelles décisions ?
- Quels algorithmes
exemple de mercedes : on protège avant tout le constructeur.
on en arrive donc à hierarchiser des valeurs :
bienfaisance, non mal-traitance, autonomie, justice, reproductibilité, loyauté, gratuité, respect, transparence...
Comment prendre des décisions en communauté quand on ne partage pas les memes hierarchies de valeur ?
Utilisation non envisagée : Siri + autiste, panneau public Paris + message Alix
Aborde les problèmes de :
- persistance des données (pour toujours en ligne)
- qui ces données concernent t'elles ? Moi mais aussi mon entourage (ADN, communications)
Présentation du cas de la faille 0-day
- 1 million de dollars sur le marché noir
- responsible disclosure
Exemple de l'authentification sur mon service :
- oAuth Google ou Facebook
- auth locale
Scientifique et amazon mechanical turk
--> quelles sont les valeurs derrière ça ?
Éthique & Numérique - Un référentiel pratique pour les acteurs du numérique
Des initiatives autour de l'IA et meme de la standardisation AFNOR.
Il existe des comités d'éthiques : CCNE, CERNA, COMETS, etc.
Et des comités opérationnels d'éthiques : Coerle, Cernis, CPP, etc.
éthique est un imperatif humanisme numerique
libre -> plus grand éthicité ?
éducation au numérique et à l'éthique
questions : normalisation de l'ethique par l'AFNOR ? qui hierarchise les valeurs ?
Society2Vec
-----------
> On explique notre société traditionnellement avec des catégories : des catégories de gens et des categories d'action / comportement. Ces categories impactent notre perception de la réalité. Elles représentent mal aussi notre société. L'idée c'est d'arrêter d'utiliser des catégories symboliques et d'utiliser des modèles non lineaires, dit connexioniste. Parallèle avec l'histoire de l'IA. Donne des exemples avec Netflix et Facebook. Explique pourquoi le concept de trace fonctionne mieux que les données déclaratives. Une fois ce point accepté, qu'est ce qu'on veut regarder ? autonomie / liberté (sur l'individu seulement) beaucoup plus exploré que théorie de la justice (égalite, à l'échelle de la société)
*Dominique Cardon*
De la catégorisation statistique à la prédiction comportementale.
débat sur l'éthique --> la place de la technologie dans la société et pas sur les algos et les biais.
tension propre au numerique : theorie de la justice VS theorie de la liberté || liberté vs égalité
question de la catégorie et crise de la representation statistique de notre societe.
débat sur les biais algorithmiques.
Mais si on demande quel serait la bonne distribution de l'algo, definition de la norme, l'algo sans biais serait quoi ? on est pas d'accord.
pour décrire la société, on met les individus derriere un systeme de categorie et on essaye de trouver des régularités derrière ces categories.
categorie individu et categorie pratique sociale, etc.
particularité -> elles font systèmes.
on a façonné notre compréhension de la société selon ce système.
La distrinction de Pierre bourdieu.
le travail sociologues, crimonologues, marketing influencent notre perception de la réalité.
on a façonné des représentation de la société avec ces classes.
etude : acheter des questions INSEE (ou allez vous en vacances, etc.) pour deviner l'emploi de la personne
critique normativve de la categorisation : aliénante, normalisatrive, etc.
représenter la société sans catégorie.
"Discrimination in the Age of Algorithms"
algo de la justice, recrutement, selection (université).
on essaye de prédire le meilleur score.
Pour essayer de redresser des biais dans les données d'apprentissage.
-- On enchaine sur le machine learning --
"La revanche des neurones. L'invention des machines inductives et la controverse de l'intelligence artificielle" Réseaux 2018
connexionism -> ok
symbolic -> AI winter
connexiomism -> retour de l'AI
---> on ne calcule pas sur des symboles
l'idée de categoriser n'a pas de sens. connexions de bas niveau.
--- granularise les données ----
netflix 70 000 micro-genres
on a pas besoin de leur sexe, age, diplome mais leur trace de navigation
on calcule très mal les gens avec du declaratif, il faut du comportemental.
ils onr arrete de prendre les notes sur les films
Quand on a une liste de traces de films regardées, c'est bien superieur aux notes.
YT n'utilise plus les j'aime / j'aime pas par exemple.
conclue sur 2 notions : theorie de la justice et autonomie.
distribution des ressources dans la société (justice)
influence sur moi (autonomie)
est ce que l'algorithme a influencé l'intention initiake de la personne
est ce que l'algorithme a empeché aux gens si il n'y avait pas eu l'algorithme.
pionniers du web se sont occupés de l'autonomie
Mais jamais de la théorie de la justice qui revient dans l'histoire du numerique. p-e Felix Treger l'abordera.
https://neurovenge.antonomase.fr/
Face à l'automatisation des bureaucraties, l'accommodement ou le refus ?
----
*Felix Treguer*
> Historique des technologies qui ont aidé la bureaucratie du 16ème siècle à nos jours : nombres, imprimerie, la poste, le telegraphe, Cybersin. Critique de la bureaucratie : accapare le pouvoir. Parle des premières critiques de la bureaucratie (Marc Savio, Les clodos, Safari).
prolongation travaux de theses.
parcours sup, demat' service public, controle au frontiere, reconnaissance faciale, les boites noires de la loi renseignement signaux faibles radicalisation.
notion d'automatisation -> assemblage homme machine
automatisation des bureaucraties
remonte au 16eme siecle
leviathan thomas honnes
gouvernance par les nombres
pose un imaginaire normatif qui est le notre
techniques de communication et mecanisation du travail gouvernemental
imprimerie aide le developpement des bureaucraties (reproduire des notices, etc.)
cite aussi la poste, le telegraphe de chappe.
Delphine Gardey : Ecrire, Calculer, Classer
Augmente le volume et la rapidite des productions d'écriture
complexes technico humains qui servent autant le gouvernement des affaires que celui de l'état
lendemain seconde guerre mondiale.
utopie gouvernement cybernetique
salvador allende projet cybersin
-- quand la critique des bureaucraties se confond avec l'informatique --
XIX et XX -> critique des bureaucraties (John Stuart Mill, Marx, Max Weber).
idée appareil bureaucratique accapare le pouvoir.
se retrouve dans les moments contre-culture des annees 1960
la technocratie qui gouverne est assimiliée à une machine
mario savio there comes a time
bcp parlé des hippies qui veulent utiliser la machine pour la democratie
moins de ces contres cultures
groupe anarchiste les clodos / action directe
premières controverses sur l'informatique et la surveillance d'état et leurs consequences pour les libertés publiques.
Exemple de Safari qui amène à la création de la CNIL
-- Face à la résisttance, se dessine dès les années 1960 la stratégie des accomodements raisonnables vis à vis de l'informatisation --
commission Bell sur l'an 2000 (1960) rapport Nora-minc (1978), etc.
mené dans les années 1960 pour essayer de predire le fonctionnement de l'an 2000
renoncer à la vie privée, besoin des ordinateurs pour rester libre, pour nous outiller.
compromis informatique liberalisme et bureaucratie de masse
éthique et informatique, protection des données personnelles, transparence administrative :
socle commun d'un compromis censé garantir l'acceptibilité sociale de l'informatique
idée informatisation etat + agile, + en phase, + transparent avec les citoyens
40 ans plus tard : la startup nation comme nouveau paradigme bureaucratique
la configuration politique parait similaire, seuls certains mots-clés ont changé.
1978 estaing (année informatique et liberté) on va pouvoir domestiquer l'informatique et juguler ses effets nefastes.
IA liberee vs IA maitrisee il y a un an
rejouer la meme scene que dans les annees 1970.
Qu'est ce que les lumieres ? 1984 Foucault
L'enjeu est donc : ...
ces approches ont échoué
approche de l'accomodement. conteneir les effets pervers et nefastes.
cornelius castoriadis, la montée de l'insignifiance
La raison d'état est infiniment plus forte... "
make it stop :
rouvrir nos imaginaires à la possibilité d'une désescalade technologique, d'une refus de l'informatique de controle et de ses multiples incarnations
ces approches permettent de limiter la casse
mais accomoder avec un refus plus clair, plus affirmé de l'informatique de controle
automatisation des bureaucraties
accomodement VS refus -> binarité un peu trompeuse ?
autre histoire vient du design confort et mécanisation
software takes command
http://manovich.net/index.php/projects/software-takes-command
chez max weber la breaucratie c'est plein de qualités
sans bureaucratie, on met la justice à la porte
ex: argh...
--- table ronde ---
standardisation de l'éthique en informatique -> se heurter aux autres domaines (santé) - comment fait on ?
deja normaliser l'éthique va à l'encontre de sa définition.
accomodement du refus.
parle des groupes d'éthique
Felix Treguer parle de leur contournement Chine + Singapour
La meme Inria qui critique les boites noires mais en meme temps Safe City à Nice
montee en puissance de l'éthique
alors que les droits fondamentaux aussi peu respectés
symptone de l'incapacitation du droit
droit une simple contrainte parmi d'autre
quelle entité pourrait avoir un effet contraignant alors que le droit n'est pas respecté
GAFAM ne s'y sont pas trompés
risque de privatisation de la régulation ?
demontrer l'inutilité de toute régulation juridique
Court circuite le débat public
nouvelle forme d'auto regulation
innefectivité totale de l'auto regulation.
apporte des reflexions interessantes
mais forme de contournement du droit
ethical washing
foucault régimes securitaires : "quand vous dites aux gens qu'ils n'ont plus de libertés, hitler est à vos portes, ils ne vous croient pas. Si on veut organiser de la resistance, il faut parler de cette angoisse"
"libre marché des idées"
promesse de la technologie qui nous libere est fausse, a réduit notre champs des possibles
pas interessé par l'éthique mais la critique
a partir d'un moment, le refus devient nécessaire
produit des attentes auprès du legislateur pour qu'il fabrique de la norme
le legislateur ne fait pas bien son travail
débat sur la loi AVIA sur comment ça a été construite.
On fabrique de la norme assez problématique meme si il y a des choses qui renvoient à des attentes sociales
Quel degré de transparence pour les algorithmes ?
------
*Claire Mathieu*
> Cite avantages et inconvenients de la transparence dans le cas des algorithmes puis présente les 4 dimensions de la transparence. Analogie avec parcoursup. Probleme de la loi de Goodhart. Mentionne la théorie des jeux
transparence des algorithmes
transparence : du positif et du négatif (surveillance)
algorithme : techniques
loi : pouvoir expliquer les décisions individuelles
transparence : arme contre la stupidité des dev.
ex knuth vol 2 - calculer une suite de nombre pseudo aleatoire.
propose un algorithme qui ne marche pas -> l'algo converge vers 6065038420
la transparence aide à la confiance
ex: algorithme d'allocation de bourses communales pour les ycéens de Nantes à travers les années
meme probleme de confiance avec les algos :
qui décide et selon quel critère
la transparence accroit l'égalité
difference de pouvoir entre celui qui sait et celui qui ne sait pas
la transparence permets les contournements
-> si nous rendons notre méthode publique, les gens vont en profiter pour tricher
loi de Goodhart : lorsqu'une mesure devient un objectif, elle cesse d'être une bonne mesure
Reactions :
1. Cacher la mesure
2. (mieux) Réagir et s'adapter au comportement
Théorie mathematique de la transparence
theorie des jeux : construire la mthode de facon que meme en schant tout des autres participants
Methode de Vickrey : vendu au plus offrant au prix du second plus offrant.
Risque 1 : la gouvernance des algos
- C'est l'algo, c'est comme ça on n'y peut rien
- Voici comment ça marche...
comment faire quand algo trop compliqué ?
Risque 2 : Role de l'humain
- Dans cette formation, le comite a classe votre dossier derriere d'autres candidatures
4 dimensions de la transparence :
- Transparence du contexte -> affectation aux formations de l'enseignement superieur. Les conditions : taux de boursiers, d'externes, etc.
- Transparence de l'approche -> publication de l'algo et du code
- Transparence du résultat -> comité fermé
- Transparence de l'execution -> au fur et à mesure. ce qui est important c'est comment les formations classent les dossiers
et si un algo d'apprentissage statistique fait mieux que les humains et est irrémédiablement opaque.
QUESTION : est ce qu'on peut parler de transparence de l'approche et des resultats sans avoir accès au code complet et aux entrées pour reexecuter la logique en locale et comparer ?
Les FAT (fair, accountable, transparent) algorithms ou la mystique d'une démocratie immanente
---
*Antoinette ROUVROY*
> cherche a anticiper. la norme ne definit plus le reel mais le reel definit la norme, rapport aux données d'apprentissages. pratique car plus de symbole, les données sont décorellées de tout sens (les vecteurs en ML vs les categories). Meme en cas d'algos parfaits, présente des biais ()
hypothese gouvernementalite algorithmique
la norme soit domestiquée par le reel lui meme
inverse foucault : les corps sont domestiques par la norme
on disait code is law
avec le ML, le code est domestiqué par les données
trasncription presque passive de la sauvagerie des faits.
ne representent plus le monde mais en tiennent lieu
pas une proliferation symbolique mais de pure signaux.
alternative seduisante aux politiques, à l'état de droit rigide, etc.
en relisant des textes de baudriard sur la transparence du mal.
dans la theorie revolutionnaire, que le l'état disparaisse et que la politique se nie dans la transparence du social.
le politique a bel et bien disparu et il a entraine le social dans sa disparition
degré 0 de la politique mais dans sa simulation.
privilegie la notion de cosmetique a la notion d'onthologie
géré de manière très anticipative, prémptrice, préventive
données asinifiante -> expurgée de leur contexte -> de l'etre vivant
engouement pour les boites noires pas symptomatique de la techno mais de la politique
IA/stats très utile pour detecter des regularités detectables sur des très grands nombres
on ne peut pas etre competitif avec un ordi mais incapable de donner sens à leurs resultats
inutile de fantasmer competition intelligence humaine/artificielle
il faut combiner les biais
IA est toxique quand elle ne sert à automatiser que des etats de fait insoutenables
il y a des moments dans la vie ou savoir que penser autrement c'est necessaire pour continuer a penser" Foucault, à peu près
glissement du societe du signe (signifiant, symbole) vers une societe du signaux insignifiant.
question du droit dans ce glissement
on substitue un apprentissage continue à la production d'une verite stable.
plus vrai ou faux, juste suffisament fiable pour justifier une prise d'action
la modelisation n'a pas vocation a etre vraie
3. on ne vise plus la comprehension de ces phenomenes mais leur prediction
arrachement du signal numerique au signifiant --> tres emancipateur ?!
la donnée n'est pas représentative de quelque chose qui lui préexiste
ces nouvelles technos sont utilisées par entites qui n'ont pas d'interet la cooperation entre elles ou le bien commun
-- du signe au pur signal
on detecte vos potentialités avant meme que vous ayez imaginé passer à l'acte
--> préemption (et pas prévention)
prédire les phénomènes sans avoir à les comprendre.
beaucoup plus large que la biopolitique de Foucault.
l'incertitude comme tel.
cette demande de sécurité se traduit par une demande de certitude.
Quel meilleur moyen d'etre sur de l'avenir que de le produire.
actualisation du virtuel.
"frappes de signature"
prive la capacité de ne pas faire tout ce dont vous êtes capable
--
"ce qui se joue avec le numerique ajd c'est l'abandon du monde de la representation pour rentrer dans le monde du programme dont le [...] est celui du credit. [...]"
https://journals.openedition.org/appareil/1586?lang=en
ce monde numerique nous dispense d'expliquer les choses au profit d'une pure présence.
hyper individualisation.
chacun devient sa propre référence statistique.
destitution de la connaissance, on peut se passer de compréhension. pas les ingenieux mais les politiques
données allégées. on les garde par defaut.
donnes personnelles -> mouarf, juristes à coté de la plaque
surtout des données relationnelles
machines aux frontieres -> ne se basent plus sur des categories -> devient très difficiles à contester -> toute la dimension collective a disparue.
la loi pour evoluer a besoin de contestation / contestabilité
en se basant sur la gouvernementabilite algorithmique, on ne detecte plus des personnes mais des risques et plus de categorie, on ne peut plus se reconnaitre.
emancipateur ? des dimensions langagieres avec leurs biais (colonial, etc.)
transformation des formes du savoir, très personnel mais insignifiant.
acces au reel en haute definition.
ces categories avant étaient jamais vrai adequates.
autant de faux positifs chez les blances et les noirs -> fair ? sauf que les gens n'ont pas tous les memes ressources pour se defendre.
recommendation judiciaire -> algo qui evalue les risques de recidive -> fair, accountable, transparent -> paradoxal on veut garder la main mais on a l'algo -> juge qui decide -> pas content, prend le contrepieds ou d'accord et suit.
le droit ce n'est rien d'autre que l'anticipation de la decision du juge.
est ce que la decision qu'il prend est equitable
dur de modeliser le comportement d'un juge face à ces machines.
compliciter entre la gouvernementalité algorithmique et le capitalisme neoliberal
systeme immunitaire de ce systeme contre tout ce qui pourrait le mettre en crise.
s'accaparer par avance cet espace du virtuel.
cette fiction de l'individu libre rationnel et autonome.
surveillance de masse <=> personnalisation
plus d'individu autonome, un amas de pulsion.
plus leur capacité d'entendement, de volonté, en les attrapant dans leurs pulsions
Cultures de l'observation et méthodes pour la transparence algorithmique
---
*Loup Cellard*
> Loup Cellard nous parle d'algorithme pour définir l'organisation de la bureaucratie (ndlr: nommé process). Il donne un exemple à travers les crèches. Il montre que cet algorithme n'est pas formalisé et mal connu de ses agents. Il introduit la CADA et des lois qui permettent d'acceder à ces algos/process et donne des exemples auxquelles ces lois s'appliquent et leurs limitations. Ils presentent les avantages de la transparence mais montre qu'elle n'assure pas l'intelligibité.
etnographie / etalab / 8 mois.
3 cas d'études -> taxe habitation, attribution des places en creches, outil de recherche d'emploi
2019 consultant etalab
ecriture d'une note de recherche sur les demandes citoyennes
organisation d'une journée sur l'explicabilite
pourquoi parler d'algo dans le cas de la creche
les algorithmes sont partouts mais invisible et quand on les trouve c'est souvent des boites noires.
du coup recherche des algorithmes dans les creches
a reussi a representer l'algorithme d'assignation des places en creche.
1- premier rdv pour collecter des donnees
2- entrees dans une logiciel concerto
3- exporter ces données ordonnees par demande sous forme d'un fichier excel
4- le fichier excel est modifié et ordonné à la main
4.1 - par type de contrat (200h, 160h, ...)
4.2 - par ordre de priorite (handicap, soutien des services sociaux, familles mono parentales, naissances multiples, parents etudiants, priorite medicale des parents)
4.3 - par revenus (du moins eleve au plus eleve)
5- Le fichier excel est discuté dans une commission composée de [...]
pas full ordi mais correspond a la definition d'un algo
c'est un systeme socio-techniquer (seaver, 2014. 2019)
est maintenant considere comme algo :
- jury de prof pour l'entree en classe euro
- systeme de calcul de la taxe d'habitation
- systeme de priorisation de l'intervention entre SAMU et pompiers
--> tout ca requalifié comme algorithme
Les outils classiques de la transparence sont inadaptés pour rendre intelligible les situations algorithmiques.
instrument de transparence
- auto legitimation
- gestion des impressions
- visibilite
- mais pas l'intelligibilite
delegation du travail d'interpretation
les gens de la bureaucratie ne sont pas capable de décrire la procédure.
"modèle inquisitorial de l'enquete administrative"
epreuve d'explicitation des algorithmes
si algo dans la prise de decision, possibilite de :
- demander à l'administration
- puis demander à la CADA
- puis aller au tribunal administratif
ex: M. X, femme accident cardiaque, appelle le 15, arbre d'aide à la decision SAMU / Pompier, demande l'arbre de decision
MAIS CADA répond "communiquer l'algo porterait atteinte à la securite publique."
trop large dans sa demande, ce qu'il voulait c'était le cas de se femme.
limitations de la cada :
- tributaire des questions posées
- se protege derriere les reponses des administrations
- elle n'a pas moyen pour investiguer les avis
- confusion des procedures CADA et CNIL
cada ne peut interpreter.
apprendre aux gens à faire la demande, etc.
etc.
"Guide des algorithmes publics"
"Le design de la transparence"
deleuze - societe de controle
possibilité de desobeir à la lois