quentin.dufour.io/_notes_boite_noire.txt

problématique compréhension biais -> cacher certaines choses ?
impact dont d'organe, orientation, credit social chinois, etc.

pourquoi l'éthique ?
Pourquoi l’éthique ? Comment le développement fulgurant du numérique ré-interroge les scientifiques et la société
---

*claude kirchner*

> définit éthique, basé sur une hierarchisation de valeur, reflexion manquante dans le domaine du numérique, donne des exemples de 2 types puis conclue sur les initiatives

révolution bien plus profonde que l'on peut imaginer.
avant on pensait 3 matieres fondamentales : matière, vivant, énergie.
Mais on a oublié l'information

support de l'information et révolution : langage/dessin -> ecriture -> imprimerie -> numerique
*vraiment ce terme de révolution...*

nous sommes des systèmes de traitement de l'information
numérisation de toutes les activités humaines, lois plus adaptés, *missing*

5 notions : éthique, morale, déontologie, intégrité, droit
éthique -> positionnements sur les hierarchies de valeurs
morale -> ethique mais aussi morale sociale ou religieuse
deontologie -> regles de la profession
integrite -> absence de mauvaise intention, honneteté
droit -> code civil, national, international, sujet à interpretation

exemple de la puce RFID "exemple simple": liste des valeurs qui entrent en jeu
et explique pourquoi dans le second cas on accepte la surveillance
plein de valeurs (anonymat, empowerement, reversibilite, etc.)

 - Quelles valeurs ?
 - Quelles décisions ?
 - Quels algorithmes

exemple de mercedes : on protège avant tout le constructeur.

on en arrive donc à hierarchiser des valeurs :
bienfaisance, non mal-traitance, autonomie, justice, reproductibilité, loyauté, gratuité, respect, transparence...

Comment prendre des décisions en communauté quand on ne partage pas les memes hierarchies de valeur ?

Utilisation non envisagée : Siri + autiste, panneau public Paris + message Alix

Aborde les problèmes de :
  - persistance des données (pour toujours en ligne)
  - qui ces données concernent t'elles ? Moi mais aussi mon entourage (ADN, communications)

Présentation du cas de la faille 0-day
  - 1 million de dollars sur le marché noir
  - responsible disclosure

Exemple de l'authentification sur mon service :
  - oAuth Google ou Facebook
  - auth locale

Scientifique et amazon mechanical turk

--> quelles sont les valeurs derrière ça ?

Éthique & Numérique - Un référentiel pratique pour les acteurs du numérique
Des initiatives autour de l'IA et meme de la standardisation AFNOR.
Il existe des comités d'éthiques : CCNE, CERNA, COMETS, etc.
Et des comités opérationnels d'éthiques : Coerle, Cernis, CPP, etc.

éthique est un imperatif humanisme numerique
libre -> plus grand éthicité ?
éducation au numérique et à l'éthique

questions : normalisation de l'ethique par l'AFNOR ? qui hierarchise les valeurs ?

Society2Vec
-----------

> On explique notre société traditionnellement avec des catégories : des catégories de gens et des categories d'action / comportement. Ces categories impactent notre perception de la réalité. Elles représentent mal aussi notre société. L'idée c'est d'arrêter d'utiliser des catégories symboliques et d'utiliser des modèles non lineaires, dit connexioniste. Parallèle avec l'histoire de l'IA. Donne des exemples avec Netflix et Facebook. Explique pourquoi le concept de trace fonctionne mieux que les données déclaratives. Une fois ce point accepté, qu'est ce qu'on veut regarder ? autonomie / liberté (sur l'individu seulement) beaucoup plus exploré que théorie de la justice (égalite, à l'échelle de la société) 

*Dominique Cardon*

De la catégorisation statistique à la prédiction comportementale.
débat sur l'éthique --> la place de la technologie dans la société et pas sur les algos et les biais.

tension propre au numerique : theorie de la justice VS theorie de la liberté || liberté vs égalité

question de la catégorie et crise de la representation statistique de notre societe.
débat sur les biais algorithmiques.
Mais si on demande quel serait la bonne distribution de l'algo, definition de la norme, l'algo sans biais serait quoi ? on est pas d'accord.

pour décrire la société, on met les individus derriere un systeme de categorie et on essaye de trouver des régularités derrière ces categories.

categorie individu et categorie pratique sociale, etc.
particularité -> elles font systèmes.

on a façonné notre compréhension de la société selon ce système.

La distrinction de Pierre bourdieu.

le travail sociologues, crimonologues, marketing influencent notre perception de la réalité.
on a façonné des représentation de la société avec ces classes.
etude : acheter des questions INSEE (ou allez vous en vacances, etc.) pour deviner l'emploi de la personne

critique normativve de la categorisation : aliénante, normalisatrive, etc.
représenter la société sans catégorie.

"Discrimination in the Age of Algorithms"

algo de la justice, recrutement, selection (université).
on essaye de prédire le meilleur score.
Pour essayer de redresser des biais dans les données d'apprentissage.

-- On enchaine sur le machine learning --

"La revanche des neurones. L'invention des machines inductives et la controverse de l'intelligence artificielle" Réseaux 2018

connexionism -> ok
symbolic -> AI winter
connexiomism -> retour de l'AI

---> on ne calcule pas sur des symboles
l'idée de categoriser n'a pas de sens. connexions de bas niveau.

--- granularise les données ----

netflix 70 000 micro-genres
on a pas besoin de leur sexe, age, diplome mais leur trace de navigation
on calcule très mal les gens avec du declaratif, il faut du comportemental.
ils onr arrete de prendre les notes sur les films
Quand on a une liste de traces de films regardées, c'est bien superieur aux notes.
YT n'utilise plus les j'aime / j'aime pas par exemple.

conclue sur 2 notions : theorie de la justice et autonomie.
distribution des ressources dans la société (justice)
influence sur moi (autonomie)

est ce que l'algorithme a influencé l'intention initiake de la personne
est ce que l'algorithme a empeché aux gens si il n'y avait pas eu l'algorithme.

pionniers du web se sont occupés de l'autonomie
Mais jamais de la théorie de la justice qui revient dans l'histoire du numerique. p-e Felix Treger l'abordera.

https://neurovenge.antonomase.fr/

Face à l'automatisation des bureaucraties, l'accommodement ou le refus ?
----

*Felix Treguer*

> Historique des technologies qui ont aidé la bureaucratie du 16ème siècle à nos jours : nombres, imprimerie, la poste, le telegraphe, Cybersin. Critique de la bureaucratie : accapare le pouvoir. Parle des premières critiques de la bureaucratie (Marc Savio, Les clodos, Safari).

prolongation travaux de theses.

parcours sup, demat' service public, controle au frontiere, reconnaissance faciale, les boites noires de la loi renseignement signaux faibles radicalisation.

notion d'automatisation -> assemblage homme machine

automatisation des bureaucraties
remonte au 16eme siecle
leviathan thomas honnes
gouvernance par les nombres

pose un imaginaire normatif qui est le notre

techniques de communication et mecanisation du travail gouvernemental
imprimerie aide le developpement des bureaucraties (reproduire des notices, etc.)
cite aussi la poste, le telegraphe de chappe.

Delphine Gardey : Ecrire, Calculer, Classer
Augmente le volume et la rapidite des productions d'écriture
complexes technico humains qui servent autant le gouvernement des affaires que celui de l'état

lendemain seconde guerre mondiale.
utopie gouvernement cybernetique
salvador allende projet cybersin

-- quand la critique des bureaucraties se confond avec l'informatique --

XIX et XX -> critique des bureaucraties (John Stuart Mill, Marx, Max Weber).
idée appareil bureaucratique accapare le pouvoir.

se retrouve dans les moments contre-culture des annees 1960
la technocratie qui gouverne est assimiliée à une machine
mario savio there comes a time

bcp parlé des hippies qui veulent utiliser la machine pour la democratie
moins de ces contres cultures

groupe anarchiste les clodos / action directe

premières controverses sur l'informatique et la surveillance d'état et leurs consequences pour les libertés publiques.
Exemple de Safari qui amène à la création de la CNIL

-- Face à la résisttance, se dessine dès les années 1960 la stratégie des accomodements raisonnables vis à vis de l'informatisation --

commission Bell sur l'an 2000 (1960) rapport Nora-minc (1978), etc.
mené dans les années 1960 pour essayer de predire le fonctionnement de l'an 2000

renoncer à la vie privée, besoin des ordinateurs pour rester libre, pour nous outiller.

compromis informatique liberalisme et bureaucratie de masse

éthique et informatique, protection des données personnelles, transparence administrative :
socle commun d'un compromis censé garantir l'acceptibilité sociale de l'informatique

idée informatisation etat + agile, + en phase, + transparent avec les citoyens

40 ans plus tard : la startup nation comme nouveau paradigme bureaucratique

la configuration politique parait similaire, seuls certains mots-clés ont changé.

1978 estaing (année informatique et liberté) on va pouvoir domestiquer l'informatique et juguler ses effets nefastes.
IA liberee vs IA maitrisee il y a un an

rejouer la meme scene que dans les annees 1970.
Qu'est ce que les lumieres ? 1984 Foucault

L'enjeu est donc : ...

ces approches ont échoué 

approche de l'accomodement. conteneir les effets pervers et nefastes.
cornelius castoriadis, la montée de l'insignifiance
La raison d'état est infiniment plus forte... "

make it stop :
rouvrir nos imaginaires à la possibilité d'une désescalade technologique, d'une refus de l'informatique de controle et de ses multiples incarnations


ces approches permettent de limiter la casse
mais accomoder avec un refus plus clair, plus affirmé de l'informatique de controle
automatisation des bureaucraties

accomodement VS refus -> binarité un peu trompeuse ?
autre histoire vient du design confort et mécanisation
software takes command
http://manovich.net/index.php/projects/software-takes-command

chez max weber la breaucratie c'est plein de qualités
sans bureaucratie, on met la justice à la porte
ex: argh...


--- table ronde ---

standardisation de l'éthique en informatique -> se heurter aux autres domaines (santé) - comment fait on ?
deja normaliser l'éthique va à l'encontre de sa définition. 

accomodement du refus.
parle des groupes d'éthique
Felix Treguer parle de leur contournement Chine + Singapour
La meme Inria qui critique les boites noires mais en meme temps Safe City à Nice

montee en puissance de l'éthique 
alors que les droits fondamentaux aussi peu respectés
symptone de l'incapacitation du droit
droit une simple contrainte parmi d'autre
quelle entité pourrait avoir un effet contraignant alors que le droit n'est pas respecté
GAFAM ne s'y sont pas trompés
risque de privatisation de la régulation ?
demontrer l'inutilité de toute régulation juridique
Court circuite le débat public
nouvelle forme d'auto regulation
innefectivité totale de l'auto regulation.

apporte des reflexions interessantes
mais forme de contournement du droit
ethical washing

foucault régimes securitaires : "quand vous dites aux gens qu'ils n'ont plus de libertés, hitler est à vos portes, ils ne vous croient pas. Si on veut organiser de la resistance, il faut parler de cette angoisse"

"libre marché des idées"

promesse de la technologie qui nous libere est fausse, a réduit notre champs des possibles
pas interessé par l'éthique mais la critique
a partir d'un moment, le refus devient nécessaire
produit des attentes auprès du legislateur pour qu'il fabrique de la norme
le legislateur ne fait pas bien son travail
débat sur la loi AVIA sur comment ça a été construite.
On fabrique de la norme assez problématique meme si il y a des choses qui renvoient à des attentes sociales

Quel degré de transparence pour les algorithmes ?
------

*Claire Mathieu*

> Cite avantages et inconvenients de la transparence dans le cas des algorithmes puis présente les 4 dimensions de la transparence. Analogie avec parcoursup. Probleme de la loi de Goodhart. Mentionne la théorie des jeux

transparence des algorithmes
transparence : du positif et du négatif (surveillance)
algorithme : techniques

loi : pouvoir expliquer les décisions individuelles

transparence : arme contre la stupidité des dev.
ex knuth vol 2 - calculer une suite de nombre pseudo aleatoire.
propose un algorithme qui ne marche pas -> l'algo converge vers 6065038420

la transparence aide à la confiance
ex: algorithme d'allocation de bourses communales pour les ycéens de Nantes à travers les années
meme probleme de confiance avec les algos :
qui décide et selon quel critère

la transparence accroit l'égalité
difference de pouvoir entre celui qui sait et celui qui ne sait pas

la transparence permets les contournements
-> si nous rendons notre méthode publique, les gens vont en profiter pour tricher
loi de Goodhart : lorsqu'une mesure devient un objectif, elle cesse d'être une bonne mesure
Reactions :
  1. Cacher la mesure
  2. (mieux) Réagir et s'adapter au comportement

Théorie mathematique de la transparence
theorie des jeux : construire la mthode de facon que meme en schant tout des autres participants

Methode de Vickrey : vendu au plus offrant au prix du second plus offrant.

Risque 1 : la gouvernance des algos
 - C'est l'algo, c'est comme ça on n'y peut rien
 - Voici comment ça marche...

comment faire quand algo trop compliqué ?

Risque 2 : Role de l'humain
 - Dans cette formation, le comite a classe votre dossier derriere d'autres candidatures

4 dimensions de la transparence :
  - Transparence du contexte -> affectation aux formations de l'enseignement superieur. Les conditions : taux de boursiers, d'externes, etc.
  - Transparence de l'approche -> publication de l'algo et du code
  - Transparence du résultat -> comité fermé
  - Transparence de l'execution -> au fur et à mesure. ce qui est important c'est comment les formations classent les dossiers

et si un algo d'apprentissage statistique fait mieux que les humains et est irrémédiablement opaque.

QUESTION : est ce qu'on peut parler de transparence de l'approche et des resultats sans avoir accès au code complet et aux entrées pour reexecuter la logique en locale et comparer ? 

Les FAT (fair, accountable, transparent) algorithms ou la mystique d'une démocratie immanente
---

*Antoinette ROUVROY*

> cherche a anticiper. la norme ne definit plus le reel mais le reel definit la norme, rapport aux données d'apprentissages. pratique car plus de symbole, les données sont décorellées de tout sens (les vecteurs en ML vs les categories). Meme en cas d'algos parfaits, présente des biais ()

hypothese gouvernementalite algorithmique
la norme soit domestiquée par le reel lui meme

inverse foucault : les corps sont domestiques par la norme
on disait code is law
avec le ML, le code est domestiqué par les données

trasncription presque passive de la sauvagerie des faits.
ne representent plus le monde mais en tiennent lieu

pas une proliferation symbolique mais de pure signaux.
alternative seduisante aux politiques, à l'état de droit rigide, etc.

en relisant des textes de baudriard sur la transparence du mal.
dans la theorie revolutionnaire, que le l'état disparaisse et que la politique se nie dans la transparence du social.

le politique a bel et bien disparu et il a entraine le social dans sa disparition

degré 0 de la politique mais dans sa simulation. 

privilegie la notion de cosmetique a la notion d'onthologie

géré de manière très anticipative, prémptrice, préventive
données asinifiante -> expurgée de leur contexte -> de l'etre vivant

engouement pour les boites noires pas symptomatique de la techno mais de la politique
IA/stats très utile pour detecter des regularités detectables sur des très grands nombres

on ne peut pas etre competitif avec un ordi mais incapable de donner sens à leurs resultats
inutile de fantasmer competition intelligence humaine/artificielle

il faut combiner les biais

IA est toxique quand elle ne sert à automatiser que des etats de fait insoutenables

il y a des moments dans la vie ou savoir que penser autrement c'est necessaire pour continuer a penser" Foucault, à peu près

glissement du societe du signe (signifiant, symbole) vers une societe du signaux insignifiant.
question du droit dans ce glissement

on substitue un apprentissage continue à la production d'une verite stable.
plus vrai ou faux, juste suffisament fiable pour justifier une prise d'action
la modelisation n'a pas vocation a etre vraie

3. on ne vise plus la comprehension de ces phenomenes mais leur prediction
arrachement du signal numerique au signifiant --> tres emancipateur ?!
la donnée n'est pas représentative de quelque chose qui lui préexiste
ces nouvelles technos sont utilisées par entites qui n'ont pas d'interet la cooperation entre elles ou le bien commun 


-- du signe au pur signal
on detecte vos potentialités avant meme que vous ayez imaginé passer à l'acte 
--> préemption (et pas prévention)
prédire les phénomènes sans avoir à les comprendre.
beaucoup plus large que la biopolitique de Foucault.
l'incertitude comme tel. 
cette demande de sécurité se traduit par une demande de certitude.
Quel meilleur moyen d'etre sur de l'avenir que de le produire.
actualisation du virtuel. 
"frappes de signature"

prive la capacité de ne pas faire tout ce dont vous êtes capable

--

"ce qui se joue avec le numerique ajd c'est l'abandon du monde de la representation pour rentrer dans le monde du programme dont le [...] est celui du credit. [...]"
https://journals.openedition.org/appareil/1586?lang=en

ce monde numerique nous dispense d'expliquer les choses au profit d'une pure présence.

hyper individualisation.
chacun devient sa propre référence statistique.
destitution de la connaissance, on peut se passer de compréhension. pas les ingenieux mais les politiques
données allégées. on les garde par defaut.
donnes personnelles -> mouarf, juristes à coté de la plaque
surtout des données relationnelles

machines aux frontieres -> ne se basent plus sur des categories -> devient très difficiles à contester -> toute la dimension collective a disparue.
la loi pour evoluer a besoin de contestation / contestabilité
en se basant sur la gouvernementabilite algorithmique, on ne detecte plus des personnes mais des risques et plus de categorie, on ne peut plus se reconnaitre.
emancipateur ? des dimensions langagieres avec leurs biais (colonial, etc.)

transformation des formes du savoir, très personnel mais insignifiant.
acces au reel en haute definition. 
ces categories avant étaient jamais vrai adequates.

autant de faux positifs chez les blances et les noirs -> fair ? sauf que les gens n'ont pas tous les memes ressources pour se defendre. 

recommendation judiciaire -> algo qui evalue les risques de recidive -> fair, accountable, transparent -> paradoxal on veut garder la main mais on a l'algo -> juge qui decide -> pas content, prend le contrepieds ou d'accord et suit.

le droit ce n'est rien d'autre que l'anticipation de la decision du juge.
est ce que la decision qu'il prend est equitable
dur de modeliser le comportement d'un juge face à ces machines.

compliciter entre la gouvernementalité algorithmique et le capitalisme neoliberal
systeme immunitaire de ce systeme contre tout ce qui pourrait le mettre en crise.
s'accaparer par avance cet espace du virtuel.

cette fiction de l'individu libre rationnel et autonome.
surveillance de masse <=> personnalisation

plus d'individu autonome, un amas de pulsion. 
plus leur capacité d'entendement, de volonté, en les attrapant dans leurs pulsions


Cultures de l'observation et méthodes pour la transparence algorithmique
---

*Loup Cellard*

> Loup Cellard nous parle d'algorithme pour définir l'organisation de la bureaucratie (ndlr: nommé process). Il donne un exemple à travers les crèches. Il montre que cet algorithme n'est pas formalisé et mal connu de ses agents. Il introduit la CADA et des lois qui permettent d'acceder à ces algos/process et donne des exemples auxquelles ces lois s'appliquent et leurs limitations. Ils presentent les avantages de la transparence mais montre qu'elle n'assure pas l'intelligibité.

etnographie / etalab / 8 mois.
3 cas d'études -> taxe habitation, attribution des places en creches, outil de recherche d'emploi

2019 consultant etalab
ecriture d'une note de recherche sur les demandes citoyennes
organisation d'une journée sur l'explicabilite


pourquoi parler d'algo dans le cas de la creche
les algorithmes sont partouts mais invisible et quand on les trouve c'est souvent des boites noires.
du coup recherche des algorithmes dans les creches

a reussi a representer l'algorithme d'assignation des places en creche.
  1- premier rdv pour collecter des donnees
  2- entrees dans une logiciel concerto
  3- exporter ces données ordonnees par demande sous forme d'un fichier excel
  4- le fichier excel est modifié et ordonné à la main
    4.1 - par type de contrat (200h, 160h, ...)
    4.2 - par ordre de priorite (handicap, soutien des services sociaux, familles mono parentales, naissances multiples, parents etudiants, priorite medicale des parents)
    4.3 - par revenus (du moins eleve au plus eleve)
  5- Le fichier excel est discuté dans une commission composée de [...]

pas full ordi mais correspond a la definition d'un algo
c'est un systeme socio-techniquer (seaver, 2014. 2019)

est maintenant considere comme algo :
  - jury de prof pour l'entree en classe euro
  - systeme de calcul de la taxe d'habitation
  - systeme de priorisation de l'intervention entre SAMU et pompiers
--> tout ca requalifié comme algorithme

Les outils classiques de la transparence sont inadaptés pour rendre intelligible les situations algorithmiques.

instrument de transparence 
  - auto legitimation
  - gestion des impressions
  - visibilite
  - mais pas l'intelligibilite

delegation du travail d'interpretation

les gens de la bureaucratie ne sont pas capable de décrire la procédure.

"modèle inquisitorial de l'enquete administrative"
epreuve d'explicitation des algorithmes

si algo dans la prise de decision, possibilite de :
  - demander à l'administration
  - puis demander à la CADA
  - puis aller au tribunal administratif

ex: M. X, femme accident cardiaque, appelle le 15, arbre d'aide à la decision SAMU / Pompier, demande l'arbre de decision
MAIS CADA répond "communiquer l'algo porterait atteinte à la securite publique."
trop large dans sa demande, ce qu'il voulait c'était le cas de se femme.

limitations de la cada :
  - tributaire des questions posées
  - se protege derriere les reponses des administrations
  - elle n'a pas moyen pour investiguer les avis
  - confusion des procedures CADA et CNIL

 cada ne peut interpreter.
apprendre aux gens à faire la demande, etc.

etc.

"Guide des algorithmes publics"
"Le design de la transparence"

deleuze - societe de controle
possibilité de desobeir à la lois