La technocratie chinoise utilise le système de notation des crédits sociaux pour stimuler la dictature scientifique

Principales conclusions

• Le gouvernement chinois a approuvé la mise à l'essai d'un système de crédit social faisant appel aux données personnelles des citoyens pour attribuer des cotes de crédit non officielles, assorties d'avantages et de pénalités gérées par des entreprises privées et des bureaux de l'État.
• Les cinq dimensions des données de pointage de crédit sont les suivantes: «historique de crédit des utilisateurs, habitudes de comportement, capacité de payer des dettes, informations personnelles et réseaux sociaux».
• Les algorithmes qui génèrent les cotes de crédit sont des secrets commerciaux, interdisant les formes de test permettant de déterminer leur fonctionnement.
• Les listes noires de débiteurs du gouvernement sont partagées avec les services d'évaluation du crédit privés et publics afin d'empêcher les particuliers d'effectuer certaines transactions.

Ce post, le deuxième dans un Series sur les systèmes de paiement mobile, examine une fonctionnalité d'application de paiement mobile chinoise de plus en plus couverte par les médias étrangers: tester ce qui pourrait un jour être un système de crédit social officiel à l'échelle nationale pour remplacer son homologue analogique traditionnel. Les cotes de crédit social les plus populaires disponibles au public sont actuellement émises via Sesame Credit, une société créée par la filiale d'Alibaba, Ant Financial. Les reportages des médias occidentaux sur le système de crédit social décrivent un phénomène semblable à la science-fiction dans lequel les citoyens se voient attribuer des notes en fonction de leur comportement en ligne, de leurs informations financières et des registres gouvernementaux. Les révélations des représentants d'Ant Financial ont suggéré que la navigation sur le Web tard dans la nuit, les heures passées à jouer à des jeux vidéo et les articles spécifiques achetés peuvent tous faire baisser le score. Que ces affirmations soient vraies ou non, les mécanismes de notation de Sesame Credit sont encore dans une phase expérimentale et sont donc sujets à changement. Notre exploration de la sécurité potentielle, de la confidentialité et d'autres problèmes d'un tel système vise à soulever des questions qui peuvent éclairer les discussions sur la façon dont il évoluera.

Déjà dans 2003, le Gouvernement chinois a exprimé son intérêt en créant un moyen complet d’attribuer des cotes de crédit aux citoyens qui constituerait une amélioration par rapport au système de notation de crédit du pays. Le Conseil d'Etat a récemment approuvé la «Schéma de réglementation pour la construction d'un système de crédit social (2014-2020)» et à l'heure actuelle, huit entreprises ont obtenu l'autorisation de la banque centrale pour mener des essai pilote de leurs propres systèmes de crédit social, apparentés aux notations de crédit à la consommation Fair, Isaac and Company (FICO). Une partie de ce qui rend une telle entreprise unique en Chine est l’imprécision et, dans certains cas, l’absence totale de réglementation concernant la collecte de données volumineuses à des fins de notation du crédit, l’utilisation potentielle de tels scores par des tiers, et la protection de la confidentialité des données des utilisateurs qui entrent en ligne de compte. calculs. le nouvelle loi sur la cybersécurité publié en novembre 7, 2016 contient un langage concernant les protections de la confidentialité, mais ne sera pas mis en œuvre avant juin 2017.

Cet article concerne le service de pointage de crédit social de Sesame Credit, que les utilisateurs d’Alipay peuvent actuellement choisir de recevoir dans l’application. Les scores de Sesame Credit sont l'exemple le plus populaire de la façon dont un système national de crédit social chinois pourrait un jour fonctionner, et donnent une idée des considérations qui, selon les entreprises, les citoyens et les États chinois devraient être intégrées à un tel système. Il s’agit d’une composante d’une action plus large du gouvernement chinois visant à exploiter le Big Data comme une ressource pour le contrôle social. Les cotes de crédit sont ventilées en cinq dimensions: «Historique de crédit des utilisateurs, habitudes de comportement, capacité de payer des dettes, informations personnelles et réseaux sociaux». De brèves descriptions de chacune de ces catégories sont incluses dans la fonction de crédit Sesame d'Alipay, sans toutefois nous éclairer sur des actions particulières. modifierait son score.

Selon Le Livre, «Préférences comportementales» désignent des actions telles que le paiement ponctuel de factures, et les «informations personnelles» incluent l’âge, le sexe, la profession et les antécédents scolaires. Plus troublants sont les «concepts de stabilité» mal définis supposément pris en compte par le crédit Sesame, auxquels les représentants de l'entreprise ont fait allusion sans avoir été clairement définis. Celles-ci semblent constituer des indicateurs hautement subjectifs de la situation financière et sociale d'un contributeur au mécanisme de notation du crédit. le même article à partir de Le Livre pose que «si votre adresse change souvent, votre solvabilité baissera en conséquence. En outre, les antécédents de crédit de vos amis vont également influer sur vos points Sesame. »Les possibilités de fausse déclaration ainsi que de discrimination fondée sur de tels facteurs sont vastes et les incitations qui les sous-tendent, qui changent de comportement, sont également préoccupantes. Yu Wujie, responsable scientifique des données de crédit chez Ant Financial a déclaré que «si vous faites régulièrement des dons à des œuvres caritatives, votre pointage de crédit sera plus élevé, mais cela ne vous dira pas combien de paiements vous devez effectuer chaque mois… mais [le développement] dans cette direction [est entrepris avec] l'espoir que tout le monde fera un don. " Directeur de la technologie de Ant Financial, Li Yingyun, a déclaré: “Quelqu'un qui joue à des jeux vidéo pendant 10 heures par jour, par exemple, serait considéré comme une personne oisive, et celui qui achète fréquemment des couches serait probablement considéré comme un parent qui, dans l’ensemble, aurait plus de chance de responsabilité. »Ces déclarations ont jusqu’à présent alimenté la couverture condamnatoire du crédit social dans les médias occidentaux, bien qu’il faille noter que le seul moyen de savoir avec certitude que les facteurs cités par les représentants des entreprises peuvent effectivement augmenter ou diminuer les scores serait de déconstruire les algorithmes. qui les déterminent, qui ont été étiquetés secrets commerciaux.

Sans la possibilité d'effectuer des tests statiques ou dynamiques des algorithmes de crédit social, que pouvons-nous déduire de leur fonctionnement? Deng Yiming, directeur du développement commercial de Sesame Credit, a déclaré que seulement 30 à 40% des données utilisé pour générer des scores de crédit provient d'entreprises et de services appartenant à Alibaba. Outre les données collectées grâce à l'activité des utilisateurs au sein de l'application Alipay, Sesame Credit calcule les scores individuels à l'aide des données collectées sur les sites Web de commerce électronique, les applications de partage de trajets et les restaurants connectés à Alipay d'Alibaba. bureaux du gouvernement impliquant la loi, l'éducation et le commerce. L’un des exemples les plus clairs d’un tel échange de données est Lien de Sesame Credit avec la Cour populaire suprême, qui aurait partagé sa liste noire de débiteurs et d’autres personnes ayant violé les décisions de justice rendues par la société afin d’empêcher ces personnes de faire des achats dits de luxe à Taobao et à Tmall. Cet arrangement soulève la question de savoir si Sesame Credit partage les données dans le sens opposé, en fournissant éventuellement à ses agences gouvernementales partenaires les informations transactionnelles des utilisateurs. Ces collaborations ont tendance à être éclipsées par ceux dans lesquels Sesame Credit collabore avec le secteur privé pour offrir des avantages aux détenteurs de scores élevés.

À l'heure actuelle, le privilège d'avoir un pointage de crédit social élevé peut inclure la réservation d'une voiture de location ou d'une chambre d'hôtel sans dépôt, le fait de contracter des emprunts à taux réduit, d'expédier des achats en ligne à essayer avant de les payer et d'obtenir des visas. au Luxembourg et à Singapour par un processus accéléré. D'autres pays ayant manifesté leur intérêt à participer à cette délivrance accélérée de visas comprennent le Japon, la Corée du Sud, le Sri Lanka et le Royaume-Uni. Des discussions ont eu lieu sur les utilisations futures des cotes de crédit élevées, y compris l'établissement de correspondances et le recrutement, ce qui souligne à quel point des intrants biaisés pourraient créer de nouveaux obstacles sociaux.

La représentation du système de crédit social par le gouvernement chinois le présente comme un moyen de rétablir la confiance entre les citoyens et dans les entreprises locales, telles que les restaurants dont le contrôle de la conformité aux réglementations en matière de santé sera assuré. Un autre des arguments de base pour la création d’un système de crédit social est qu’il permettra aux personnes traditionnellement incapables d’acquérir du crédit de le faire: étudiants, cols bleus, propriétaires de petites entreprises, etc. Pourtant, jusqu’à présent, il semble que les avantages d’un score élevé (dont on a supposé qu’en réalité peu d'utilisateurs ont atteint) sont ceux qui favorisent ceux qui sont dans une meilleure situation financière pour faire des dépenses somptueuses et fréquentes. Une de ses critiques est que Sesame Credit génère des scores pour les personnes qui effectuent davantage de transactions Alipay, ce que la société a fermement nié. Les exemples de scores plus élevés pour les achats associés aux parents et de scores plus faibles pour les personnes qui changent d’adresse personnelle suggèrent souvent qu’un manque de contexte peut conduire à une fausse représentation des actions des personnes, ce qui peut avoir des conséquences disproportionnées.

Il y a un danger à expliquer que les initiatives de mégadonnées utilisent des mesures «objectives» de données d'utilisateurs, en partie parce que dans les cas où un indicateur est inexact, il devient difficile de contester ce point. Un exemple d'un récent Wall Street Journal article implique une femme qui a utilisé le laissez-passer de métro de son fils et a été condamné à une amende pour un acte qui, à un algorithme, semblerait avoir été un vol. Cet incident mineur suscite des inquiétudes quant à la manière décontexualisée dont le calcul du crédit social peut être conçu pour fonctionner. Quel recours juridique existe-t-il, le cas échéant, pour des erreurs beaucoup plus conséquentes dans un système de crédit social?

L’état actuel des expériences dans ce domaine soulève de nombreuses questions sur la protection des utilisateurs. En ce qui concerne la vie privée des utilisateurs, peu de discussions ont été engagées sur le fait de rendre les scores individuels visibles pour les autres. Alipay offre un jeu dans lequel les amis peuvent deviner les scores de crédit de chacun et les révéler les uns aux autres, par exemple. Outre les autres utilisateurs, les sociétés externes qui fournissent des services spéciaux aux détenteurs de points de crédit élevés et les bureaux gouvernementaux partenaires de l'application, avec quels tiers des données Sesame Credit partageront-elles les données? La centralisation des mécanismes de collecte de données pour le crédit social rend Dang'an-les dossiers de vies en ligne et hors ligne d'individus sont d'autant plus transférables que plusieurs médias l'ont noté. Quelles procédures de sécurité sont en place pour protéger ces référentiels d'informations personnelles précieuses?

Dans une ironie qui a affecté de nombreux appareils de surveillance, l’extension d’un système de crédit social et de ses capteurs, codes QR et autres outils de lecture de traces associés peut créer de nouvelles préoccupations en matière de sécurité, distinctes de celles qu’elle prétend prétendument atténuer grâce à une surveillance quasi omniprésente. de comportement. Ces nouvelles menaces concernent la manière dont les données de pointage de crédit peuvent être falsifiées et les objectifs pour lesquels de faux scores de crédit peuvent être utilisés. le contrôle de sécurité accéléré à l’aéroport de Beijing, les utilisateurs de Sesame Credit disposant d’un nombre de points assez élevé et voyageant sur des vols intérieurs offrent un exemple de situation dans laquelle un score élevé falsifié pourrait permettre à une personne de contourner des contrôles de sécurité plus rigoureux, ce qui peut constituer une menace pour la sécurité nationale et suffisamment acteur déterminé. Plus le système de crédit social est utilisé à grande échelle et plus le nombre de récompenses qu'il peut offrir à des scores élevés est grand, plus les incitations à déterminer comment le pirater vont proliférer. Articles et discussions sur la façon d'augmenter ses cotes de crédit sont déjà à la hausse, et il est encore difficile de savoir s'il est facile de pirater un compte spécifique et de falsifier des informations.

Comme détaillé dans un article précédent, Alibaba a subi des fuites de données de la part d'employés de l'entreprise ainsi que des piratages externes. Il est impératif de s'interroger sur les précautions qu'ils prennent étant donné que la mise en place rapide d'un système de crédit social fera probablement des entreprises qui sont ses gérants des cibles de vol de données et d'extorsion. De plus, comme une multitude d'appareils de collecte de données pour l'Internet des objets (IoT) sont vendus à travers la Chine, des capacités granulaires pour suivre chaque mouvement des citoyens et tirer parti de ces informations en tant qu'entrée de crédit social ne feront que se renforcer et nécessiteront un travail de la part. des fabricants d'IoT pour résoudre ces problèmes. L'annonce de la Commission nationale de développement et de réforme selon laquelle la Commission nationale de développement et de réforme a le potentiel de rendre les sociétés de crédit social plus transparentes des services d'évaluation du crédit seront ouverts aux investissements étrangers, qui peut au moins fournir plus d’informations sur la manière dont la notation du crédit social de l’entreprise (pour les restaurants et les entreprises locales) est réalisée.

La préoccupation finale en matière de sécurité et de censure que nous proposons est la possibilité de crédit social et de finance mobile accès être bloqué pour sanctionner les citoyens pour des actes de protestation, à titre d'exemple. Si ces deux services deviennent indispensables dans la vie quotidienne, la possibilité d'un gel des comptes des utilisateurs sanctionné par le gouvernement pourrait porter gravement atteinte aux libertés civiles. Au fur et à mesure du déploiement du système, il est important de garder à l'esprit que, même si les algorithmes servant à déterminer les cotes de crédit peuvent changer rapidement d'une manière que les utilisateurs et les chercheurs ne peuvent pas percevoir, le pouvoir de l'État et des entreprises qui façonnent le développement du système de crédit social reste inchangé. beaucoup plus enracinée, et est en fin de compte responsable des résultats réels que le système de crédit social peut produire.

Lire l'article complet ici…