Splendeurs et misères de la mesure

Tout a commencé par un partage de l’article EcoIndex : que vaut cet outil qui mesure le score environnemental des sites web ?, publié sur The Conversation par Denis Trystram, Professeur des universités en informatique, Université Grenoble Alpes, Christophe Cérin, Professeur des universités, Université Sorbonne Paris Nord et Laurent Lefèvre, Chercheur en informatique, Inria.

La publication et les réactions sont consultables sur LinkedIn. Suite à l’échange avec Olivier Philippot, CTO de Greenspector, il m’a paru nécessaire de clarifier ma position sur les bons et mauvais usages des outils de mesure de performance environnementale des objets numériques. 

L’impératif de mesure est souvent brandi par des personnes aux profils d’ingénieurs, qui se concentrent exclusivement sur l’amélioration de l’efficacité ou l’efficience d’un système. J’ai malheureusement fréquemment observé ces personnes rejeter les questions politiques ou sociologiques avec plus ou moins de mépris, comme si ce n’était pas le sujet. 

Heureusement, cette approche étroite intellectuellement n’est pas une constante chez les ingénieurs, comme en témoignent par exemple les prises de position de Philippe Bihouix ou Jean-Marc Jancovici. La technique elle-même est politique, c’est un système total qui n’est ni neutre, ni rationnel, ni objectif. J’aimerais tenter de clarifier par une image l’insuffisance de l’approche « résolution de problème ». 

La focalisation sur l’optimisation permet d’ignorer la réalité beaucoup plus vaste de la question : systémique, culturelle, écologique, politique. Je m’attends à échouer avec cette image, parce que les petits soldats de la technique n’aiment pas les métaphores, ça n’est pas mesurable (que leur vie doit être triste !).

Ces ingénieurs étriqués s’associent souvent avec des personnes issues d’écoles de commerce. Cette association cliché produit une myriade de solutions « innovantes » et de startups de la « green tech » promettant de piloter son empreinte carbone, d’améliorer en continu sa performance environnementale, etc. Même s’il y a des gens sincères dans ces entreprises, elles sont à mille lieues de la recherche d’une économie d’équilibre, stationnaire, post-croissance. 

Une excellente explication est fournie par la différence entre les deux matérialités en comptabilité. Ces entreprises fonctionnent en simple matérialité, outside-in. Cela veut dire qu’elles considèrent l’écologie comme un segment de marché, et le changement climatique comme un mix de risques et d’opportunités. C’est toute la vision derrière la RSE. L’autre matérialité, inside-out, considère que l’organisation a un impact sur le monde et doit préserver les choses qui sont importantes, les capitaux humains et naturels. C’est la vision de la comptabilité CARE.

Pour illustrer ce décalage de vision du monde, une anecdote. Je tairai le nom exact de l’entreprise, ce n’est pas important. Lors d’un échange avec cet acteur de la mesure, nous parlons des outils de diagnostic écologique que nous avons créés. J’explique que nous avons produit un outil libre et gratuit. La personne me dit qu’eux aussi, ont fait ça. J’essaie l’outil en question et je réalise que pour accéder aux résultats, il faut que je laisse mon mail. Je fais remarquer à la personne que ce n’est ni libre ni gratuit et qu’il s’agit en fait d’une opération marketing de data-catching. Et là, la personne me rétorque qu’évidemment, d’ailleurs, nous aussi ! Je lui explique que non, quand on dit libre et gratuit, nous, ça veut dire qu’on ne demande aucune information personnelle et que le code est sous licence libre. J’ai vu l’incompréhension totale sur le visage de la personne.

J’ai pu observer cette dynamique au sein de l’Institut du Numérique Responsable. Des grands groupes viennent en nombre et paient des adhésions conséquentes, ce qui leur permet d’afficher leur implication en vue d’un numérique plus responsable dans leurs rapports de performance extra-financière. Les gros acteurs du conseil cotisent également (Accenture, CapGemini, EY...) pour vendre des prestations aux grands groupes sur ce segment, et verdir leur propre image au passage (dans le souci de leur marque employeur). Des ETI et PME reproduisent le schéma à plus petite échelle, suivies par de petits acteurs du conseil qui essaient de grappiller les miettes. Tout cela est un marché à étages, avec en parallèle, les collectivités locales, acteurs publics, associations, qui tentent de faire au mieux et de se conformer à la loi.

Il est important de préciser que les personnes impliquées sont très souvent extrêmement sincères, et qu’elles composent avec leurs propres dissonances cognitives.

Mais pendant que tout ce marché du « pilotage » s’organise, pendant que le CAC 40 mesure et optimise son IT, le business continue as usual. Les équipes marketing inventent constamment des besoins artificiels, les équipes de communication créent du désir avec des imaginaires toxiques et des millions d’euros investis en médias, et les équipes commerciales stimulent les ventes à grands coups de promotions.

Les prestataires de service de mesure travaillent massivement pour ces grands groupes. Ce n’est pas l’ESS qui les fait vivre, mais le CAC 40. Cela génère une conséquence au niveau individuel, la dissonance cognitive, qui se résout par trois approches : la compensation Karma, la stratégie de l’insider ou la stratégie de l’outsider.

J’ai pendant des années travaillé pour le monde du luxe et de la beauté, en pratiquant la compensation Karma. Concrètement, ce que je faisais était intéressant intellectuellement et financièrement mais toxique pour le monde, et je tentais d’être utile par ailleurs, par exemple en donnant des cours à l’Université. Est-ce que mes actes en tant qu’enseignant ont rattrapé toutes mes contributions à un monde de surconsommation et d’objectification des femmes ? Je ne sais pas. Donc je ne jette la pierre à personne, je serais mal placé.

La stratégie de l’insider consiste à travailler dans une structure délétère pour tenter de l’améliorer de l’intérieur. Si l’on est sincère, c’est une approche courageuse, mais à mon avis totalement vaine. Si l’on est cynique et égoïste, en revanche, c’est un parfait paravent : on peut s’enorgueillir de petites victoires (sans aucun impact réel), confesser sa fatigue (David contre Goliath), hésiter à tout plaquer (et ouvrir une chambre d’hôtes après une carrière dans le marketing), mais surtout, on peut continuer à toucher un salaire élevé.

La stratégie de l’outsider consiste à sortir des entreprises toxiques. Cela peut se faire dans l’optique de préparer l’après (ce que l’on fait chez noesya), ou tout simplement pour essayer de vivre heureux et cachés.  

En revanche, quoi que l’on choisisse, je pense qu’il faut s’exprimer clairement : quand on travaille pour des entreprises nuisibles, on ne prétend pas aller dans un sens positif. On gagne de l’argent, ce qui nous permet a minima de nourrir notre famille, a maxima d’agir ailleurs, là où ça a un impact. 

Mais alors, faut-il arrêter de mesurer ? Il me semble que non, la mesure est très utile quand on applique d’abord deux filtres.

D’abord, il convient de répondre à la question de l’utilité réelle. Énormément de projets et d’entreprises ne passent pas ce filtre. Ainsi, les marchés des sodas, des SUV, de l’IoT (Internet of Things, l'internet des objets), de la fast fashion, du fast food, des intrants agricoles chimiques sont des inventions de “besoins” par le marketing. Ces marchés doivent disparaître, et pour cela, il faut légiférer. En attendant, il me semble nécessaire de reconnaître que tout ce que nous faisons au service de ces marchés contribue au problème et pas à la solution. 

Ensuite, il faut estimer la soutenabilité, en son âme et conscience. Je parle bien d’estimer en tant que citoyen, et pas de mesurer en tant que technicien. Ainsi de l’industrie spatiale ou de l’aéronautique, quand bien même il y a une utilité (pour le spatial, c’est une question délicate), pouvons-nous nous permettre d’y consacrer tant d’énergie et de ressources ? Sur le spatial, pour moi, la réponse est non : essayons de vivre harmonieusement sur notre planète avant d’aller en polluer d’autres. Sur l’aérien, il me semble qu’il faut stopper tous les vols low cost, c’est insoutenable. 

Une fois qu’un projet ou une organisation a passé les filtres de l’utile et du soutenable, là il faut commencer à mesurer. Prenons le cas qui nous occupe depuis deux ans chez noesya : les sites Web des universités. C’est utile, parce que la culture est indispensable et qu’elle doit être publique, hors du marché. C’est une des priorités les plus hautes d’une société, si ce n’est la plus haute. C’est soutenable, parce qu’il n’y a pas de meilleure solution que des écoles avec des enseignantes et des enseignants pour transmettre des connaissances, des savoir-être, des savoir-faire, et former des citoyennes et des citoyens. Il n’y a pas de mesure dans ce que je viens d’énoncer, mais des valeurs et des choix politiques. 

Ensuite, nous entrons dans la mesure. Depuis que nous codons Osuny, nous mesurons les sites que nous produisons, et nous essayons de réduire tout. Le poids des pages, le nombre de requêtes, le DOM, la charge serveur... Tous les outils qui nous permettent cela sont bienvenus. À l’échelle d’une université, la mesure est pertinente, surtout si elle permet de diminuer l’impact en décommissionnant des services ou en améliorant leur efficience, ce qui veut dire qu’il faut des actions importantes suite à la mesure.

Que peut-on réellement attendre des outils existants ? Attention, ce paragraphe est assez technique.

EcoIndex évalue le site de l’IUT Bordeaux Montaigne en B, pas en A, parce qu’il considère qu’il y a trop d’éléments dans le DOM (Document Object Model, structure de la page HTML). Ce critère est pondéré à 3, quand le nombre de requêtes est pondéré à 2, et le poids transféré à 1. Une formule mathématique à l'allure très scientifique tente de masquer la stupidité de ce choix, mais les faits sont têtus : c’est idiot. Prenons le cas d’une page qui contient juste une iframe avec une vidéo en autoplay, comme c’est le cas sur ce petit prototype de démonstration. Je télécharge immédiatement 10 Mo, et si je reste sur la page ça grimpe jusqu’à 500 Mo pour une lecture complète, puis ça augmente de façon linéaire jusqu’à ce qu’on ferme la page. Ça, pour EcoIndex, c’est quasiment parfait, évalué en A, 97/100. En réalité, c'est catastrophique, évidemment.

D’autres outils ont leurs propres défauts, comme Website Carbon Calculator et Google Lighthouse, sur lesquels s’appuie notre outil libre de diagnostic. Quand nous avons mesuré l’impact carbone des sites Web des universités, nous avons détaillé le mode de mesure et toutes les sources d’erreurs des calculs. La mesure n’a pas grande valeur en absolu, elle est surtout pertinente en relatif, dans une comparaison, ou bien comme outil pédagogique, pour expliquer les enjeux.

Le principal problème, que la phrase ci-dessus soit d'Albert Einstein ou de William Bruce Cameron, c’est qu’on ne mesure pas les bonnes choses. 79 % de l’empreinte carbone du numérique provient des équipements personnels, 16 % des datacenters et 5 % des réseaux. Et dans tout cela, c’est la fabrication des périphériques qui est responsable de 80 % de l’impact. Donc, en se focalisant sur le poids des pages ou sur l’optimisation des PUE et WUE (efficacité électricité et eau) des datacenters, on travaille sur une petite partie d’une petite partie, peut-être autour de 4 % (20 % des 16 % + 5 %). Trois fois rien, c’est déjà quelque chose. Mais contribuer à améliorer l’efficience de 4 % d’un problème, ça ne justifie pas tout ce tintamarre.

Ce qui est infiniment plus pertinent et efficace, c’est de travailler à diminuer la fabrication des périphériques, donc à en vendre moins (l’idée n’enchante pas les fabricants). Pour cela, Fairphone et HOP, parmi d’autres, font un travail formidable afin d’augmenter la réparabilité et la durabilité des équipements. Les directives européennes qui forcent Apple à arrêter avec leurs connecteurs propriétaires sont également très utiles. Tout ce qui va dans le sens d’une moindre production de périphériques numériques est bon à prendre. 

C’est dans ce sens que nous utilisons des outils de mesure : pour rendre l’expérience aussi fluide que possible sur de vieux périphériques (10,15 ans), même avec un mauvais réseau. Nous jouons au jeu de la rétro-compatibilité, et nous nous sentons un peu trop seuls. Nous n’entendons pas beaucoup de voix fières d’avoir réussi à faire tourner un site Web sur un OS de 2007 (Windows Vista, oui, ça marche pour de vrai).

Et nous avons déjà des indicateurs qui mesurent cela, des KPIs à dashboarder dans la joie. Le problème, c'est qu'il faut accepter de les regarder dans le bon sens. Si les ventes de produits neufs baissent, c'est génial ! Si le PIB diminue, c'est super ! Pour une entreprise productiviste, péricliter est une formidable réussite. Le Nord global doit réduire son empreinte pour permettre au Sud global de vivre dignement. Parallèlement, les entreprises “à l'ancienne” doivent faire place à l'Économie Sociale et Solidaire, qui doit devenir la norme. Il faut produire moins, c'est très simple à comprendre mais ça veut dire qu'il faut abandonner la quête de la croissance infinie, et passer dans une logique en deux phases. D'abord on ralentit pour revenir dans les limites planétaires, c'est la phase de décroissance. Puis on stabilise, pour vivre en harmonie, entre le socle social et le plafond écologique, c'est l'économie post-croissance. 

Boavizta est pour moi l’étalon de qualité : associative, bénévole, désintéressée, impliquée, sous licences libres, très technique, humble. Les entreprises qui proposent des outils et service de mesure dans un cadre commercial et privatif sont des parasites qui font de l’argent sur une opportunité, alimentent le greenwashing et ralentissent la transition sociale et écologique. Ces entreprises appliquent la stratégie de l'insider décrite plus haut, avec toute l'ambiguïté que cela implique.

Pour trier le bon grain de l’ivraie, on peut s’appuyer sur trois critères : gouvernance démocratique, véhicule juridique de l’ESS et partage libre des productions. La gouvernance démocratique implique que les choix d’une organisation sont faits par les parties prenantes, en fonction de leurs besoins et pas de la maximisation du profit. Les divers statuts juridiques de l’ESS (association loi 1901, SCOP, SCIC...) permettent de préserver une indépendance opérationnelle, pour une action alignée. Ensuite, les productions doivent être publiée sous licence libre (Creative Commons, GPL, MIT...). 

Si ces trois critère ne sont pas respectés, la mesure sert juste de voile pour masquer la réalité politique, sociale et écologique.