Chainalysis, le Theranos de la criminalistique blockchain ?

Après qu’Elizabeth Bisbee, responsable des enquêtes de Chainalysis, ait dû admettre le manque de preuves scientifiques de l’exactitude du logiciel Reactor de Chainalysis, les experts de la société de surveillance blockchain CipherTrace ont mis à nu les failles de l’analyse de Chainalysis.

Un rapport d’expert déposé le 8 août dans l’affaire États-Unis contre Sterlingov révèle une série d’erreurs dans le rapport d’expert de Bisbee ainsi que des inexactitudes dans l’heuristique appliquée par le logiciel Reactor de Chainalysis.

Chainalysis Reactor est un outil de surveillance blockchain utilisé pour tracer les fonds sur la blockchain à des fins d’application de la loi. L’utilisation généralisée du Reactor de Chainalysis pourrait constituer une menace sérieuse pour les procédures de justice démocratique si les conclusions du logiciel s’avèrent non fondées.

Roman Sterlingov est l’un des premiers utilisateurs de Bitcoin, accusé d’exploiter le mélangeur Bitcoin de garde Bitcoin Fog, qui attend son procès dans une prison de Virginie depuis 2021. Sterlingov est défendu par Tor Ekeland, qui conteste actuellement les conclusions de Chainalysis Reactor devant le tribunal. Selon Ekeland, Chainalysis est « le Theranos de la criminalistique blockchain ». Comme le montrent plusieurs évaluations d’experts sur les conclusions de Chainalysis dans cette affaire, il n’a peut-être pas tort.

Dans un rapport d’expert visant à déterminer la viabilité des accusations portées contre Sterlingov concernant le traçage de fonds, Jonelle Still, directrice des enquêtes et du renseignement chez CipherTrace, qualifie désormais d’« imprudente » l’utilisation de l’heuristique de regroupement comportemental de Chainalysis.

L’heuristique de clustering comportemental de Chainalysis vise à détecter des modèles dans la structure ou le calendrier des transactions afin d’identifier un logiciel de portefeuille spécifique. En étudiant les modèles de transaction d’un service de portefeuille, Chainalysis applique des algorithmes de clustering pour cartographier les adresses appartenant au service.

Dans le cas de Bitcoin Fog, CipherTrace a calculé un écart de précision d’environ 64 % pour l’heuristique de clustering comportemental, que Still décrit comme trop inclusive. L’inexactitude de l’heuristique de regroupement comportemental de Chainalysis serait alors aggravée par des séries successives de dépenses conjointes et d’heuristiques comportementales, conduisant à des résultats encore plus peu fiables.

« Notamment », poursuit Still dans son rapport, « les heuristiques ayant les taux de précision revendiqués les plus élevés, FindNext et FindNext2, n’ont pas réussi à trouver un lien entre Mt Gox et FindNext2. [Sterlingov’s] transactions et Bitcoin Fog. Contrairement au regroupement comportemental, les heuristiques FindNext sont capables de produire des taux de fausses découvertes de seulement 0,62 % et 0,02 %, respectivement.

CipherTrace, dont les partenaires incluent la société israélienne de criminalistique numérique Cellebrite ainsi que la société sud-africaine de renseignement open source Maltego, s’abstient d’utiliser le clustering comportemental tel qu’appliqué par Chainalysis car ce n’est « pas une véritable représentation du flux de fonds sur la chaîne », ce qui en fait inexactes et sujettes aux erreurs.

Critique encore en outre l’utilisation par Chainalysis du clustering d’entité unique, dans lequel une adresse racine est attribuée à une entité « qui peut ou non être la bonne adresse ayant effectué la transaction ». Un tel « regroupement » de données est décrit comme étant non vérifiable et peut conduire à de nombreuses erreurs de traçage, notamment une probabilité plus élevée de faux positifs et négatifs.

Selon le rapport, « les forces de l’ordre et d’autres clients de Chainalysis ont contacté CipherTrace à ce sujet et ont exprimé leur frustration liée aux erreurs qu’ils rencontrent en utilisant Chainalysis Reactor ».

Pour ajouter l’insulte à l’injure, Still souligne en outre une liste non exhaustive d’erreurs dans le rapport d’expert de Bisbee, telles que l’utilisation de bits au lieu d’octets conduisant à des hypothèses mathématiques incorrectes ainsi qu’à de multiples identifications apparemment incorrectes d’adresses de changement. Le rapport souligne en outre l’absence d’un certain nombre de types de scripts, tels que P2PK, P2MS, P2WSH ou P2TR, ainsi que la déclaration incorrecte selon laquelle « une adresse SegWit commence par 3 », qui identifie également les adresses P2SH.

Citant un manque d’intégrité des données, Still estime qu’il existe « des centaines de millions de points de données qui ne sont pas vérifiés », ce qui « pourrait justifier un réexamen » d’autres cas sur la base de ces révélations.

Pour protéger l’intégrité des données dans les procédures pénales, Still recommande que « les données d’attribution de Chainalysis ne soient pas utilisées devant les tribunaux pour cette affaire ni pour aucune autre affaire : elles n’ont pas été auditées, le modèle n’a pas été validé, ni la piste de collecte. été identifié. »

Le rapport souligne l’importance de la validation du modèle, qui peut être utilisée pour vérifier l’exactitude de l’enrichissement des données et fournir des contrôles sur les performances d’un modèle. Les fournisseurs devraient disposer de « processus d’attribution et de clustering bien documentés et vérifiables », par opposition aux « modèles de boîte noire », qui utilisent des données clients potentiellement non autorisées » et aux « commentaires d’utilisateurs non vérifiés ».

Still conclut que « la criminalistique de la blockchain ne devrait être utilisée que pour générer des pistes d’enquête. À eux seuls, ils ne suffisent pas en tant que principale source de preuves. Ce qui est frappant dans cette affaire, ce sont les conclusions tirées sans aucune preuve corroborante pour les analyses médico-légales de la blockchain.

Il déclare encore que « les outils d’investigation et de traçage de la blockchain utilisés dans cette affaire ont été utilisés à mauvais escient pour conclure à tort que M. Sterlingov était l’opérateur de Bitcoin Fog alors qu’aucune preuve de ce type n’existe sur la chaîne ».

Dans ce cas, Still qualifie les échecs de la criminalistique blockchain de « problèmes structurels » dans l’espace et appelle à un audit indépendant de Chainalysis et de ses méthodologies pour « prévenir les arrestations injustifiées comme celle-ci et les manquements à la conformité, comme avec FTX ».

Ceci est un message invité de L0la L33tz. Les opinions exprimées sont entièrement les leurs et ne reflètent pas nécessairement celles de BTC Inc ou de Bitcoin Magazine.