Lancement de Reincubate Lookup

Nous sommes ravis de lancer Reincubate Lookup aujourd’hui. Il répond à une question que les utilisateurs nous posaient sans cesse : à partir du numéro de série ou de l’IMEI d’un appareil Apple, peut-on l’identifier précisément et savoir de quoi il est capable ?

• Lorsqu’ils achètent des iPhone ou des iPad sur eBay, les utilisateurs peuvent vouloir vérifier les caractéristiques (notamment l’âge et le stockage de l’appareil). Avec le numéro de série ou l’IMEI figurant dans l’annonce, ils peuvent confirmer les caractéristiques et même savoir si l’appareil a été distribué verrouillé. Voici un exemple de recherche par numéro de série pour un appareil vendu verrouillé par un opérateur.
• Les développeurs ont souvent besoin de tester leurs applications sur des versions précises d’iOS. Trouver des appareils d’occasion avec un iOS plus ancien, c’est comme chercher de l’or dans une rivière, mais nous pouvons identifier la version avec laquelle un appareil a été livré, ce qui écarte un grand nombre d’annonces.
• Les administrateurs système responsables de parcs d’appareils n’obtiennent des outils de MDM que des caractéristiques et des données d’appareil limitées. Des entreprises et des institutions utilisent déjà la technologie derrière Reincubate Lookup pour enrichir les données de leur inventaire d’appareils.

Clients et utilisateurs ont envoyé à notre API plus de 13 millions de requêtes d’informations sur des appareils au cours de la dernière année, ce qui nous a donné l’élan pour aller plus loin.

La promesse de Reincubate Lookup est simple : à partir d’un numéro de série Apple ou d’un IMEI, il fournit des données exactes, éthiques et conviviales. Chacun de ces aspects de la promesse a une importance particulière pour nous, et il y a une histoire derrière chacun. Voyons cela.

Convivial

Le monde des appareils mobiles est plein de jargon, nous avons donc passé du temps à réfléchir à la meilleure façon d’ordonner, de présenter et d’étiqueter les informations affichées. Nous gardons de côté quelques données qui pourraient être utiles à certains utilisateurs techniques, mais qui risqueraient de dérouter les autres.

La valeur des données sur les appareils, et la difficulté qu’ont les consommateurs à en évaluer la fiabilité, ont donné naissance à plusieurs services qui fournissent ces données, en les protégeant par une série de mécanismes pénibles et hostiles pour empêcher que d’autres ne les aspirent. Nous avons choisi d’éviter un système de captcha pénible, et nous avons conçu Lookup pour qu’il soit ultra-rapide et fonctionne sans pages de chargement intermédiaires.

Curieusement — puisqu’il s’agit de données sur des appareils mobiles — peu de services similaires ont des interfaces qui fonctionnent bien sur téléphone ou sur tablette. Nous voulions quelque chose d’adapté au mobile et à l’international.

J’espère que nous avons fait du bon travail sur l’accessibilité de Reincubate Lookup. Il a été longuement testé sur iPhone et iPad, et nous pensons qu’il est plutôt agréable à l’œil. Il prend en charge nativement le mode sombre et inverse sa palette pour reposer les yeux. Il ne vous demandera pas de captcha, et il est disponible en 11 langues.

Exact

Nous avons beaucoup appris sur ces données depuis que nous avons commencé à construire notre API d’identification d’appareils en 2017 (et publié, l’été dernier, la prise en charge de métadonnées d’appareil enrichies dans iPhone Backup Extractor), et nous avons rencontré plusieurs problèmes difficiles que nous voulions résoudre.

L’une des premières choses que nous avons apprises, c’est que les données derrière les identifiants d’Apple sont — pour être franc — un peu en désordre. Apple elle-même n’a pas d’identifiant de modèle canonique unique, ni de cohérence interne dans ses noms. Dans certains cas — c’est à vous que nous pensons, iPhone 3G — les mêmes ID sont même réutilisés pour des produits différents.

J’ai passé une WWDC agréable à espérer déceler des signes de cohérence interne auprès d’ingénieurs et de responsables d’Apple, mais même eux se sont dits frustrés par ce point. De plus, la documentation d’Apple sur l’identification des modèles est incohérente, et pratiquement chaque type d’identifiant (il y en a 12 principaux) est appelé « modèle » à un moment ou à un autre dans sa documentation.

Les identifiants utilisés par Apple ont aussi évolué avec le temps. Il existe trois formats différents de numéro de série — bientôt quatre — et deux formats différents d’UDID. Les numéros de famille commençaient autrefois systématiquement par « M », et ne commencent plus aujourd’hui que par « A », tandis que certains MPN commencent désormais par « M ». Et la liste continue.

Il existe déjà toute une gamme d’outils de recherche sur le web, mais il ne faut pas creuser longtemps pour y trouver de mauvaises données. Le plus souvent, le problème est structurel : les outils — comme celui d’Everymac — reposent sur des relations observées entre des données d’identifiants qui semblent vraies… jusqu’à ce qu’elles ne le soient plus. Certains outils disposent d’assez de données pour le reconnaître, si bien qu’une recherche donne une série de résultats possibles plutôt qu’un seul résultat définitif. D’autres fournissent des données qui semblent à peu près justes… mais qui ne le sont pas.

Les problèmes structurels de données ne sont pas le seul souci. Beaucoup de ces systèmes ont des sources de données défaillantes : aspiration du service GSX d’Apple, saisie par des techniciens ou — pire que tout — saisie par des illuminés qui naviguent sur le web.

En nous lançant pour bien faire les choses, nous voulions satisfaire trois contraintes :

1. Le système doit apprendre automatiquement et indépendamment le plus de choses possible, car tout ce qui exige une saisie, une édition ou une modération régulières vieillirait rapidement.

   

2. Le système ne doit pas s’appuyer sur des données sans licence ou peu fiables. L’iPhone Wiki contient certaines données (et nous en avons apporté un bon nombre), mais elles ne sont pas normalisées et ne sont pas entièrement exactes. Les API GSX d’Apple contiennent certaines données, mais elles ne sont pas normalisées non plus, comportent des choses vraiment bizarres et ne sont pas sous licence pour un usage de ce type.
3. Le système doit produire des données et des résultats dont nous sommes pleinement sûrs, plutôt que d’être souvent juste. Ainsi, lorsqu’une réponse unique n’est pas disponible, ou que la probabilité d’une réponse est faible, le système doit le dire clairement.

Éthique

L’exactitude n’était pourtant pas la seule contrainte. Il ne nous a pas fallu longtemps pour comprendre d’où venaient certaines de ces données dans le secteur : de réseaux d’employés payés pour copier discrètement (voler !) des données dans des bases internes.

Avant que nous trouvions comment faire fonctionner Reincubate Lookup, il n’y avait en réalité que trois sources de données IMEI :

• L’aspiration de l’API GSX d’Apple. C’est une violation des conditions d’Apple, qui entraîne le retrait de l’accès à l’API. Il existe une petite industrie de gens qui revendent l’accès à des comptes GSX, les grillent et tentent d’en obtenir de nouveaux. Cela ne fonctionne pas.
• L’acquisition d’une licence sur la base de données IMEI de la GSMA. Cette organisation professionnelle du secteur mobile tient le registre de référence de toutes les informations IMEI, et concède sous licence sa base de codes d’allocation de type (TAC), utiles pour l’identification des appareils. Si cela semble idéal, les choses sont plus compliquées que cela, et l’organisation elle-même ne revendique que 95 % d’exactitude pour ses données « GSMA Device Map ». Entre autres choses, sa base ne contient pas d’identifiants normalisés pour les appareils qu’elle inclut. Une recherche de TAC peut simplement vous dire que l’appareil est un iPhone XS. C’est à peine précis.
  L’organisation semble être en partie en guerre contre les fabricants de mobiles qu’elle représente : elle mène des programmes pour préserver l’intégrité des IMEI tout en indiquant que « the GSMA does not have the responsibility or powers to stop illegal TAC and IMEI activity ». Les erreurs d’enregistrement de ces données sont assez courantes pour qu’elle promeuve activement son « processus de signalement des TAC / IMEI non conformes ».
  Concrètement, cela signifie qu’il y a deux ensembles de données à considérer : les données auto-déclarées par les fabricants à la GSMA, qui sont incomplètes et inexactes mais au moins théoriquement exactes, et les données du monde réel, exactes et normalisées, que l’on peut constituer en examinant des appareils mobiles. Nous avons dû construire une base de 3 000 TAC d’appareils Apple, plus complète et plus utile que celle de la GSMA.
• Corrompre des employés d’opérateurs télécoms pour qu’ils agissent comme des « espions de données ». C’est le même genre de pratique abjecte qui conduit des opérateurs américains à vendre des données de localisation de consommateurs à des chasseurs de primes et à des fous furieux, et c’est ainsi que fonctionnent les services illégaux de « déblocage iCloud ».
  Certains services d’IMEI en font la publicité de façon assez flagrante. Nous avons trouvé cette annonce sur le site d’un service britannique :

Comme nous n’étions prêts à utiliser aucune de ces deux approches, nous avons dû chercher une troisième voie pour trouver les données dont nous avions besoin : pas d’espions, pas de GSX, pas de procédés déloyaux.

La réponse consiste, pour l’essentiel, à analyser de très grandes quantités de données, à comprendre comment elles sont liées et à les condenser en un ensemble de faits mis à jour automatiquement au fil du temps. Certaines de ces données sont intrinsèques aux appareils eux-mêmes, et d’autres peuvent être déduites de l’examen de questions anonymisées sur les données. Si suffisamment de requêtes prennent la forme « cet appareil est A et B, est-il aussi C ? », on peut commencer à comprendre que A et B sont liés. C’est la même technique que celle qui alimentait notre produit awdit : en examinant assez de questions, on peut parfois générer des réponses.

L’analyse a commencé à fonctionner pour à peu près n’importe quel appareil une fois que nous avons atteint environ 5 000 000 de requêtes dans la base, et lorsqu’il n’y a pas assez de données pour répondre à une question donnée, Reincubate Lookup recommande d’y jeter un œil avec iPhone Backup Extractor. Il est assez malin pour creuser plus profondément et nous signaler la question.

À ce jour, nous avons identifié un peu moins de 9 000 codes de configuration pour 2 350 modèles, 127 sites de production différents, 304 régions de distribution différentes et plus de 3 000 codes d’allocation de type IMEI.

Voilà comment nous en sommes venus à construire Reincubate Lookup, et pourquoi la convivialité, l’exactitude et l’éthique ont compté pour nous pendant sa conception. Nous espérons qu’il vous plaira et qu’il vous apportera de la valeur. Si vous voulez aller plus loin, toutes les données de Lookup proviennent de notre API DeviceIdentifier, et nous adorons voir des gens construire des choses avec.

Ne restons pas des inconnus : dites-nous comment cela se passe pour vous.