Lancer la recherche de Reincubate

Nous sommes ravis de lancer Reincubate Lookup aujourd'hui. Il répond à une question que les utilisateurs n'arrêtaient pas de poser: à partir d'un appareil Apple, à partir d'un numéro de série ou d'un numéro IMEI, pouvons-nous l'identifier avec précision et en quoi il est capable?

• Lors de l'achat d'iPhone ou d'iPad sur eBay, les utilisateurs peuvent souhaiter confirmer les spécifications (en particulier l'âge et le stockage de l'appareil). Avec le numéro de série ou IMEI sur la liste, ils peuvent confirmer les spécifications et même si le périphérique a été distribué verrouillé. Voici un exemple de recherche en série d'un périphérique vendu verrouillé par l'opérateur.

• Les développeurs doivent souvent tester leurs applications sur des versions spécifiques d’iOS. Essayer de trouver des appareils d’occasion avec un ancien iOS revient à chercher de l’or, mais nous pouvons identifier la version d’un appareil livré avec, excluant ainsi un grand nombre d’annonces.

• Les administrateurs système responsables des flottes de périphériques ne reçoivent que des spécifications et des données de périphérique limitées à partir des outils MDM. Les entreprises et les institutions utilisent déjà la technologie à la base de Reincubate Lookup pour enrichir les données d’inventaire de leurs appareils.

Les clients et les utilisateurs ont envoyé à notre API plus de 13 millions de demandes d'informations sur les périphériques au cours de la dernière année, ce qui nous a donné l'impulsion pour aller plus loin.

La promesse de Reincubate Lookup est simple: un numéro de série Apple ou un numéro IMEI fournit des données précises , éthiques et conviviales . Chacune de ces parties de la promesse a une signification particulière pour nous, et on explique pourquoi elles sont si importantes. Nous allons jeter un coup d'oeil.

Convivial

Il existe beaucoup de jargon pour en savoir plus sur les appareils mobiles. Nous avons donc passé du temps à réfléchir à la meilleure façon de commander, de présenter et d'étiqueter les informations affichées. Nous retenons quelques points de données qui pourraient être utiles à certains utilisateurs techniques, mais qui pourraient dérouter d’autres personnes.

La valeur des données de l'appareil et la difficulté qu'éprouvent les utilisateurs à évaluer sa fiabilité ont donné naissance à un certain nombre de services fournissant ces données, qui lui ont valu une série de mécanismes horribles et hostiles pour empêcher d'autres personnes de les récupérer. Nous avons choisi d'éviter un système captcha douloureux et nous avons conçu Lookup pour qu'il soit ultra-rapide et fonctionne sans chargement interstitiel des pages.

Curieusement - étant donné que ce sont des données sur les appareils mobiles - peu de services similaires ont des interfaces qui fonctionnent bien sur les téléphones ou les tablettes. Nous voulions quelque chose qui soit mobile et international.

J'espère que nous avons fait du bon travail avec l'accessibilité de Reincubate Lookup. Il a été largement testé sur les iPhones et les iPads, et nous pensons qu'il a l'air plutôt mignon. Il prend en charge de manière native le mode sombre et inversera sa palette pour atténuer la fatigue oculaire. Il ne vous demandera pas de captcha, et il est disponible en 11 langues.

Précis

Nous avons beaucoup appris sur ces données depuis que nous avons commencé à créer notre API d'identificateur de périphérique en 2017 (et pris en charge les métadonnées de périphérique enrichi dans iPhone Backup Extractor l'été dernier), et nous avons trouvé un certain nombre de problèmes difficiles que nous voulions résoudre. .

Une des premières choses que nous avons apprises est que les données derrière les identifiants d’Apple sont, pour être franc, un peu le bordel. Apple n’a pas d’identifiant unique de modèle canonique ni de cohérence de dénomination interne. Dans certains cas - nous vous examinons, iPhone 3G - les mêmes identifiants sont même réutilisés pour différents produits.

J'ai passé une WWDC agréable dans l'espoir de détecter des signes de cohérence interne avec les ingénieurs et les responsables Apple, mais même ceux-ci ont exprimé leur frustration à ce sujet. De plus, la documentation d'Apple sur l'identification des modèles est incohérente et pratiquement toutes les formes d'identifiant (il en existe 12 principales) sont appelées «modèles» à un moment ou à un autre de leur documentation.

Les identifiants utilisés par Apple ont également changé au fil du temps. Il existe trois formats différents de numéro de série - bientôt quatre - et deux formats différents d’UDID. Les numéros de famille ont commencé de manière fiable avec «M» et ne commencent maintenant que par «A». Certains MPN commencent par «M». Ça continue.

De nombreux outils de recherche sont déjà disponibles sur le Web, mais il ne faut pas chercher beaucoup pour trouver de mauvaises données. C’est généralement structurel: les outils - tels que ceux d’ Everymac - sont basés sur les relations observées entre les données d’identificateur qui semblent vraies… jusqu’à ce qu’elles ne le soient pas. Certains outils disposent de suffisamment de données pour le reconnaître, ce qui signifie qu'une recherche aboutit à une gamme de résultats possibles plutôt qu'à un seul résultat définitif. D'autres fournissent des données qui ont l'air juste… mais ne le sont pas.

Les problèmes de données structurelles ne sont pas le seul problème. Beaucoup de ces systèmes ont des sources de données erronées, reposant sur le raclage du service GSX d’Apple, la saisie de techniciens, ou - pire encore - la saisie de données à partir de données aléatoires parcourant le Web.

En cherchant à bien faire les choses, nous voulions satisfaire trois contraintes:

1. Le système doit apprendre autant que possible automatiquement et indépendamment, car tout ce qui nécessitait une saisie, une édition ou une modération régulière des données vieillirait rapidement.

   

2. Le système ne doit pas compter sur des données sans licence ou peu fiables. Le wiki de l'iPhone contient des données (et nous en avons fourni plusieurs), mais ce n'est pas normalisé, il n'est pas tout à fait exact. Les API GSX d’Apple contiennent certaines données, mais elles ne sont pas non plus normalisées, comportent des éléments vraiment étranges et n’ont pas de licence pour une utilisation de cette manière.

3. Le système doit produire des données et des résultats en lesquels nous avons pleinement confiance, plutôt que d'avoir souvent raison . Ainsi, lorsqu'une réponse unique n'est pas disponible ou que la probabilité d'une réponse est faible, le système doit l'indiquer clairement.

Éthique

La précision n'était cependant pas la seule contrainte. Il ne nous a pas fallu longtemps pour nous rendre compte de la provenance de certaines de ces données dans l'industrie: les réseaux d'employés payés pour copier secrètement (voler) des données à partir de bases de données internes.

Jusqu'à ce que nous sachions comment faire fonctionner Reincubate Lookup, il n'y avait en réalité que trois sources de données IMEI:

• Raclage de l' API GSX d'Apple. Ceci est une violation des termes d'Apple et entraînera le retrait de l'accès à l'API. Il existe une petite industrie de personnes revendant l'accès aux comptes GSX, les épuisant et essayant d'en obtenir de nouveaux. Ça ne marche pas

• Licence de la base de données IMEI de la GSMA . Cet organisme commercial pour l'industrie mobile gère le registre canonique de toutes les informations IMEI et octroie une licence à sa base de données de codes d'attribution de type (TAC), utiles pour l'identification des appareils. Bien que cela semble idéal, les choses sont plus compliquées que cela et l'organisation elle-même ne revendique qu'une précision de 95% pour ses données "GSMA Device Map". En dehors de tout autre élément, leur base de données ne contient pas d'identificateurs normalisés pour les périphériques inclus. Une recherche du CAC sur celle-ci peut vous indiquer simplement que l'appareil est un iPhone XS. C'est à peine granulaire.

  L'organisation semble être en partie en guerre avec les fabricants de mobiles qu'elle représente, exécutant simultanément des programmes visant à maintenir l'intégrité IMEI tout en notant que "la GSMA n'a ni la responsabilité ni les pouvoirs nécessaires pour mettre fin aux activités illégales de TAC et IMEI". Le défaut d'enregistrement de ces données est suffisamment courant pour qu'ils encouragent fortement leur " processus de rapport TAC / IMEI non conforme ".

  Cela signifie, en réalité, qu'il faut penser à deux ensembles de données: les données auto-déclarées par la GSMA provenant de fournisseurs qui sont incomplètes et inexactes mais au moins théoriquement exactes , et les données du monde réel qui sont exactes et normalisées. peut construire en examinant les appareils mobiles. Nous avons dû créer une base de données de 3 000 TAC d'appareils Apple, plus complète et plus utile que celle de la GSMA.

• Confier au personnel de telcos le rôle d’espionnage des données. Il s’agit du même type de pratique odieuse selon laquelle des sociétés de téléphonie mobiles américaines vendent des données de localisation de consommateur à des chasseurs de primes et à des fous , et le même fonctionnement illégal des services «iCloud unlock».

  Certains services IMEI l’annoncent de manière très flagrante. Nous avons trouvé cette annonce sur le site d'un service britannique:

Comme nous n'étions pas prêts à utiliser l'une ou l'autre approche, nous avons dû rechercher un troisième moyen de trouver les données dont nous avions besoin: pas d'espions, pas de GSX, pas de comportement sournois.

La solution réside essentiellement dans l'analyse de très grandes quantités de données, la compréhension de la relation entre ces données et leur synthèse en un ensemble de faits qui sont automatiquement mis à jour au fil du temps. Certaines de ces données sont intrinsèques aux appareils eux-mêmes, et certaines d'entre elles peuvent être dérivées en examinant des questions anonymisées sur les données. Si suffisamment de requêtes ont la forme "ce périphérique est A et B , est-ce aussi C ?", On peut commencer à comprendre que A et B sont liés. C'est la même technique qui a alimenté notre produit awdit : parfois, si vous examinez suffisamment de questions, vous pouvez générer des réponses.

L'analyse a commencé à fonctionner pour à peu près n'importe quel appareil une fois que nous avons posé environ 5 000 000 requêtes dans la base de données. Lorsqu'il n'y a pas assez de données pour répondre à une question donnée, Reincubate Lookup recommande de jeter un coup d'œil à iPhone Backup Extractor . C’est assez intelligent pour creuser plus avant et nous signaler la question.

À ce jour, nous avons identifié un peu moins de 9 000 codes de configuration pour 2 350 modèles, 127 installations de production différentes, 304 régions de distribution différentes et plus de 3 000 codes d'attribution de type IMEI.

C'est ainsi que nous avons créé Reincubate Lookup et que la convivialité, la précision et l'éthique ont donc été importantes. Nous espérons que vous l’aimerez et qu’il vous apportera de la valeur. Si vous souhaitez aller plus loin, toutes les données de Lookup proviennent de notre API DeviceIdentifier , et nous aimons voir les gens en créer de nouvelles.

Ne soyez pas étranger: dites-nous comment vous vous en sortez. 🙂