Ativando a Pesquisa Reincubar

Estamos animados para lançar hoje a Reincubate Lookup . Ele responde a uma pergunta que os usuários sempre perguntam: dado um número de série ou IMEI de um dispositivo Apple, podemos identificá-lo com precisão e do que ele é capaz?

• Ao comprar iPhones ou iPads no eBay, os usuários podem querer confirmar as especificações (principalmente a idade e o armazenamento do dispositivo). Com o serial ou IMEI na lista, eles podem confirmar as especificações e até mesmo se o dispositivo foi distribuído bloqueado. Aqui está um exemplo de pesquisa em série de um dispositivo vendido como bloqueado pela operadora.

• Os desenvolvedores geralmente precisam testar seus aplicativos em versões específicas do iOS. Tentar encontrar dispositivos de segunda mão com um iOS mais antigo é como garimpar ouro, mas podemos identificar a versão com a qual um dispositivo foi enviado, descartando várias listagens.

• Os administradores de sistemas responsáveis por frotas de dispositivos obtêm apenas especificações limitadas e dados do dispositivo das ferramentas MDM. Empresas e instituições já usam a tecnologia por trás do Reincubate Lookup para enriquecer seus dados de inventário de dispositivos.

Clientes e usuários enviaram à nossa API mais de 13 milhões de solicitações de informações sobre dispositivos no último ano, e isso nos deu o ímpeto de ir mais fundo.

A promessa da Reincubate Lookup é direta: dado um número de série da Apple ou um IMEI, ele fornecerá dados precisos , éticos e fáceis de usar . Cada uma dessas partes da promessa tem um significado especial para nós, e há uma história sobre por que elas são importantes. Vamos dar uma olhada.

Amigo do usuário

Há bastante jargão quando se trata de aprender sobre dispositivos móveis, por isso passamos um tempo pensando sobre a melhor maneira de solicitar, apresentar e rotular as informações exibidas. Retemos alguns pontos de dados que podem ser valiosos para alguns usuários técnicos, mas que podem confundir outras pessoas.

O valor dos dados do dispositivo e a dificuldade que os consumidores têm em avaliar sua confiabilidade deram origem a vários serviços que fornecem esses dados, agregando-os a uma série de mecanismos terríveis e hostis para impedir que outras pessoas o rastreiem. Optamos por evitar um sistema de captcha doloroso e criamos a Pesquisa para ser super rápida e trabalhar sem nenhuma página de carregamento intersticial.

Curiosamente - dado que são dados sobre dispositivos móveis - poucos serviços semelhantes têm interfaces que funcionam bem em telefones ou tablets. Queríamos algo que fosse compatível com dispositivos móveis e internacionalmente.

Espero que tenhamos feito um bom trabalho com a acessibilidade do Reincubate Lookup. Ele foi fortemente testado em iPhones e iPads, e achamos que é bem legal. Ele suporta nativamente o Modo Escuro e inverte sua paleta para facilitar a fadiga ocular. Ele não solicitará um captcha e está disponível em 11 idiomas.

Preciso

Aprendemos muito sobre esses dados desde que começamos a criar nossa API de identificador de dispositivo em 2017 (e fornecemos suporte para metadados avançados de dispositivos no iPhone Backup Extractor no verão passado) e encontramos vários problemas difíceis que queríamos resolver .

Uma das primeiras coisas que aprendemos é que os dados por trás dos identificadores da Apple são - para ser sinceros - uma bagunça. A própria Apple não possui um identificador de modelo canônico único nem consistência de nomeação interna. Em alguns casos - estamos olhando para você, iPhone 3G - os mesmos IDs são reutilizados para produtos diferentes.

Passei uma WWDC agradável na esperança de detectar sinais de consistência interna com os engenheiros e gerentes da Apple, mas até eles expressaram frustração com isso. Além disso, a documentação da Apple sobre identificação de modelos é inconsistente e praticamente todas as formas de identificador (existem 12 principais) são chamadas de "modelo" em um ponto ou outro da documentação.

Os identificadores que a Apple usa também mudaram com o tempo. Existem três formatos diferentes de número de série - em breve serão quatro - e dois formatos diferentes de UDID. Os números da família começaram a confiavelmente com "M" e agora começam apenas com "A" e, em vez disso, alguns MPNs agora começam com "M". Isso continua.

Já existe uma variedade de ferramentas de pesquisa na Web, mas não é preciso muito esforço para encontrar dados ruins. Geralmente, isso é estrutural: as ferramentas - como a Everymac - baseiam-se na observação de relações entre dados identificadores que parecem verdadeiras ... até que não sejam. Algumas ferramentas têm dados suficientes para reconhecer isso, o que significa que uma pesquisa resulta em vários resultados possíveis, em vez de um único e definitivo. Outros fornecem dados que parecem exatamente corretos ... mas não são.

Problemas de dados estruturais não são o único problema. Muitos desses sistemas têm fontes de dados defeituosas, contando com a raspagem do serviço GSX da Apple, com a entrada de técnicos ou, o pior de tudo, com a entrada de dados de malucos aleatórios navegando na web.

Ao tentar acertar isso, queríamos satisfazer três restrições:

1. O sistema deve aprender o máximo possível de forma automática e independente, pois qualquer coisa que exija entrada, edição ou moderação regular de dados envelhecerá rapidamente.

   

2. O sistema não deve confiar em dados não licenciados ou não confiáveis. O Wiki do iPhone possui alguns dados (e contribuímos com muitos), mas não é normalizado, não é totalmente preciso. As APIs GSX da Apple têm alguns dados, mas também não são normalizados, têm algumas coisas realmente estranhas acontecendo em algumas delas e não são licenciadas para uso dessa maneira.

3. O sistema deve produzir dados e resultados nos quais estamos confiantes, em vez de estar certo . Assim, quando uma resposta única não está disponível ou a probabilidade de uma resposta é baixa, o sistema deve deixar isso claro.

Ético

A precisão não era a única restrição, no entanto. Não demorou muito tempo para perceber onde alguns desses dados foram obtidos no setor: por redes de funcionários pagas para copiar (roubar!) Secretamente dados de bancos de dados internos.

Até descobrirmos como fazer a Reincubate Lookup funcionar, havia apenas três fontes de dados IMEI:

• Raspando a API GSX da Apple. Isso é uma violação dos termos da Apple e resultará na retirada do acesso à API. Há um pequeno setor de pessoas revendendo o acesso às contas GSX, queimando-as e tentando obter novas. Isso não funciona.

• Licenciamento do banco de dados IMEI da GSMA . Esse órgão comercial da indústria móvel detém o registro canônico de todas as informações do IMEI e licencia seu banco de dados de códigos de alocação de tipo (TACs), úteis para a identificação do dispositivo. Embora isso pareça ideal, as coisas são mais complicadas do que isso, e a própria organização reivindica apenas 95% de precisão para seus dados "Mapa de dispositivos GSMA". Além de qualquer outra coisa, seu banco de dados não contém identificadores normalizados para os dispositivos que ele inclui. Uma consulta ao TAC pode indicar que o dispositivo é um iPhone XS. Isso não é granular.

  A organização parece estar parcialmente em guerra com os fabricantes de celulares que representa, executando simultaneamente programas para manter a integridade do IMEI , além de observar "a GSMA não tem a responsabilidade ou poderes para interromper as atividades ilegais de TAC e IMEI". O registro incorreto desses dados é comum o suficiente para que eles promovam fortemente seu " processo de relatório TAC / IMEI não conforme ".

  O que isso significa - com efeito - é que existem dois conjuntos de dados para se pensar: os dados autodeclarados pela GSMA de fornecedores que são incompletos e imprecisos, mas pelo menos teoricamente precisos , e dados do mundo real que são precisos e normalizados. pode construir examinando dispositivos móveis. Tivemos que criar um banco de dados de 3.000 TACs para dispositivos Apple, mais abrangente e útil do que os da GSMA.

• Subornar a equipe de telecomunicações para agir como "espiões de dados". Esse é o mesmo tipo de prática repugnante que as empresas americanas de celulares vendem dados de localização de consumidores para caçadores de recompensas e malucos , e da mesma forma que os serviços ilegais de “desbloqueio do iCloud” funcionam.

  Alguns serviços IMEI anunciam isso bastante flagrantemente. Encontramos este anúncio no site de um serviço do Reino Unido:

Como não estávamos preparados para usar qualquer uma dessas abordagens, tivemos que procurar uma terceira maneira de encontrar os dados de que precisávamos: sem espiões, sem GSX, sem comportamento oculto.

A resposta, essencialmente, está na análise de quantidades muito grandes de dados, no entendimento de como esses dados estão relacionados e no detalhamento de um conjunto de fatos que são atualizados automaticamente ao longo do tempo. Alguns desses dados são intrínsecos aos próprios dispositivos e outros podem ser obtidos através da análise de perguntas anônimas sobre dados. Se consultas suficientes tiverem a forma "este dispositivo é A e B , também é C ?", Pode-se começar a entender que A e B estão relacionados. É a mesma técnica que alimentou nosso produto awdit : às vezes, se você observar perguntas suficientes, poderá gerar respostas.

A análise começou a funcionar para praticamente qualquer dispositivo, uma vez que atingimos cerca de 5.000.000 de consultas no banco de dados e, onde não há dados suficientes para responder a uma determinada pergunta, o Reincubate Lookup recomendará uma olhada no iPhone Backup Extractor . Isso é inteligente o suficiente para aprofundar e sinalizar a questão para nós.

Atualmente, identificamos pouco menos de 9.000 códigos de configuração para 2.350 modelos, 127 instalações de produção diferentes, 304 regiões de distribuição diferentes e mais de 3.000 códigos de alocação do tipo IMEI.

Foi assim que criamos a Reincubate Lookup e por que a facilidade de uso, a precisão e a ética foram importantes à medida que a construímos. Esperamos que você goste e que ele forneça valor. Se você quiser ir mais fundo, todos os dados da pesquisa vêm da nossa API DeviceIdentifier , e adoramos ver as pessoas construindo coisas contra isso.

Não seja um estranho: informe-nos como você se sai. 🙂