Treinar um modelo de detecção de objetos com o AutoML Vision Edge

Um modelo de detecção de objetos é semelhante a um modelo de rotulagem de imagens, mas, em vez de atribuir rótulos a imagens inteiras, ele atribui rótulos a regiões de imagens. É possível usar modelos de detecção de objetos para reconhecê-los e localizá-los em uma imagem ou para rastrear os movimentos de um objeto em uma série de imagens.

Para treinar um modelo de detecção de objetos, forneça ao AutoML Vision Edge um conjunto de imagens com rótulos e limites de objeto correspondentes. O AutoML Vision Edge usa esse conjunto de dados para treinar um novo modelo na nuvem, que pode ser usado para detecção de objetos no dispositivo.

Antes de começar

1. Preparar os dados de treinamento

Primeiro, monte um conjunto de dados de treinamento de imagens rotuladas. Tenha as seguintes diretrizes em mente:

  • As imagens precisam estar em um dos seguintes formatos: JPEG, PNG, GIF, BMP, ICO.

  • Cada imagem precisa ter no máximo 30 MB. Observe que o AutoML Vision Edge reduz a maioria das imagens durante o pré-processamento, portanto geralmente não há benefício de precisão em fornecer imagens de resolução muito alta.

  • Inclua pelo menos 10 e, de preferência, 100 ou mais exemplos de cada rótulo.

  • Inclua vários ângulos, resoluções e planos de fundo para cada rótulo.

  • Os dados de treinamento precisam estar o mais próximo possível dos dados que serão previstos. Por exemplo, se o caso de uso envolver imagens borradas e de baixa resolução (como de uma câmera de segurança), seus dados de treinamento precisarão ser compostos de imagens borradas de baixa resolução.

  • Os modelos gerados pelo AutoML Vision Edge são otimizados para fotografias de objetos no mundo real. Eles podem não funcionar bem para raios X, desenhos a mão, documentos digitalizados, recibos e assim por diante.

    Além disso, os modelos não preveem rótulos que pessoas não sejam capazes de atribuir. Por essa razão, se uma pessoa não conseguir atribuir rótulos após olhar a imagem por um ou dois segundos, provavelmente não será possível treinar o modelo para fazer isso também.

Quando as imagens de treinamento estiverem prontas, prepare-as para serem importadas para o Google Cloud. Você tem duas opções:

Opção 1: Cloud Storage com índice CSV

Faça upload das imagens de treinamento no Google Cloud Storage e prepare um arquivo CSV listando o URL de cada imagem e, opcionalmente, os rótulos de objeto e as regiões delimitadoras corretos para cada imagem. Esta opção é útil ao usar grandes conjuntos de dados.

Por exemplo, envie as imagens para o Cloud Storage e prepare um arquivo CSV como o seguinte:

gs://your-training-data-bucket/001.jpg,accordion,0.2,0.4,,,0.3,0.5,,
gs://your-training-data-bucket/001.jpg,tuba,0.2,0.5,,,0.4,0.8,,
gs://your-training-data-bucket/002.jpg,accordion,0.2,0.2,,,0.9,0.8,,

As caixas delimitadoras de objeto são especificadas como coordenadas relativas na imagem. Consulte Como formatar um arquivo CSV de dados de treinamento.

As imagens precisam ser armazenadas em um bucket dentro da região us-central1 e fazer parte do projeto do Google Cloud correspondente ao projeto do Firebase.

Opção 2: imagens não rotuladas

Rotule suas imagens de treinamento e marque limites de objetos no Console do Google Cloud depois de fazer upload delas. Isso é recomendado apenas para conjuntos de dados pequenos. Para isso, veja a próxima etapa.

2. Treinar o modelo

Em seguida, treine um modelo usando as imagens:

  1. Abra a página Conjuntos de dados do Vision no Console do Google Cloud. Selecione seu projeto quando solicitado.

  2. Clique em Novo conjunto de dados, forneça um nome para ele, selecione o tipo de modelo que você quer treinar e clique em Criar conjunto de dados.

  3. Na guia Importar do conjunto de dados, faça o upload das imagens de treinamento, um arquivo ZIP das imagens de treinamento ou um arquivo CSV contendo os locais do Cloud Storage para os quais você fez o upload. Consulte Preparar os dados de treinamento.

  4. Após a conclusão da tarefa de importação, use a guia Imagens para verificar os dados de treinamento.

  5. Se você não fez upload de um CSV, para cada imagem, faça caixas delimitadoras em torno dos objetos que você quer reconhecer e rotule cada objeto.

  6. Na guia Treinar, clique em Iniciar treinamento.

    1. Dê um nome ao modelo e selecione o tipo de modelo Edge.

    2. Defina as configurações de treinamento a seguir, que controlam o desempenho do modelo gerado:

      Otimize o modelo para… A configuração do modelo a ser usada. Será possível treinar modelos menores e mais rápidos quando a latência baixa ou a restrição do tamanho do pacote forem prioritárias ou modelos maiores e mais lentos quando a precisão for mais importante.
      Orçamento de horas de nó

      O tempo máximo, em horas de computação, de treinamento do modelo. Mais tempo de treinamento geralmente resulta em um modelo mais preciso.

      O treinamento poderá ser concluído mais rapidamente do que o especificado se o sistema determinar que o modelo está otimizado e se não for possível melhorar a precisão com mais tempo de treinamento. Você é cobrado apenas pelas horas realmente usadas.

      Tempos de treinamento típicos
      Conjuntos muito pequenos1 hora
      500 imagens2 horas
      1.000 imagens3 horas
      5.000 imagens6 horas
      10.000 imagens7 horas
      50.000 imagens11 horas
      100.000 imagens13 horas
      1.000.000 de imagens18 horas

3. Avalie o modelo

Quando o treinamento for concluído, clique na guia Avaliar para ver as métricas de desempenho do modelo.

Um uso importante desta página é determinar o limite de confiança que funciona melhor para o modelo. O limite de confiança é a confiança mínima que o modelo precisa ter para atribuir um rótulo a uma imagem. Ao mover o controle deslizante de limite de confiança, é possível ver como diferentes limites afetam o desempenho do modelo. Esse desempenho é medido usando duas métricas: precisão e recall.

No contexto da classificação de imagens, precisão é a razão entre o número de imagens que foram corretamente rotuladas e o número de imagens que o modelo rotulou, dado o limite selecionado. Quando um modelo tem alta precisão, ele atribui rótulos incorretamente com menos frequência (menos falsos positivos).

Recall é a proporção do número de imagens que foram corretamente rotuladas para o número de imagens que tinham conteúdo que o modelo deveria ter sido capaz de rotular. Quando um modelo tem alto recall, ele falha em atribuir um rótulo com menos frequência (menos falsos negativos).

Escolher otimizar a precisão ou o recall dependerá do seu caso de uso. Consulte o Guia para iniciantes do AutoML Vision e o Guia de ML inclusivo: AutoML para mais informações.

Quando encontrar um limite de confiança que produza métricas que atendam às suas necessidades, anote-o. Você usará esse limite para configurar o modelo no seu app. É possível usar essa ferramenta a qualquer momento para conseguir um valor de limite apropriado.

4. Publicar ou fazer o download do modelo

Se estiver satisfeito com o desempenho do modelo e quiser usá-lo em um aplicativo, você terá três opções para escolher qualquer combinação: implantar o modelo para previsão on-line, publicar o modelo no Firebase ou fazer o download do modelo e empacotá-lo com seu app.

Implantar o modelo

Na guia Testar e usar do conjunto de dados, é possível implantar o modelo para previsão on-line, que o executa na nuvem. Essa opção é abordada nos documentos do Cloud AutoML. Os documentos neste site tratam das duas opções restantes.

Publicar o modelo

Ao publicar o modelo no Firebase, é possível atualizá-lo sem liberar uma nova versão do aplicativo, bem como usar a Configuração remota e o Teste A/B para exibir dinamicamente diferentes modelos para diferentes conjuntos de usuários.

Se você optar por fornecer o modelo hospedando-o apenas com o Firebase, e não agrupá-lo com o aplicativo, poderá reduzir o tamanho inicial do download do aplicativo. No entanto, lembre-se de que, se o modelo não estiver incluído no seu app, nenhuma função relacionada ao modelo estará disponível até que o app faça o download dele pela primeira vez.

Para publicar seu modelo, use um destes dois métodos:

  • Faça o download do modelo do TF Lite na página Testar e usar do conjunto de dados no Console do Google Cloud e, em seguida, faça upload do modelo na página Modelo personalizado do Console do Firebase. Essa geralmente é a maneira mais fácil de publicar um único modelo.
  • Publique o modelo diretamente do seu projeto do Google Cloud no Firebase usando o SDK Admin. Use esse método para publicar em lote vários modelos ou ajudar a criar pipelines de publicação automatizados.

Para publicar o modelo com a API Management de modelos do SDK Admin, siga estas instruções:

  1. Instale e inicialize o SDK.

  2. Publique o modelo.

    Você precisará especificar o identificador de recurso do modelo, que é uma string semelhante ao exemplo a seguir:

    projects/PROJECT_NUMBER/locations/us-central1/models/MODEL_ID
    PROJECT_NUMBER O número do projeto do bucket do Cloud Storage que contém o modelo. Pode ser seu projeto do Firebase ou outro projeto do Google Cloud. Esse valor pode ser encontrado na página "Configurações" do Console do Firebase ou no painel do Console do Google Cloud.
    MODEL_ID O ID do modelo que você recebeu da API AutoML do Cloud.

    Python

    # First, import and initialize the SDK.

# Get a reference to the AutoML model
source = ml.TFLiteAutoMlSource('projects/{}/locations/us-central1/models/{}'.format(
    # See above for information on these values.
    project_number,
    model_id
))

# Create the model object
tflite_format = ml.TFLiteFormat(model_source=source)
model = ml.Model(
    display_name="example_model",  # This is the name you will use from your app to load the model.
    tags=["examples"],             # Optional tags for easier management.
    model_format=tflite_format)

# Add the model to your Firebase project and publish it
new_model = ml.create_model(model)
new_model.wait_for_unlocked()
ml.publish_model(new_model.model_id)

    Node.js

    // First, import and initialize the SDK.

(async () => {
  // Get a reference to the AutoML model. See above for information on these
  // values.
  const automlModel = `projects/${projectNumber}/locations/us-central1/models/${modelId}`;

  // Create the model object and add the model to your Firebase project.
  const model = await ml.createModel({
    displayName: 'example_model',  // This is the name you use from your app to load the model.
    tags: ['examples'],  // Optional tags for easier management.
    tfliteModel: { automlModel: automlModel },
  });

  // Wait for the model to be ready.
  await model.waitForUnlocked();

  // Publish the model.
  await ml.publishModel(model.modelId);

  process.exit();
})().catch(console.error);

Fazer o download do modelo e agrupá-lo com o app

Ao agrupar o modelo e o aplicativo, é possível garantir que os recursos de ML do aplicativo ainda funcionem quando o modelo hospedado pelo Firebase não estiver disponível.

Se o modelo for publicado e empacotado com o aplicativo, o aplicativo usará a versão mais recente disponível.

Para fazer o download do modelo, clique em TF Lite na página Testar e usar do conjunto de dados.

Próximas etapas

Agora que você publicou ou fez o download do modelo, saiba como usá-lo nos seus apps iOS+ e Android.