TN Sto 293 1659 37630
TN Sto 293 1659 37630
TN Sto 293 1659 37630
“Os desafios da engenharia de produção para uma gestão inovadora da Logística e Operações”
Santos, São Paulo, Brasil, 15 a 18 de outubro de 2019.
APLICAÇÃO DE UM BRAÇO
ROBÓTICO E REDES NEURAIS
ARTIFICIAIS PARA A CLASSIFICAÇÃO
E SEPARAÇÃO DE OBJETOS
DEFEITUOSOS NUMA ESTEIRA
TRANSPORTADORA AUTOMATIZADA
Miguel Gonçalves de Freitas (Universidade Federal de Goiás)
[email protected]
Symone Gomes Soares Alcalá (Engenharia de Produção)
[email protected]
Talles Marcelo Gonçalves de Andrade Barbosa (Pontifícia
Universidade Católica de Goiás)
[email protected]
1. Introdução
No contexto fabril, garantir a qualidade dos produtos fabricados é de essencial importância
para não haver custos adicionais com devoluções ou prejudicar a marca da empresa. Dado que
a qualidade possui relação, geralmente, com a presença ou não de defeitos em produtos, a
inspeção e o controle da qualidade se tornam necessários (COSTA; MENDONÇA; ALCALÁ,
2018).
No que tange o ambiente competitivo atual das grandes empresas, o uso de tecnologias para a
inspeção é usado com o intuito de se obter padronização, redução dos custos de produções de
grande volume e confiabilidade. Desse modo, a automatização da inspeção é utilizada como
alternativa tecnológica à inspeção manual. Inspeções automatizadas têm sido amplamente
realizadas por meio desistemas de visão computacional.
2
XXXIX ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
“Os desafios da engenharia de produção para uma gestão inovadora da Logística e Operações”
Santos, São Paulo, Brasil, 15 a 18 de outubro de 2019.
Sendo assim, este artigo propõe um sistema automatizado de baixo custo e de fácil operação
para classificação e separação de caixas com defeitos de pintura, por meio da utilização de um
sistema de visão, que utiliza uma RN para classificação de caixas defeituosas, e um braço
robótico, para separação de caixas defeituosas. Assim sendo, são integrados uma câmera para
a obtenção de imagens, um software para o processamento e a extração de características que
possibilitem a classificação por meio de uma RN entre uma caixa com ou sem defeito, e um
braço robótico para manipular o objeto ao local desejado. Ademais, os resultados da RN
foram satisfatórios, de forma que em ambientes com iluminação controlada possui alta
eficiência. Além disso, o braço robótico demonstrou bom desempenho na realização dos
movimentos e desempenho regular no transporte das caixas. Cumpre ressaltar, que o sistema
construído em escala reduzida permite avaliar a metodologia proposta, possibilitando que a
planta opere de forma autônoma, em ambiente real. Ainda, a partir deste sistema proposto é
possível obter novas variáveis e dados para o aprimoramento dos modelos desenvolvidos em
simulador.
3
XXXIX ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
“Os desafios da engenharia de produção para uma gestão inovadora da Logística e Operações”
Santos, São Paulo, Brasil, 15 a 18 de outubro de 2019.
2. Metodologia
O sistema proposto realiza a aquisição de imagens de objetos dispostos numa esteira
transportadora, e em seguida, as processa e as classifica em defeituosos e não defeituosos.
Após a classificação, caso o objeto não esteja defeituoso, ele é transportado para um
recipiente ao final da esteira, e caso o objeto esteja defeituoso, ele é transportado pelo braço
robótico para outro recipiente na lateral da esteira.
4
XXXIX ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
“Os desafios da engenharia de produção para uma gestão inovadora da Logística e Operações”
Santos, São Paulo, Brasil, 15 a 18 de outubro de 2019.
5
XXXIX ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
“Os desafios da engenharia de produção para uma gestão inovadora da Logística e Operações”
Santos, São Paulo, Brasil, 15 a 18 de outubro de 2019.
Figura 2 – Imagens de uma caixa sem defeito e uma caixa com defeito
Assim, este artigo cria modelos de RN como proposto pelo trabalho Costa, Mendonça e
Alcalá (2018). Para isso, a RN é desenvolvida utilizando um conjunto de imagens digitais de
caixas com e sem defeitos, sendo que 65% das imagens são utilizadas para treino da RN, 20%
das imagens para teste da RN e 15% das imagens para validação da RN. Ademais, após a
aquisição do conjunto de imagens, é realizado um pré-processamento de todas as imagens.
Este pré-processamento consiste na conversão da imagem no formato RGB para YCbCr, um
sistema que destaca a iluminação e níveis de colorização.Em seguida, é realizada a
segmentação da imagem, extraindo o objeto do fundo da imagem, de forma que é utilizado o
método Otsu’s. Após isso, a imagem passa por um melhoramento, utilizando filtragem
mediana, para o aumento de sua qualidade. Ao final, é feita a extração de 15 características da
imagem, utilizando matriz de coocorrência, as quais serão utilizadas para criação e teste da
RN. A Figura 3 mostra os passos utilizados para o desenvolvimento da RN responsável pela
classificação dos objetos.
6
XXXIX ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
“Os desafios da engenharia de produção para uma gestão inovadora da Logística e Operações”
Santos, São Paulo, Brasil, 15 a 18 de outubro de 2019.
2.2. Arduino
7
XXXIX ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
“Os desafios da engenharia de produção para uma gestão inovadora da Logística e Operações”
Santos, São Paulo, Brasil, 15 a 18 de outubro de 2019.
O Arduino utilizado no sistema proposto é o Arduino Mega 2560. Este modelo, possui maior
capacidade de memória e maior número de portas digitais quando comparado aos demais
modelos e é baseado no microcontrolador ATmega 2560 (MENDONÇA; ALCALÁ; COSTA,
2018).
8
XXXIX ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
“Os desafios da engenharia de produção para uma gestão inovadora da Logística e Operações”
Santos, São Paulo, Brasil, 15 a 18 de outubro de 2019.
suporte localizado ao lado direito da estrutura da esteira. Assim sendo, quando um objeto
passa em frente ao sensor, esse a detectará e o Arduino acionará o MATLAB para a captura
de uma imagem e a classificação do objeto.
Graus de liberdade é a quantidade de juntas que um braço robótico possui, podendo ou não
contar com a junta do manipulador na ponta responsável pelo movimento dos objetos. Além
disso, um braço robótico pode possuir diversos modelos, os quais são responsáveis pelo
movimento e tipo do robô, e são divididos em cinco categorias: robô cartesiano, robô
cilíndrico, robô esférico, robô articulado e, Selective Compliance Assembly Robotic Arm –
Robô de montagem de conformidade seletiva (SCARA) (SHAH; PANDEY, 2018).
Neste sistema foi utilizado um robô articulado, o qual segundo Shah e Pandey (2018), possui
uma maior complexidade de movimentos devido ao seu número de eixos. Assim sendo, o
robô escolhido foi o Braço Robótico em MDF de baixo custo com quatro juntas para o
encaixe de servo motores que possibilitam a movimentação, como mostra a Figura 5.
9
XXXIX ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
“Os desafios da engenharia de produção para uma gestão inovadora da Logística e Operações”
Santos, São Paulo, Brasil, 15 a 18 de outubro de 2019.
Este braço robô é desenvolvido para situações acadêmicas e de prototipagem, e possui como
especificações (Eletrogate, 2019):
altura total: 18cm;
largura média do braço: 40mm;
abertura máxima da garra: 55mm; e
espessura do MDF: 3mm.
10
XXXIX ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
“Os desafios da engenharia de produção para uma gestão inovadora da Logística e Operações”
Santos, São Paulo, Brasil, 15 a 18 de outubro de 2019.
Para o pleno funcionamento da estrutura do braço robótico, são utilizados quatro servos em
articulações distintas: um na base, para girar o braço para diferentes lados; dois acima da base,
para controlar a altura e a profundidade; um para movimentar a garra. Desta forma, o braço
robótico é projetado para o movimento de sua garra em três dimensões para executar as
tarefas propostas.
2.5. Câmera
Com o intuito de adquirir imagens das caixas na esteira, é utilizada uma câmera Logitech HD
Webcam C270 conectada ao notebook e integrada ao MATLAB. Assim sendo, é definido
como resolução de captura de imagem 1280x720, ou seja, 1280 pixels na vertical e 720 pixels
na horizontal. Essa resolução é considerada de boa qualidade para o propósito do sistema.
11
XXXIX ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
“Os desafios da engenharia de produção para uma gestão inovadora da Logística e Operações”
Santos, São Paulo, Brasil, 15 a 18 de outubro de 2019.
classificação, após esses passos, o Arduino aguarda novamente que o sensor infravermelho
detecte algum objeto para iniciar o ciclo novamente.
3. Resultados
As subseções a seguir descrevem os testes realizados para a escolha do melhor modelo de RN
tendo em conta diferentes padrões de luminosidade, e o resultado final do sistema proposto
que utiliza um braço robótico para a separação das caixas com e sem defeito.
12
XXXIX ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
“Os desafios da engenharia de produção para uma gestão inovadora da Logística e Operações”
Santos, São Paulo, Brasil, 15 a 18 de outubro de 2019.
Foram obtidos um conjunto de 400 imagens do Tipo 1, um conjunto de 400 imagens do Tipo
2 e um conjunto que é a junção de todas as 800 imagens obtidas, a Tipo 3. As Figuras 7 e 8
apresentam imagens obtidas respectivamente na iluminação baixa a media, e média a alta. A
configuração e o treino das RNs foram feitos como proposto pelo trabalho (COSTA;
MENDONÇA; ALCALÁ, 2018).
13
XXXIX ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
“Os desafios da engenharia de produção para uma gestão inovadora da Logística e Operações”
Santos, São Paulo, Brasil, 15 a 18 de outubro de 2019.
A Tabela 1 mostra os resultados de classificações corretas de cada RN, sendo que 65% das
imagens foram utilizadas para treinar a RN (treino), 15% das imagens para auxiliar na
validação e convergência da RN (validação), e 20% das imagens para avaliação da RN (teste).
Os resultados mostram que a RN com maior desempenho no teste é a RN Tipo 1.
Tabela 1 – Porcentagem das classificações corretas das RNs em cada conjunto de dados
RN Treino Validação Teste
Tabela 2 – Porcentagem das classificações corretas das RNs em cada tipo de teste
RN/Conjunto de dados Teste Tipo 1 Teste Tipo 2 Teste Tipo 3 Média Geral
Observa-se que todas as RNs obtiveram eficiência máxima no teste de imagens Tipo 2.
Entretanto, a RN Tipo 3 obteve maior média de porcentagem de classificações corretas. Isto
posto, a RN utilizada no sistema proposto será a RN Tipo 3.
14
XXXIX ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
“Os desafios da engenharia de produção para uma gestão inovadora da Logística e Operações”
Santos, São Paulo, Brasil, 15 a 18 de outubro de 2019.
testes com a caixa com defeito e 20 testes com a caixa sem defeito) e o braço robótico
proposto pelo trabalho para a separação e caixas. Desse modo, a Tabela 3 exibe os resultados
obtidos nessas três sequências, em porcentagem de acerto, para cada tipo de classificação,
onde “Movimento do servo”descreve como cada um dos servos se movimenta em relação ao
ângulo previamente programado, “Sequência de movimentos” é a ordem em queos servos
motores são acionados em relação ao programado, e “Movimentos com caixa” é o transporte
da caixa para o recipiente ao lado da esteira, quando classificada como defeituosa.
4. Considerações finais
Este artigo propôs um sistema de visão, com braço robótico, para a classificação e a separação
de caixas com defeitos numa esteira transportadora utilizando uma RN.O sistema proposto se
demonstrou eficiente na classificação de caixas com a RN Tipo 3, classificando corretamente
96,06% de caixasnos dados de testes. Além disso, a RN Tipo 3 obteve 100% de classificação
correta em ambientes com alta luminosidade.
Ademais, foram realizados testes de movimentos do braço robótico com uma sequência
definida, exibindo 5% de erros nos movimentos. Entretanto, mesmo sendo uma taxa de erros
baixa, erros podem impactar numa linha de produção, com seus movimentos aleatórios e de
15
XXXIX ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
“Os desafios da engenharia de produção para uma gestão inovadora da Logística e Operações”
Santos, São Paulo, Brasil, 15 a 18 de outubro de 2019.
alto risco. Não obstante a isso, quedas de caixas em 40% durante o transporte delas para o
recipiente são também significantes.
Para minimizar as quedas durante o transporte uma solução é forçar a garra de modo a gerar
uma força atrito maior. Entretanto, com o aumento de força na garra, há maiores indícios de
erros na movimentação. Logo, a solução alternativa é a trocas dos servos por um modelo mais
eficiente.
REFERÊNCIAS
BATO, Pepito Menguito et al. Study on sorting system for strawberry using machine vision (Part 2). Journal of
the Japanese Society of Agricultural Machinery, v. 62, n. 2, p. 101-110, 2000.
COSTA, Ingrid Martins Valente; MENDONÇA, Lorena Cândida; ALCALÁ, Symone Gomes Soares. Um
Estudo de Caso de Redes Neurais Artificiais para a Detecção de Objetos Defeituosos Numa Esteira de Produção
Automatizada. In: ENCONTRO NACIONAL DE ENGENHARIA DE PRODUÇÃO, 38, 2018, Maceió. Anais
eletrônicos... Maceió: ABEPRO, 2018. Disponível em:
<http://www.abepro.org.br/biblioteca/TN_WIC_259_490_35920.pdf>. Acesso em: 08 abril 2019.
DE BIASI, Herculano; SUZUKI, Nilton Kazuo Gomes; SANTOS, Rudinei. Desenvolvimento de uma Bancada
Integrada de Robótica, Inteligência Artificial e Visão Computacional. Anais do Computer on the Beach, p.
347-356, 2017.
FELICIANO, Flávio F.; DE SOUZA, Igor L.; LETA, Fabiana Rodrigues. Visão computacional aplicacada à
metrologia dimensional automatizada: considerações sobre sua exatidão. Engevista, v. 7, n. 2, 2005.
GIANNOCCARO, Nicola Ivan; SPEDICATO, Luigi; LAY-EKUAKILLE, Aimè. A robotic arm to sort different
types of ball bearings from the knowledge discovered by size measurements of image regions and RFID
support. International Journal on Smart Sensing and Intelligent Systems, v. 7, n. 2, p. 674-700, 2014.
KASABOV, Nikola K. Foundantios of Neural Networks, Fuzzy Systems, and Knowledge Engineering.
Second Printing, Massachusetts Institue of Technology: A Bradford book, 1998.
16
XXXIX ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
“Os desafios da engenharia de produção para uma gestão inovadora da Logística e Operações”
Santos, São Paulo, Brasil, 15 a 18 de outubro de 2019.
MENDONÇA, Lorena Cândida; COSTA, Ingrid Martins Valente; ALCALÁ, Symone Gomes Soares. Proposta
de um Sistema de Visão de Baixo Custo com Microcontrolador Arduino para a Aquisição Automática de
Imagens Digitais de Objetos numa Esteira Transportadora Automatizada. In: ENCONTRO NACIONAL DE
ENGENHARIA DE PRODUÇÃO, 38, 2018, Maceió. Anais eletrônicos... Maceió: ABEPRO, 2018. Disponível
em: <http://www.abepro.org.br/biblioteca/TN_WIC_259_490_35901.pdf>. Acesso em: 08 abril 2019.
MIMOSO SOUZA, Geovane; TORRES DELGADO, Martha Ximena; XAVIER CRUZ, Tiago. CONSTRUÇÃO
DE UM BRAÇO ROBÓTICO CONTROLADO A PARTIR DE UM FPGA. In: Colloquium Exactarum. 2012.
SILVA, Artejose Revoredo da. Sistema Inteligente de Controle e Monitoramento de Ambiente de Laboratórios de
Análises Químicas. 2016. 72 f. Dissertação (Mestrado em Engenharia de Software) – Instituto Metrópole Digital, Universidade
Federal do Rio Grande do Norte, Natal, 2016.
SHAH, R.; PANDEY, A. B. Concept for automated sorting robotic arm. Procedia Manufacturing, v. 20, p.
400-405, 2018.
17