Um projeto de três alunos do curso de Engenharia de Computação Universidade Tecnológica Federal do Paraná (UTFPR), de Curitiba, repaginou a ideia de uma luva que lê sinais de libras para surdos. A novidade é a utilização de um aplicativo de celular que traduz em sons de fala os gestos feitos por quem utiliza a luva. O equipamento mapeia o movimento dos dedos e das mãos e os envia para a letra correspondente no aplicativo do usuário. Eles afirmam se tratar de um produto único no Brasil, capaz de traduzir a linguagem brasileira de sinais.
“A luva em si não é novidade. Há projetos semelhantes em outros países. No Brasil, também há projetos de luvas, mas nenhum deles utilizou um aplicativo com uso intuitivo e simples. As traduções dos gestos eram feitas em computadores e com o uso de cabos”, explica a estudante Caroline Rosa da Silva, 22 anos, uma das alunos do trio.
Um vídeo sobre o funcionamento da luva foi postado pela Caroline Rosa nas redes sociais. O projeto foi feito para a disciplina de Oficina de Integração 2, entre junho e agosto de 2021. “Buscamos resolver algum problema relevante na sociedade. Optando pelo tema de acessibilidade e deficiência auditiva, surgiu a ideia da luva, pois a maioria dos surdos aprende a ler lábios, mas a maioria das pessoas não é fluente em libras, o que limita a capacidade de comunicação dos deficientes auditivos”, disse a estudante.
Os outros dois alunos do grupo são o Moises de Paulo Dias, 28 anos, e a Bruna Araújo Pinheiro, 21 anos. Cada um ficou responsável por uma parte do projeto. “A Bruna cursou a disciplina de libras. Ela teve bastante contexto sobre o tema com a professora. Isso também nos motivou. E o Moises é o que mais curte essa parte de sistemas. Ele ficou com a parte dos sensores e da placa e a Bruna com o mapeamento das letras e o blog. Eu fiquei com o aplicativo e nos juntamos para montar tudo na luva e testar”, explicou a Caroline Rosa.
Para o futuro, os alunos planejam evoluir com o uso da luva. Por hora, só é possível utilizar a luva na mão direita. “Ela só identifica as letras do alfabeto de libras. Planejamos evoluir o mecanismo de sensores para uma melhor captação do movimento dos dedos e da mão, aplicar técnicas de aprendizagem de máquina para melhorar o processo de identificação dos sinais, incluir outros símbolos e sinais além do alfabeto e adicionar mais funcionalidades no aplicativo”, conta a equipe.
Como funciona a luva
De acordo com os alunos, a luva é composta por um conjunto de sensores, um atuador e um microcontrolador. Os sensores flexíveis (caseiros, feitos pela equipe) captam a dobra de cada um dos cinco dedos. Há também sensores de contato entre o dedo indicador e o dedo do meio e no polegar. Nas costas da mão, fica um módulo giroscópio e acelerômetro, que são sensores capazes de identificar a orientação da mão e movimentos de rotação.
Funcionando em conjunto, segundo os alunos, os sensores conseguem mapear os sinais de cada letra do alfabeto de libras. A leitura desses sensores é realizada pelo ESP32, um microcontrolador que realiza o processo de mapeamento dos sinais em letras do alfabeto, realizando a comunicação via bluetooth com o aplicativo instalado no celular.
“Também há um pequeno motor de vibração na parte do pulso, que é usado para indicar com uma breve vibração cada vez que uma letra é formada pela luva”, explica a Carolina Rosa.
O aplicativo, desenvolvido por eles com o programa React Native para Android, é instalado no celular do usuário e exige que o celular seja pareado com a luva através de bluetooth. Ao iniciar o aplicativo, o usuário precisa fazer o processo de calibragem, para que a leitura dos sensores fique adaptada à mão. Em seguida, o processo de fala pode ser realizado. “O usuário faz o símbolo de uma letra com a mão, a letra é identificada e enviada para o aplicativo via bluetooth, que atualiza a tela exibindo essa letra. Quando o usuário faz o símbolo de quebra de palavra, o aplicativo emite o áudio da palavra formada e armazena o texto na caixa de cima junto com o que já foi soletrado”, explicam.
Divulgação
No LinkedIn da Caroline Rosa há um texto divulgando o projeto. Lá, ela explica que “Pessoas surdas sofrem diariamente com a falta de intérpretes em situações básicas e locais essenciais, como hospitais e escolas. A principal fonte do problema é que uma parcela minúscula da população compreende a linguagem brasileira de sinais, tornando inviável a comunicação com deficientes auditivos. Mas e se a falta da fluência em libras não fosse um impedimento?”.
Os alunos disseram que ainda não chegaram a pensar em algum pedido de investimento por parte do mercado. “Nada do tipo para agora. Quem sabe com a evolução que planejamos para esse semestre”, apontam. O vídeo completo com detalhes e explicações encontra-se neste link. Há também um blog com o andamento do projeto. Já o repositório com o código do app e do firmware estão neste link.