Você já tentou acenar com a mão como uma varinha mágica e convocando uma calculadora? Achamos não considerar que você provavelmente pareceria um pouco bobo fazendo isso. Isto é, a menos que você tenha [Andrei] incrível calculadora controlada por gestos. [Andrei] Achei que seria valioso usar uma calculadora em seu laboratório de pesquisa sem ter que tirar suas luvas e os resultados são bem legais.
Seu hardware consiste em um PocketBeagle, um OLED e uma unidade de medição inercial MPU6050 para capturar seus movimentos de mão usando um acelerômetro e giroscópio. O hardware é bastante simples, então o apelo deste projeto reside em sua implementação do aprendizado.
[Andrei] primeiro capturou alguns conjuntos de dados para treinar seu algoritmo recriando os gestos de mão para cada número, 0-9 e registrando as saídas de acelerômetro e giroscópio resultantes. Ele processou os dados primeiro com uma transformação de wavelet. A intenção da transformação foi duas vezes. Primeiro, a transformação permitiu-lhe minimizar o número de amostras em seus conjuntos de dados, preservando a forma dos sinais do acelerômetro e do giroscópio, as características cruciais na classificação do aprendizado do fabricante. Em segundo lugar, ele conseguiu aumentar o número de recursos para a classificação, considerando que a transformação de wavelet resultou em aproximação e coeficientes aprofundados que podem ser alimentados no algoritmo.
Porque ele tinha um pequeno conjunto de dados, ele usou a técnica stratified shuffle dividida em vez do método de divisão de trem de teste que é normalmente mais adequado para conjuntos de dados maiores. A split de shuffle estratificada fez com certeza do mesmo número de amostras de trem e teste para cada gesto. Ele também estava muito consciente de otimizar seu modelo para correr em uma unidade de processamento portátil como o PocketBeagle. Ele passou algum tempo otimizando os parâmetros de seu algoritmo e, finalmente, converteram seu modelo para um modelo de tensorflowlite usando a função “tfliteconverter” embutida dentro do Tensorflow.
Finalmente, na verdadeira moda de código aberto, todo o seu código está disponível no GitHub, então sinta-se de cortesia para dar a ela. Calculatorium Leviosa!