Riconoscitore di movimento della mano: 5 passaggi

2024 Autore: John Day | [email protected]. Ultima modifica: 2024-01-30 10:01

Panoramica

In questo progetto, realizzeremo un guanto in grado di riconoscere alcuni movimenti di base della mano, utilizzando un MicroBit e alcuni sensori. Useremo le funzionalità Bluetooth su MicroBit, in combinazione con un'app Android e un server Web per addestrare un modello di apprendimento automatico per identificare i movimenti della mano.

Iniziare

La maggior parte dello sforzo coinvolto in questo progetto è sul lato software e tutto il codice necessario per eseguire questo progetto è disponibile su GitHub. La base di codice coinvolge 3 componenti, il codice per generare un file HEX per MicroBit, la base di codice dell'app Android che è fortemente basata sull'app MicroBit Blue della MicroBit Foundation, con modifiche apportate per questo specifico caso d'uso e un server web con codice per addestrare un modello basato su Tensorflow per identificare i movimenti della mano.

Vedremo di seguito come costruire il guanto e agganciarlo con App e Web Server.

Forniture

• 1 BBC Microbit
• 1 portabatteria con 2 batterie AAA
• 1 Guanto
• Un set di cavi per ponticelli, morsetti a coccodrillo
• Un sensore di flessione
• Un sensore di forza
• Velcro
• Nastro elettrico
• Un telefono Android
• Un PC/portatile

Passaggio 1: Passaggio 1: Configurazione del MicroBit e della batteria

• Inizia attaccando il portabatterie a un pezzo di velcro come mostrato nella prima immagine. Utilizzare del nastro isolante per fissare saldamente il supporto della batteria al cinturino in velcro.
• Quindi fai un anello con del nastro isolante in modo che sia appiccicoso su entrambi i lati e incollalo sopra il pacco batteria.
• Attaccare il MicroBit all'anello di nastro per fissare saldamente il MicroBit al portabatterie come mostrato nella seconda immagine.

Passaggio 2: collegare i sensori

• Segui lo schema del circuito mostrato nell'immagine per collegare il sensore flessibile al pin 1 del MicroBit e il sensore di forza al pin 0 del MicroBit.
• Fissare i sensori sul guanto utilizzando nastro isolante come mostrato nelle immagini.

Passaggio 3: rifinire l'hardware

• Utilizzare le estremità delle cinghie in velcro per formare un anello e far scorrere l'anello sulle dita del guanto, come mostrato nell'immagine.
• Puoi usare le fascette per fissare i fili sul guanto per evitare che si muovano troppo.

Nella prossima sezione vedremo come configurare il software.

Passaggio 4: configurazione del software

Associazione del telefono al MicroBit

1. Per accoppiare il telefono, assicurati innanzitutto che il Bluetooth sia attivo sul telefono.
2. Accendi il tuo MicroBit e tieni premuti entrambi i pulsanti A e B. Allo stesso tempo, premi e rilascia il pulsante di ripristino mentre tieni ancora premuti i pulsanti A e B. Il microbit dovrebbe ora entrare in modalità di associazione.
3. Sul tuo telefono, trova il tuo MicroBit nell'elenco dei dispositivi Bluetooth dove di solito aggiungi un nuovo dispositivo Bluetooth e inizia l'accoppiamento. Sul tuo MicroBit vedrai una freccia che punta al pulsante A. Quando lo premi, MicroBit visualizzerà una serie di numeri che è il codice di associazione che devi inserire sul tuo telefono. Una volta inserito il codice sul telefono e selezionato l'accoppiamento, sul MicroBit dovrebbe essere visualizzato un segno di spunta.
4. Premi il pulsante di ripristino sul tuo MicroBit.

Configurazione del software

Segui le guide Leggimi in ogni sottocartella del repository GitHub per configurare il progetto dell'app Android in Android Studio, per creare e eseguire il flashing del file HEX sul tuo MicroBit ed eseguire il server Web per l'esecuzione dei modelli di Machine Learning.

Passaggio 5: utilizzo

Server web

Aprire un terminale nella directory del progetto del server Web ed eseguire `python server.py` per avviare il server dopo aver seguito le istruzioni nel file Leggimi per installare le dipendenze

Applicazione Android

1. Crea e crea un APK per l'app Android da Android Studio. Esegui l'app dopo aver associato il telefono con MicroBit (vedi il passaggio precedente).
2. Nella pagina dell'accelerometro, puoi impostare l'URL del server web utilizzando il menu delle impostazioni nell'angolo in alto a destra. Assicurati di cambiarlo con l'IP del tuo server web.
3. Attendi fino a quando le letture dell'accelerometro iniziano a essere popolate dal MicroBit. Vedrai che le letture cambiano con frequenza diversa. Per cambiare la frequenza premere B sul MicroBit. Idealmente è possibile utilizzare un valore di frequenza di 10 (che campiona le letture ogni 10 ms)
4. Una volta che le letture vengono popolate, dai un nome al tuo gesto utilizzando la casella di testo denominata "Gesto:" e premi il pulsante di registrazione. Non appena si preme il pulsante di registrazione, eseguire ripetutamente il movimento della mano fino a quando il pulsante non viene nuovamente abilitato.
5. Ripetere il passaggio 3 per la registrazione di più gesti.
6. Premi il pulsante di addestramento per avviare l'addestramento del modello sul server. Una volta terminato l'allenamento (circa 15 secondi), puoi procedere con le previsioni.
7. Premi il pulsante di previsione e fai il tuo movimento/gesto. L'app cercherà di abbinarlo nel miglior modo possibile a uno dei movimenti allenati.