Guanto per la conversione da gesto a discorso/testo: 5 passaggi

2024 Autore: John Day | [email protected]. Ultima modifica: 2024-01-30 10:01

L'idea/spinta alla base dell'implementazione di questo progetto è stata quella di aiutare le persone che hanno difficoltà a comunicare usando il linguaggio e a comunicare usando i gesti delle mani o più comunemente noto come lingua dei segni americana (ASL). Questo progetto può essere un passo per fornire a queste persone l'opportunità di lavorare con altre persone, che non possono capire la lingua dei segni, in un ambiente collaborativo. Inoltre, questo progetto consentirà loro di tenere discorsi pubblici senza l'uso di un vero traduttore umano. All'inizio, stavo solo cercando di rilevare alcuni dei gesti più semplici come gli alfabeti A, B, I, ecc. e ho anche assegnato alcuni gesti a parole/saluti comuni come "Ciao", "Buongiorno", ecc.

Passaggio 1: assemblaggio del circuito

Passaggio 2: dettagli del progetto

Questo progetto include un guanto indossabile con 4 sensori di flessione bloccati/incorporati nel guanto, uno per mignolo, medio, indice e pollice. Il sensore Flex non è stato utilizzato per l'anulare a causa delle limitazioni sulla disponibilità dei pin di ingresso analogico su Arduino Uno R3 e in generale a causa della mancanza di movimento indipendente visualizzato dal dito nelle lingue dei segni. Viene utilizzato anche un accelerometro MMA8452Q che è bloccato sul retro del palmo per misurare l'orientamento della mano. L'input di questi sensori viene analizzato e utilizzato per rilevare il gesto. Una volta rilevato il gesto, il carattere/messaggio corrispondente viene salvato in una variabile. Questi caratteri e messaggi continuano a concatenarsi finché non viene compiuto un certo gesto predeterminato che indica il completamento della frase. Una volta rilevato quel gesto speciale, la stringa di frase salvata viene inviata al Raspberry Pi tramite cavo USB da Arduino. Raspberry Pi invia quindi la stringa ricevuta all'Amazon Cloud Service denominato Polly per convertire la frase ricevuta in formato testo in formato vocale e quindi trasmette in streaming il discorso ricevuto sull'altoparlante collegato al Raspberry Pi tramite il cavo AUX.

Questo progetto era solo un Proof of concept e con migliori attrezzature e pianificazione e meglio calibrato per rilevare molti altri gesti e movimenti delle mani. Attualmente, in questo progetto sono programmate solo funzionalità limitate, ad esempio per il rilevamento dei gesti di base e l'output di sintesi vocale.

Passaggio 3: codice

Passaggio 4: passaggi

1. Collegare i sensori flessibili e l'accelerometro MMA8452Q ad Arduino secondo lo schema elettrico fornito.

2. Scarica il programma Final_Project.ino (che si trova nel file Arduino_code.zip) su Arduino.

3. Collega Arduino al Raspberry Pi tramite un cavo USB. (Tipo di cavo A/B).

4. Accendi il Raspberry Pi, copia il file Raspberry_pi_code.zip nel Raspberry Pi ed estrailo. Collega l'altoparlante al Raspberry Pi.

5. Copia le credenziali dell'account AWS, ad esempio aws_access_key_id, aws_secret_access_key e aws_session_token nel file ~/.aws/credentials. Questo passaggio è necessario per comunicare con il cloud AWS e per utilizzare i servizi AWS.

6. Eseguire il programma seria_test.py trovato all'interno della cartella estratta nel passaggio 4.

7. Ora fai i gesti per formare una frase e poi fai il gesto speciale (Tieni le dita e il palmo dritti e in linea con il palmo rivolto lontano da te, quindi ruota il polso girandolo verso il basso in modo tale che ora il palmo è rivolto verso di te e la punta delle tue dita è rivolta verso il basso verso i tuoi piedi.) per segnalare il completamento della frase.

8. Continua a controllare il terminale per informazioni utili.

9. E ascolta il discorso convertito in streaming sull'altoparlante.

Passaggio 5: riferimenti

1.

2.

3.

4.