IoT: controlla HoloLens usando le sopracciglia (EMG): 5 passaggi

2024 Autore: John Day | [email protected]. Ultima modifica: 2024-01-30 10:02

Questo progetto faceva parte del progetto NASA SUITS dell'Università del Colorado Boulder che è stato presentato e testato alla NASA JSC nell'aprile 2019. Per il progetto di quell'anno, ero il capo progetto dello sviluppo hardware e questo è stato uno dei miei contributi. Leggi di più sulla sfida NASA SUITS qui.

Con questo progetto, volevo consentire a chiunque (in questo caso EVA Astronauts) di interfacciarsi con un Heads-Up-Display (HUD) distribuito in Microsoft HoloLens senza utilizzare i gesti delle mani incorporati o gli input vocali. Ho affrontato questo obiettivo dal punto di vista dell'accessibilità, volevo sviluppare una periferica/indossabile che consentisse agli astronauti EVA di interfacciarsi con il loro display senza occupare le comunicazioni con il controllo a terra e, a causa dei loro guanti altamente pressurizzati, l'interfaccia gestuale è irragionevole. Sebbene questo sia un dominio con cui non ho familiarità, posso anche vedere che questa periferica è utile per le persone con disabilità, consentendo loro di utilizzare HoloLens o altri dispositivi AR/VR e rinunciare agli input di interfaccia che sono esclusivi o scoraggianti.

Sebbene l'elenco degli elementi per questo progetto sia di per sé esclusivo (l'HoloLens è molto costoso!), La periferica può essere utilizzata con altri dispositivi AR/VR.

Se hai domande, vuoi stare al passo con il mio lavoro o semplicemente lanciare idee, fallo sul mio Twitter: @4Eyes6Senses.

Forniture

Microsoft HoloLens (o altro dispositivo AR/VR)

Fotone particellare

Sensore muscolare MyoWare - Il sensore MyoWare può essere sostituito con altre schede breakout EMG. Se non sei sicuro di cosa sia l'EMG, ti suggerisco di leggere di più qui

Cuscinetti per sensori biomedici

Unità (gratuito)

Qualche esperienza con la creazione di progetti in Unity

Filo

Passaggio 1: collegamento di MyoWare con il fotone di particelle

Il collegamento di Particle Photon alla scheda MyoWare è abbastanza semplice. Per questo passaggio, dovrai saldare le connessioni tra Particle Photon e la scheda MyoWare. Assicurati di avere connessioni forti in modo che i cavi non si rompano mentre indossi il dispositivo. Per evitare rotture, consiglio di intrecciare i cavi prima di saldarli nel Photon.

- Saldare un filo nella porta "+" della scheda MyoWare, quindi saldare l'altra estremità del cavo nel pin "3v3" di Photon.

- Saldare un filo nella porta "-" della scheda MyoWare, quindi saldare l'altra estremità del cavo nel pin "GND" di Photon.

- Saldare un filo nella porta "SIG" della scheda MyoWare, quindi saldare l'altra estremità del cavo nel pin "A0" di Photon.

Passaggio 2: caricamento del codice sulla particella Photon

Utilizzando l'IDE di Particle Photon, caricare il file.ino. Posiziona la scheda MyoWare su un gruppo muscolare e controlla i valori per assicurarti che il tuo dispositivo funzioni. Quando guardi il codice noterai che c'è una variabile "soglia" già impostata, questa variabile è il valore minimo che MyoWare legge dal mio muscolo quando alzo completamente il sopracciglio. Ho anche impostato la variabile su "600" perché mi ha permesso di avere conversazioni normali mentre indossavo MyoWare senza creare falsi positivi (attivazione accidentale), potresti voler giocare con i valori fino a trovare la soglia desiderata per i tuoi usi.

Passaggio 3: posizionamento del MyoWare

Per il nostro progetto NASA SUITS, ho scelto di posizionare la MyoWare Board sopra il sopracciglio. Sono stato ispirato a posizionare MyoWare lì dopo aver visto il progetto "'Sup Brows" fatto da Adafruit. Dopo alcuni test, è diventato chiaro che le sopracciglia sono un'ottima posizione per questo progetto specifico. È un'ottima posizione perché i sensori non sarebbero influenzati dai movimenti muscolari costanti attraverso le braccia, le gambe e il busto che gli astronauti dell'EVA fanno durante le passeggiate spaziali.

Passaggio 4: collegamento di MyoWare con Unity

Ora è il momento del passaggio finale, colleghiamo MyoWare con Unity! Incluso in questo Instructable è lo script che dovrai includere nel tuo progetto Unity. Ma prima, dovrai modificare alcune cose nel codice. Innanzitutto, dovrai aggiungere il plug-in JSON Object Unity al tuo progetto. Successivamente, dovrai aggiungere il tuo ID dispositivo e il token di accesso nella riga 19: particelleURI = "https://api.particle.io/v1/devices/[Insert your device id]/Next?access_token=[Insert your token di accesso]". Puoi ottenere l'ID del tuo dispositivo dall'IDE di particelle, seguendo la figura 2, fai clic sulla scheda dei tuoi dispositivi (riquadro rosso) e guarda sotto il nome del tuo dispositivo per trovare il tuo id (riquadro blu). Quindi, per trovare il tuo token di accesso, fai clic sulla scheda delle impostazioni nell'IDE.

Passaggio 5: fatto

Dopo aver terminato il tuo progetto Unity, avrai un HoloLens controllato da EMG!

Se hai domande approfondite, vuoi conoscere il potenziamento umano, vuoi stare al passo con il mio lavoro o semplicemente lanciare idee, fallo sul mio Twitter:

Se sei interessato a lavorare con il nostro team per la sfida NASA SUITS 2019 - 2020, inviami un'e-mail a:

Un ringraziamento speciale al modello nella prima foto, Darren, che ha anche testato il design alla NASA. Un altro grazie al mio partner di programmazione per il progetto AJ, che ha reso possibile tutto questo.