Google Glass/Aiuto per chi ha la vista a tunnel: 5 passaggi (con immagini)

2024 Autore: John Day | [email protected]. Ultima modifica: 2024-01-30 10:01

Astratto:

Questo progetto trasmette video in diretta da una telecamera fish-eye su un display head-up indossabile. Il risultato è un campo visivo più ampio all'interno di un'area più piccola (il display è paragonabile a uno schermo da 4" a 12" di distanza dall'occhio e riproduce a 720p). Lo scopo principale è quello di fornire una maggiore consapevolezza spaziale a quelli con retinite pigmentosa (abbreviata come RP), una malattia degenerativa dell'occhio che provoca la visione a tunnel (è paragonabile a guardare tutto il tempo attraverso un rotolo di carta igienica). Detto questo, poiché il progetto è basato su un RPi, esiste una vasta gamma di possibili applicazioni (alcune delle quali verranno discusse alla fine).

Elenco dei materiali:

• (1) Raspberry Pi Zero ($ 5) (funziona anche Raspberry Pi Zero W)

• (1) Scheda Micro SD per Raspberry Pi ($ 8) (solo una normale scheda Micro SD, niente di speciale. Minimo consigliato di 8 GB di spazio di archiviazione)

  • RPi esterni: (non sono necessari se li possiedi già o se hai un altro modello RPi)

    • (1) Adattatore USB ($ 5)
    • (1) Cavo da Mini HDMI a HDMI ($ 6) (con una vista abbastanza buona, Vufine può essere utilizzato come monitor, eliminando così la necessità di questo cavo)
• (1) Display indossabile Vufine ($ 200)

• (1) Cavo a nastro da micro a mini HDMI ($ 10) (è stato interrotto, vedere i proiettili di seguito)

  • Adattatori HDMI

    (Tipo C e tipo D; si spera che specifichi il modello più tardi questo fine settimana (oggi è il 2/2/2018)) (Adafruit vende anche questi connettori, ma sono più costosi)

  • Cavo a nastro HDMI
• (2) Cavo micro USB ($ 1-5 ciascuno) (solo 2 normali cavi micro USB, niente di speciale)
• (1) Fotocamera Fish-Eye per Raspberry Pi ($ 25)
• (1) Cavo per fotocamera Raspberry Pi ($ 8)
• (1) Confezione di fascette piccole ($3)

Costo totale: ~265 USD (dipende da ciò che hai già e da quanto paghi per la spedizione)

Elenco strumenti:

• Pinza tagliafili
• Spelafili (per cavi di circa 26 awg)
• Pistola per colla a caldo (e stick di colla per detta pistola per colla a caldo)
• Tastiera del computer
• Schermo (deve essere compatibile con HDMI, ma ancora una volta, con una vista abbastanza buona, Vufine può essere utilizzato come monitor)
• Saldatore (e saldatore)
• Coltello X-Acto

Nota personale:

Questo progetto è stato ispirato da mia nonna. Le è stata diagnosticata la RP molto tempo fa e la sua vista si è deteriorata nel corso degli anni. Di recente, ha deciso di rinunciare al suo cane per non vedenti, Ventura (soprannominato Seymour, gioco di parole), a causa dell'età. Sebbene questo possa aver reso la vita più facile in alcuni aspetti, sono sicuro che ha reso altre cose più banali (come camminare in un centro commerciale). Stavo già cercando di realizzare un dispositivo come questo da un po', ma non c'erano schermi prontamente disponibili (a prezzi ragionevoli). Le cose sono cambiate quando ho trovato Vufine. È una grande azienda con un ottimo prodotto e no, non sono pagato per dirlo; è davvero una buona compagnia. Per quanto riguarda mia nonna, ha riferito che questo dispositivo ha quasi raddoppiato il suo campo visivo (in termini di diametro, non di area).

Aggiornare:

L'ho costruito con un modulo Vufine configurato per l'occhio sinistro (mia nonna è completamente cieca dall'occhio destro), quindi potrebbero esserci dei problemi per chi lo costruisce per l'occhio destro (niente di grande, solo un cambio di orientamento per alcuni parti). Detto questo, Vufine è stato così gentile da inviarmi un modulo per l'occhio destro in modo da poter continuare questo progetto e risolvere questi problemi. Non appena lo farò, aggiornerò ulteriormente questo istruibile.

Passaggio 1: configurazione del Raspberry Pi

Configurazione dell'hardware del Pi:

Nota: se hai un Raspberry Pi diverso da un RPi Zero (W o normale), puoi apportare le modifiche software necessarie utilizzando quel Pi e trasferire la scheda SD sul Pi Zero.

Seconda nota: in realtà non ho acquistato parte dell'hardware che si collega al Pi; Ho invece un cappello comodo. Detto questo, l'immagine sopra è come dovrebbe essere il tuo set up. Non è mio ed è stato preso da qui.

Per prima cosa, collegheremo la tastiera. Poiché la tua tastiera ha un connettore USB di tipo A (l'onnipresente rettangolare) e il Pi Zero no, dovremo usare l'adattatore USB. Collega l'adattatore USB alla porta USB più vicina al centro della scheda. Quindi collegare la tastiera all'adattatore USB. L'altra porta USB verrà utilizzata per l'alimentazione. I primi due cavi nell'immagine sono cavi USB con il cavo in alto che fornisce alimentazione.

In secondo luogo, collega il cavo HDMI alla porta mini HDMI sul Pi e alla porta HDMI sullo schermo (se hai scelto di utilizzare il display Vufine come schermo, usa il cavo a nastro HDMI).

Configurazione del software di Pi:

Questo processo è documentato ovunque, ma la guida ufficiale è qui. È importante notare diverse cose: utilizzerai la scheda micro SD che hai acquistato (quella che ho scelto ha un adattatore in modo da poterla flashare con un normale computer), installerai Raspbian e dovresti abilitare la fotocamera nel menu di configurazione di Raspberry Pi. Inoltre, NON seguire il tutorial nell'esecuzione di "startx". Se lo hai fatto, niente di grave, ma ora avrai bisogno di un mouse. Vai alla riga di comando (dovrebbe apparire come una finestra nera nella barra delle applicazioni) e usala (il "pi@raspberry ~ $" dovrebbe apparire all'interno di quella finestra). Ora spegneremo il Raspberry Pi eseguendo:

sudo shutdown -h ora

Passaggio 2: installazione della fotocamera

Connessioni fisiche:

Innanzitutto, lascia che ti spieghi come funzionano le connessioni del cavo a nastro. Per collegare e scollegare i cavi a nastro, bisogna prima sollevare le linguette sul lato (per il Pi Zero, questa è una direzione verso l'esterno), che consentirà al connettore di piegarsi dentro e fuori in una certa misura, permettendo così al cavo a nastro di venire dentro e fuori. Per fissare il cavo a nastro in posizione (e quindi completare il processo di connessione), è necessario premere il pezzo pieghevole del connettore contro il cavo e reinserire le linguette. Il cavo dovrebbe ora essere fissato all'interno del connettore. Per vedere un video ufficiale su come farlo, clicca qui.

È importante notare che il cavo bianco fornito con la fotocamera non si adatta al Pi Zero; assicurati di sostituirlo con uno dei cavi a nastro dorati. Inoltre, assicurati che il lato esposto del cavo sia rivolto verso il basso, nel Pi e nelle schede della fotocamera.

Software:

La configurazione della fotocamera è relativamente semplice dal punto di vista software. Per eseguire lo streaming video direttamente dalla fotocamera all'HDMI, eseguire semplicemente la seguente riga nel terminale:

raspivid -t 0 -rot 0

La fotocamera dovrebbe ora essere in streaming sullo schermo. Ora, interrompi lo streaming premendo ctrl+c. Ora eseguiremo lo stesso comando, ma se hai acquistato un modulo Vufine standard (configurato per l'occhio destro) cambia lo 0 dopo "-rot" in 90. Allo stesso modo, se hai acquistato un display Vufine configurato per l'occhio sinistro, cambia il 0 dopo "-rot" a 270.

Ora, se tieni la fotocamera contro il display Vufine in un modo simile a come è mostrato nella fotografia, dovresti vedere un'immagine verticale (sullo schermo, non necessariamente in Vufine). Se la tua immagine è capovolta, prova l'altro numero (270 se hai fatto 90 prima e 90 se hai fatto 270 prima; devi comunque premere ctrl+c per uscire dallo stream).

Una volta che il flusso della videocamera è orientato correttamente (tramite software), vorremmo assicurarci che si avvii ogni volta che si accende il Raspberry Pi. Il primo passo è eseguire:

sudo nano /etc/rc.local

Ora digita un comando simile a quello che hai eseguito in precedenza ("/usr/bin/raspivid -t 0 -rot 90/270") nelle righe tra "fi" e "exit 0" (tienilo su una riga come visto nell'immagine). Se desideri un'immagine a risoluzione inferiore con un frame rate più elevato, usa invece "/usr/bin/raspivid -t 0 -rot 90/270 -md 6". Dopo averlo digitato, dovresti salvarlo premendo ctrl+x, inserendo y (sì, vuoi salvarlo), quindi premendo invio per salvarlo con lo stesso nome. Ora dovresti essere di nuovo alla riga di comando ("pi@raspberry ~ $"). Infine, puoi verificare che tutto funzioni riavviando il Raspberry Pi con:

sudo reboot

Se tutto funziona, dovresti vedere lo streaming video della videocamera sull'uscita HDMI alla fine del processo di avvio.

Appunti:

• Dopo che tutto quanto sopra è stato completato, potresti prendere in considerazione l'applicazione di una piccola quantità di colla a caldo al cavo a nastro/connettore sia sulla fotocamera che sul Pi per assicurarti che rimanga in posizione. Questo è puramente facoltativo ed è qualcosa che in realtà non ho fatto.
• Se hai un display Vufine configurato per l'occhio destro e scegli di orientarlo in modo diverso (è più comodo se le porte USB del Pi sono in basso), il lato superiore della fotocamera sarà a sinistra quando lo indossi.
• La fotocamera nella foto è già montata. Ci arriveremo in un passaggio successivo.
• Volevo postare una foto del connettore della fotocamera sul Pi, ma non voglio togliere il Pi se non riesco a rimetterlo e ho perso tutte le mie fascette (che vedrai sono necessarie per montarlo in un passaggio successivo) e non sono sicuro di quando potrò acquistarne altri, quindi ho deciso di caricare ora e aggiornare in seguito.

Passaggio 3: ricarica del display Vufine

Il display Vufine ha una batteria propria, ma dura solo 90 minuti, e sebbene questo possa essere sufficiente per l'uso previsto di Vufine, è insufficiente per i nostri scopi. Detto questo, possiamo caricare Vufine mentre è in uso e quindi prolungare la durata della batteria. Tuttavia, i normali cavi USB sono piuttosto grandi e poiché vogliamo ridurre al minimo il peso, dovremo modificarne uno (rendendolo più piccolo e leggero nel processo); spezzeremo un cavo USB fino al minimo.

Nota: il resto di questo passaggio descrive in dettaglio come ottenere il connettore da un cavo USB. Detto questo, sono stato informato di questi connettori USB economici (in termini di costo). Usarli ti permetterebbe di saltare la parte pericolosa della rimozione del connettore dal filo. Non ho esperienza con loro, ma aggiornerò questa guida su come usarli una volta che lo farò.

Preparazione del cavo USB

Nota: questa è di gran lunga la parte più pericolosa della build. Estrema cautela dovrebbe essere esercitata intorno ai coltelli affilati

Il primo passo per "ridurre al minimo" il cavo USB è tagliarlo di circa 5 pollici (direi circa 7 per una configurazione dell'occhio destro) dall'estremità micro USB. Continua spelando il cavo fino all'estremità micro USB.

Ora, per la parte pericolosa, dovrai tagliare l'involucro di plastica usando il coltello X-Acto. Suggerisco di utilizzare un set di pinze o una morsa da tavolo per tenere la spina mentre la tagli per ridurre al minimo il rischio di tagliarti. Il modo migliore per tagliarlo è tagliare lungo le cuciture sul lato (sembrano linee) come mostrato nell'immagine. Dovresti usare una discreta quantità di forza per affondare il coltello nell'involucro. Dopo un po', un lato potrebbe essere in grado di "ruotare" verso l'esterno e, a seconda di quanto è libero, puoi scegliere di usare un paio di pinze per strappare il resto piuttosto che tagliarlo.

Finalizzazione del pezzo USB

Una volta che ti rimane solo il pezzo di metallo, dovresti rimuovere i due fili centrali (quelli non rossi e quelli neri). Puoi farlo tagliandoli o usando un saldatore per dissaldare le loro connessioni e semplicemente rimuoverli (suggerisco di dissaldare se hai abbastanza esperienza). Quindi, metti della colla a caldo sulla base dei fili (dove incontrano la presa Micro USB) per fornire un isolante e tenerlo al sicuro. Quando hai finito, l'immagine dovrebbe assomigliare all'USB nell'immagine (non l'abbiamo ancora collegata al Pi, però).

Collegandolo al Pi

Questo passaggio è piuttosto semplice. Tutto quello che devi fare è saldare il filo rosso alla porta 5v e il filo nero al pin di terra (GND) sull'RPi. Per vedere esattamente quali porte, guarda l'immagine con il rettangolo rosso sul Pi. Per vedere un video sulla saldatura di base, fare clic qui. Ti suggerisco di usare della colla a caldo su entrambi i lati del Pi (dove hai saldato) per fissare i fili e per fornire un isolante.

Passaggio 4: collegare tutto

Assicurare il Pi

A questo punto, posiziona il Pi contro il modulo Vufine con la porta della fotocamera vicino alla parte anteriore e i connettori USB (installati sul Pi) rivolti verso il basso e verso l'interno. Fissalo usando le due paia (un paio per ogni lato) di fascette. Fallo inserendo una fascetta attraverso uno dei fori nell'angolo superiore della torta, avvolgendolo attorno al Vufine (verso il basso) e inserendolo attraverso il foro nell'angolo inferiore sullo stesso lato del Pi. Quindi prendi un'altra fascetta e fissala alla prima. Stringilo in modo che il Pi sia avvicinato al Vufine. Taglia il restante corpo della fascetta per entrambe le fascette (tutto per la seconda e la parte che fuoriesce dalla seconda per la prima). Ripeti questo passaggio sull'altro lato del Pi.

Collegare roba in

Questo è forse il passaggio più semplice dell'intera build. Collega il cavo USB che hai saldato al Pi nel display Vufine.

Incollaggio a caldo del connettore

Il magnete nella Docking Station magnetica non è abbastanza forte per i nostri scopi, quindi aggiungeremo della colla a caldo per rafforzare la connessione. Attacca il modulo Vufine alla Docking Station magnetica in dotazione (non plus) con la cinghia sollevata (come mostrato nell'immagine). Assicurati che sia quasi parallelo all'attuale Vufine (sarai comunque in grado di regolare la posizione del display spostando la cinghia sugli occhiali). Applicare una discreta quantità di colla a caldo sia sulla parte superiore che su quella inferiore. Lascia che si raffreddi prima di andare avanti per assicurarti che non venga spinto in una posizione strana prima che si solidifichi.

Collegare le cose, continua

Sebbene questa parte non sia così facile come la prima parte di Plugging Stuff, non dovresti lottare troppo. Basta collegare il cavo a nastro HDMI sia a Vufine che a Pi (la lotta è più psicologica che fisica, puoi farcela. Io credo in te).

Collegamento della fotocamera

Configurazione dell'occhio sinistro:

Questa è una parte facile, ma il posizionamento della telecamera lo rende difficile da descrivere con le parole. In sostanza, collegherai la fotocamera in modo che sia lateralmente con il cavo a nastro avvolto sotto di essa. Guarda l'immagine per capire cosa intendo. Premilo contro lo schermo Vufine e fissalo in questa posizione applicando colla a caldo sia in alto che in basso. Non ne metterei nessuno sui lati poiché farlo solo sulla parte superiore e inferiore è sufficiente per fissarlo e farlo sui lati potrebbe impedire qualsiasi regolazione laterale sia del nastro che dello schermo Vufine.

Configurazione dell'occhio destro:

Non ho mai eseguito la configurazione dell'occhio destro prima (tornerò indietro e modificherò una volta che lo farò), ma essenzialmente devi assicurarti che la fotocamera sia lateralmente e in una posizione ragionevole nella parte superiore dello schermo. La parte superiore (il lato opposto al connettore) dovrebbe essere rivolta a sinistra (a sinistra quando lo indossi). Usa la colla a caldo per attaccare la fotocamera allo schermo sul modulo Vufine. Inoltre, puoi usare la colla a caldo (o le fascette) per assicurarti che il cavo a nastro in eccesso sia fissato (dagli un po' di margine per la regolazione e cerca di non piegare il nastro in quanto non è destinato a sopportare alti gradi di rotazione). Puoi anche tornare al Passaggio 2: installazione della videocamera se devi riconfigurare il flusso della videocamera a seguito di un cambiamento nel suo posizionamento fisico.

Passaggio 5: Fin

Lo accendi

Per accenderlo è sufficiente accendere il modulo Vufine premendo il pulsante grigio sul retro. Dovrebbe iniziare a lampeggiare in blu. Quindi, collega il Pi Zero utilizzando la porta USB all'estrema destra (all'esterno ed etichettata PWR IN). Dovresti vedere ora una luce rossa fissa oltre al LED blu lampeggiante sul modulo Vufine. Ciò significa che Vufine è in carica. Inoltre, lo schermo dovrebbe avviarsi e dovresti vedere il Pi passare attraverso il suo processo di avvio con il flusso della fotocamera che arriva alla fine. Una volta visualizzato lo schermo, la luce blu lampeggiante sul pulsante Vufine dovrebbe diventare fissa.

Nota: se accendi prima il Pi (seguito da Vufine), lo schermo potrebbe risultare strano. Per risolvere questo problema, spegni il Pi e poi riaccendilo.

Spegnendolo

Spegni l'RPi scollegando l'USB che gli fornisce l'alimentazione. Per spegnere Vufine, puoi lasciarlo spegnere da solo (cosa che farà dopo non aver ricevuto un segnale per un breve periodo di tempo) oppure puoi tenere premuto il pulsante grigio (con un LED blu) su Vufine fino a quando il LED blu si spegne. Preferisco lasciare che si spenga da solo, ma tu lo fai.

Ulteriori miglioramenti

Come detto in astratto, poiché il progetto è basato su un Raspberry Pi, il progetto ha un'enorme capacità di evolversi. Per cominciare, ecco alcune idee che ho avuto:

• Puoi collegarlo a una tastiera wireless per un comodo utilizzo come computer Linux heads-up. Userei una tastiera (e un mouse) come questo e lo collegherei in un processo simile a questo.

  Anche l'aggiunta di un'interfaccia basata sul movimento della mano come questa sarebbe interessante

• Aggiungi pulsanti ai lati per salvare foto e video e per ingrandire e rimpicciolire
• Aggiungi un interruttore di alimentazione nativo (dico nativo perché alcuni cavi USB hanno interruttori integrati)
• Crea una custodia stampata in 3D per tutto.
• Aggiungi un'uscita audio
• Aggiungi un allegato della batteria

  Metterlo sull'altro lato degli occhiali sarebbe un modo conveniente per aggiungere un contrappeso (il peso sugli occhiali è attualmente un po' sbilenco)

• Crea una CNN (rete neurale convoluzionale) con output TTS (text-to-speech) per una descrizione audio del proprio ambiente. Questa rete neurale potrebbe essere eseguita su un Movidius Neural Compute Stick per una maggiore potenza di calcolo.

  Possibile utilizzo utilizzo Stimolazione Vestibolare Galvanica per manovre di emergenza

Puoi vedere alcune di queste idee implementate sulla mia pagina github.

Nota:

Probabilmente aggiungerò altre foto più tardi. Se vuoi qualche immagine in particolare, fammelo sapere e farò del mio meglio. Lo stesso vale per le spiegazioni; se vuoi che approfondisca qualcosa in modo più dettagliato fammi sapere e cercherò di farlo.

Grazie

• Ho imparato molto da questa comunità; speriamo che questo aiuti gli altri come tanti qui mi hanno aiutato prima.
• Ancora una volta, questo è il mio primo istruibile e qualsiasi feedback sarebbe molto apprezzato. Se qualcuno fa qualcosa con questo, per favore fatemelo sapere; Mi piacerebbe vedere dove lo porterà la comunità.

Un ringraziamento speciale a mia nonna per tutto quello che ha fatto per me in tutta la mia vita. Non sarò mai in grado di ripagarti, ma farò del mio meglio.

Primo Premio al Concorso Raspberry Pi 2017