PiTextReader - un lettore di documenti di facile utilizzo per ipovedenti: 8 passaggi (con immagini)

2024 Autore: John Day | [email protected]. Ultima modifica: 2024-01-30 10:03

Panoramica

Aggiornamento: breve video demo:

PiTextReader consente a persone con problemi di vista di "leggere" il testo da buste, lettere e altri oggetti. Scatta un'immagine dell'elemento, la converte in testo normale utilizzando l'OCR (riconoscimento ottico dei caratteri) e quindi pronuncia il testo utilizzando la sintesi vocale.

Il Reader è progettato per essere il più semplice possibile da usare. Nessuna necessità di Internet, nessuna interfaccia grafica, un solo pulsante. Basta posizionare l'oggetto da leggere sul supporto e premere un pulsante. Dopo alcuni istanti, il testo verrà loro riletto.

L'ho progettato per un genitore anziano con problemi alla vista come la degenerazione maculare, ma può essere utilizzato in modo più ampio per chiunque desideri che il testo stampato venga tradotto in parlato audio.

Ci sono molti lettori disponibili, la maggior parte però, costa migliaia di dollari o è per qualcuno che è esperto di tecnologia che richiede connettività Internet e l'uso di uno smartphone. Questo lettore è progettato per essere completamente autonomo senza Internet e senza interfaccia se non un grande pulsante.

Professionisti

• Un pulsante per controllare
• Nessuna connessione Internet richiesta
• Nessuna interfaccia utente grafica per navigare
• Costo totale inferiore a $ 100
• Sempre pronto a partire

Contro

• L'OCR può essere limitato a causa di caratteri, colori, dimensioni del testo, ecc.
• Il discorso suona come Stephen Hawking
• Funziona meglio per piccole sezioni di testo nero su carta bianca.

Passaggio 1: hardware

• Raspberry Pi 3 (ha bisogno della potenza!)
• 8GB + scheda microSD
• Alimentatore DC 5v 2A per Raspberry
• Fotocamera Raspberry Pi (normale o NoIR)https://www.adafruit.com/product/3099
• Cavo per fotocamera Raspberry Pi da 24"https://www.adafruit.com/product/1731
• Supporto per fotocamera o custodiahttps://www.adafruit.com/product/3253 ohttps://www.adafruit.com/product/1434
• Strumento di regolazione dell'obiettivo (per mettere a fuoco la fotocamera)https://www.adafruit.com/product/3518
• Altoparlante mono alimentato tramite USB (preferibilmente di piccole dimensioni!)
• Pulsante grande – momentaneo con LEDhttps://www.adafruit.com/product/1440
• Resistenza da 330 ohm per il LED del pulsante sopra
• Scatola di legno 8"x8"x2" da Michaels o altri grandi negozi di forniture d'arte.
• Legno di scarto per la costruzione del supporto per fotocamera:
• 8"Lx1"Wx1/2"T striscia piatta
• 5"Lx1"Wx1/4"T striscia piatta
• Tassello quadrato 6"Lx1/2"x1/2" per una guida di posizionamento
• Viti, colla, filo, saldatura ecc.

Passaggio 2: costruzione dell'hardware

Utilizzando la scatola 8"x8":

1. Praticare un foro nella parte posteriore per il cavo di alimentazione.

2. Praticare un foro nell'angolo anteriore destro per il pulsante momentaneo3. Praticare i fori per l'altoparlante. (vedi l'audio passaggio 12 di seguito)

4. Ho usato un pezzo di striscia di alluminio 2"x1/4"x13" per il supporto della fotocamera, ma funzionano anche le strisce di legno.

un. Montare la striscia di legno piatta da 8 sul retro del COPERCHIO della scatola. (assicurati che sia attaccato al COPERCHIO e non al fondo della scatola, altrimenti non potrai aprirlo!)

B. Montare la striscia di legno piatta da 5 "sopra la verticale da 8" con viti e colla. NOTA che l'altezza della fotocamera determina le dimensioni del documento e la messa a fuoco necessaria. Potresti voler andare più in alto per documenti di area più ampia.

5. Tagliare una fessura da 1"x1/16" nella parte superiore della scatola vicino alla verticale di 8" per far passare il cavo della telecamera.

NOTA: Per l'elettronica, consiglio di NON montare ancora i componenti in modo permanente, in modo da poter effettuare facilmente le regolazioni.

6. Collegare il cavo della fotocamera da 24 pollici alla fotocamera. NON CONNETTERTI A RASPBERRY ancora.

Passaggio 3: cont. hardware…

7. Montare la telecamera rivolta verso il basso dall'estremità della striscia di legno da 5 pollici. Suggerisco di aspettare prima di riporre la fotocamera nella sua custodia in modo da poter mettere a fuoco più facilmente l'obiettivo una volta in funzione!

Per la messa a fuoco iniziale, utilizzare lo strumento di regolazione e ruotare l'obiettivo in senso antiorario di 1/4! giro.

8. Far passare il cavo della fotocamera attraverso lo slot, quindi collegarlo al Pi. (Assicurati che Pi sia spento!)

9. Installare il pulsante momentaneo e collegare i fili tra esso e i pin 24 e GND Pi GPIO. E collega il LED del pulsante attraverso un resistore da 220 ohm ai pin 18 e GND di Pi GPIO.

10. Esegui l'alimentatore nella scatola e collegalo al Pi. È necessario utilizzare fissacavi come colla a caldo o simili per tappare il foro nella scatola in modo che il cavo non possa fuoriuscire.

Passaggio 4: installazione hardware audio…

11. Per l'audio, ho usato un altoparlante mono che utilizzava alimentazione USB e audio mini jack. Ho rimosso l'elettronica e l'altoparlante dalla custodia in plastica originale e ho inserito la spina audio nel jack audio Pi e il cavo USB in Pi USB. Ho anche sostituito il piccolo altoparlante originale con uno più grande da 3 per una qualità del suono molto migliore.

Dato che ho montato l'altoparlante sotto il coperchio della scatola, ho praticato più piccoli fori a forma di griglia dell'altoparlante.

12. Infine, controlla le connessioni, in particolare il cavo della fotocamera e le connessioni GPIO.

NON ACCENDERE ANCORA IL PI. Continua prima con la configurazione del software…

Non c'è un interruttore On/Off, poiché si presume che il Pi debba essere sempre in esecuzione in modo che sia pronto per leggere qualcosa immediatamente. Utilizza solo pochi watt e può funzionare 24 ore su 24, 7 giorni su 7 senza problemi.

È possibile che la scheda SD si danneggi se scollegata o in caso di interruzione dell'alimentazione, ma è raro. Non ho mai avuto una scheda SD non avviabile, ancora. Ma non collegare una presa multipla che viene spenta/accesa regolarmente.

Passaggio 5: installazione e configurazione del sistema operativo

Formatta una scheda microSD da 8 GB o più grande con Raspbian Jessie (o Stretch) Lite (nessuna GUI per questo progetto).

www.raspberrypi.org/downloads/raspbian/

Dovrai accedere al Raspberry in remoto tramite SSH. Su Windows, puoi usare il programma terminale PUTTY SSH. Su Mac, apri semplicemente una finestra del terminale di comando. In alternativa, puoi collegare temporaneamente una tastiera e un monitor HDMI solo per costruirlo, ma SSH semplifica il lavoro in un secondo momento.

Lo sapevi? Se installi Raspbian Jessie su una scheda SD utilizzando un PC Windows, puoi creare due file sulla scheda per configurare l'accesso WiFi e SSH prima di avviarlo su un Raspberry?

Per questo, supponi che la tua scheda SD sia attualmente montata come K: sul tuo PC:

1) Installa l'ultima immagine Raspbian Jessie sulla SD. Per questo progetto, Jessie Lite dovrebbe funzionare.

2) Con il blocco note, crea un file chiamato semplicemente "ssh" e usa Salva come "Tutti i file" in K:\ssh Il file può contenere qualsiasi cosa. È il nome del file che è importante. NON deve essere "ssh.txt"!!!

3) Con il blocco note, creare un file chiamato "wpa_supplicant.conf" con quanto segue:

ctrl_interface=DIR=/var/run/wpa_supplicant GROUP=netdevupdate_config=1

rete={

ssid="mySSID" psk="mypassword" key_mgmt=WPA-PSK }

Usa Salva come "Tutti i file" in K:\wpa_supplicant.confAncora una volta, non lasciare che Blocco note lo cambi in "wpa_supplicant.conf.txt"!!

Quando avvii il Raspberry per la prima volta, Jessie li cercherà e si connetterà al tuo Wifi. Dovrai cercare sul tuo router l'indirizzo IP, tuttavia, poiché viene assegnato automaticamente tramite DHCP.

Ora pronto per l'installazione sul tuo Pi:

1. Inserisci la scheda microSD nel Pi e collega l'alimentazione ora.

2. Per accedere in remoto al tuo Raspberry Pi, dovrai trovare il suo indirizzo IP. Puoi provare:

$ ssh [email protected]

Oppure da Putty, inserisci il nome host: [email protected]

Altrimenti, dovrai vedere se il tuo router mostrerà gli indirizzi IP dei tuoi dispositivi locali.

Una volta effettuato l'accesso come utente pi:

3. Aggiorna il tuo sistema operativo Raspbian:

$ sudo apt update

$ sudo apt upgrade

4. Configura il Raspberry e abilita la fotocamera:

$ sudo raspi-config

un. Cambia password utente

B. Opzioni di interfaccia -> Fotocamera -> Abilita

C. Fine

D. Riavviare

Passaggio 6: installazione del software applicativo

Ora accedi di nuovo al tuo Pi e sei pronto per installare l'applicazione PiTextReader.

1. Installa il software richiesto iniziale: $ sudo apt install git –y

2. Scarica il software:

$ cd /home/pi

$ git clone

$ cd PiTextReader

$ sh install.sh

Puoi rieseguire in sicurezza install.sh più volte, se necessario.

3. Posiziona un semplice documento da leggere ed esegui il programma di test che imposta il volume, riproduce un audio di sintesi vocale e scatta una foto.

$ sh test.sh

Se ricevi messaggi di errore, controlla la risoluzione dei problemi di seguito. Modificare il programma test.sh per regolare il volume, se necessario.

4. Il programma di test salva una foto in "test.jpg". Dovrai copiare questa immagine su un PC in modo da poter vedere la messa a fuoco e il campo visivo. Un modo rapido e sporco per farlo è avviare un piccolo server web sul tuo Pi e utilizzare un browser:

$ python -m SimpleHTTPServer 8080 &

Quindi vai a

Fare clic su test.jpg

Utilizzare lo strumento di regolazione dell'obiettivo per mettere a fuoco la fotocamera.

Rieseguire il programma test.sh tutte le volte che è necessario.

NOTA: se è necessario regolare le impostazioni della fotocamera raspistill, sarà necessario modificare anche il programma pitextreader.py con le nuove impostazioni.

FOTOCAMERA = "raspistill -cfx 128:128 --awb auto -rot 90 -t 500 -o /tmp/image.jpg"

5. $ sudo reboot

Il Pi dovrebbe accendersi e funzionare automaticamente, pronto per l'uso.

Passaggio 7: operazione

Quando avvii il Pi, sentirai un "OK pronto" e vedrai il LED del pulsante accendersi.

Ogni volta che il LED è acceso, l'unità è pronta per l'uso.

Metti del testo stampato sotto la fotocamera, preferibilmente solo poche righe di testo nero su carta bianca.

Nota che la fotocamera non ha bisogno di molta luce, in particolare il NoIR. La luce ambientale della stanza andava bene per la mia. Troppa luce provoca un'illuminazione irregolare e distorce l'OCR.

Premi il bottone.

Il LED dovrebbe accendersi e dovrebbe suonare un clic della fotocamera e il messaggio "OK funzionante".

Dopo pochi secondi, il testo dovrebbe essere letto. Se il testo è distorto, il carattere è troppo scuro o troppo chiaro, di lato o capovolto, il risultato sarà un discorso gobbo!

Possono essere necessari dai 5 ai 30 secondi per convertire e iniziare a leggere, quindi sii paziente. Più testo, più tempo ci vuole.

Se devi interrompere la lettura, puoi premere il pulsante mentre l'audio è ancora in riproduzione (il LED è spento).

Terminato il discorso, dopo un paio di secondi, il led si riaccende e si sentirà nuovamente “OK Ready”. È pronto per eseguire un'altra scansione.

Si noti che la distanza impostata dalla fotocamera per la fotocamera Raspi e solo per una parte di un documento 8x10. Ho scoperto che è meglio leggere parti di un documento alla volta poiché le pagine intere possono essere difficili da ascoltare. Molte delle cose che devono essere lette sono testo più piccolo, quindi se la fotocamera è troppo lontana, non può risolversi.

Per la risoluzione dei problemi, controlla di seguito, in particolare la sezione SCANSIONE E OCR

Se tutto va bene, montare in modo permanente tutti i componenti per completare la costruzione.

Passaggio 8: risoluzione dei problemi

1. FOTOCAMERA

Verificare che la fotocamera sia abilitata tramite

$ sudo raspi-config

Opzioni di interfaccia -> Fotocamera

Riposizionare il cavo a nastro poiché è delicato e deve essere esattamente allineato. Se necessario, google "risoluzione dei problemi della fotocamera Raspberry Pi" per cercare problemi simili. Cerca anche su Google il messaggio di errore che ricevi durante l'esecuzione del programma test.sh.

2. AUDIO

Hai il volume su?

$ sudo amixer -q sset PCM, 0 100%

Esegui test audio

$ aplay /usr/share/sounds/alsa/Front_Center.wav

Ancora niente audio? Forza l'audio fuori dal jack:

$ sudo raspi-config Opzioni avanzate -> Audio -> Forza jack cuffie

3. DISCORSO

Se l'audio sopra suona bene, prova:

$ flite -t TEST

Messaggi di errore di Google, se presenti.

Rieseguire install.sh

Sì, il discorso suona un po' come Stephen Hawking.

4. SCANSIONE E OCR

Questa è la più grande area di messa a punto necessaria. Affinché l'OCR funzioni correttamente, l'immagine della telecamera deve essere di buona qualità; il documento deve essere illuminato in modo uniforme, ma non necessariamente brillante.

Il testo deve essere piatto e chiaro. Non tutti i caratteri sono leggibili.

Per verificare la qualità, esaminare i due file:

/tmp/text.txt e /tmp/image.jpg

Puoi avviare il piccolo server web e utilizzare un browser:

$ cd /tmp $ python -m SimpleHTTPServer 8080 &

Il testo nell'immagine deve essere semplice e leggibile. L'immagine dovrebbe essere rivolta verso l'alto, con un buon contrasto, a fuoco. Potrebbe essere necessario capovolgere il documento se è capovolto. (ricorda all'utente che se sente gobbly-gook, prova a capovolgere il documento.) Se l'immagine ha un contrasto scarso, dovrai migliorare l'illuminazione, troppo o troppo poco può causare problemi. L'illuminazione non uniforme causerà anche il fallimento di parti del testo. Puoi trovare ulteriore aiuto cercando su Google "tesseract-ocr help"

5. MONITOR HDMI/TASTIERA

Sì, puoi collegare una tastiera e un monitor al Pi, esp. se non riesci a trovare l'indirizzo IP o non riesci ad accedere tramite SSH. Non esiste un'interfaccia GUI e questo potrebbe disattivare l'audio a meno che il monitor non disponga di un altoparlante.

6. INTERNET/WIFI

Se il WIFI non funziona, puoi semplicemente collegare temporaneamente un cavo Ethernet e usarlo.

Questo progetto non ha bisogno di Internet o WiFi una volta completata l'installazione e la configurazione.