Parte 1. Costruzione hardware del sensore bioacustico autonomo ThinkBioT: 13 passaggi

2024 Autore: John Day | [email protected]. Ultima modifica: 2024-01-30 10:02

ThinkBioT mira a fornire una struttura software e hardware, progettata come una spina dorsale tecnologica per supportare ulteriori ricerche, gestendo le minuzie delle attività di raccolta dati, pre-elaborazione, trasmissione dati e visualizzazione consentendo ai ricercatori di concentrarsi sulle rispettive attività di classificazione e raccolta metrica bioacustica.

Questo prototipo è ancora in fase di sviluppo e come tale consiglierei di attendere il completamento di tutti i tutorial della serie ThinkBioT.:) Per notizie aggiornate, tieni d'occhio ThinkBioT Github su

Passaggio 1: raccogliere i componenti

Raccogliere i componenti elencati nel file Distinta Materiali (allegato). I componenti elettronici principali sono elencati con i rispettivi nomi dei marchi e non sono intercambiabili, il resto, compresa la custodia, può essere sostituito con gli equivalenti generici.

Passaggio 2: raccogliere gli strumenti necessari

Per realizzare questo prototipo assicurati di avere almeno i seguenti strumenti;

• Trapano elettrico con sega a tazza da 24 mm e set di punte in plastica di grandi dimensioni
• Cacciavite a croce n. 1
• Taglierine laterali (o forbici affilate)
• Pinze piccole (a punta o standard)
• Occhiali di sicurezza

Nota: le pinze sono opzionali e sono necessarie solo per gli utenti che trovano difficili da maneggiare i piccoli componenti

Passaggio 3: preparare l'allegato

Indossare occhiali di sicurezza, praticare i fori per i connettori nella custodia.

Avrai bisogno di 3 fori

1. Connettore USB impermeabile per montaggio a pannello: utilizzare una sega a tazza o una punta per trapano.
2. Custodia per microfono: utilizzare una punta da trapano grande
3. Connettore passante SMA (M-M)

Se utilizzi la custodia Evolution 3525, ti consigliamo di forare il pannello piatto sul lato opposto della custodia. Tuttavia, dipende molto da come intendi montare l'unità, assicurati solo che i connettori siano sotto l'unità per proteggerla dalla pioggia diretta.

Una volta forato è possibile inserire il microfono nel supporto e collegare il cavo patch SMA e il cavo patch USB (fornito con Voltaic V44).

Passaggio 4: installa Stretch sul Raspberry Pi 3

Prima di essere montato nel prototipo il Raspberry Pi 3 deve essere configurato e avere un sistema operativo installato. Nei computer a scheda singola Raspberry Pi il sistema operativo è memorizzato su una scheda SD rimovibile.

Ho usato una Samsung Micro SD EVO+ 128GB.

Per installare Stretch sulla tua scheda SD;

1. Scarica Raspbian Stretch da Raspbian Stretch. Nota: ThinkBioT utilizza Stretch poiché i modelli Coral Edgetpu sono attualmente testati solo fino alla versione 1.13.0 di TensorFlow, che non è stata testata su Debian Buster.
2. Assicurati che la tua scheda SD sia formattata come Fat32 come da questa guida.
3. Segui uno dei tutorial di seguito (a seconda del tipo di sistema operativo) per scrivere l'immagine Stretch sulla scheda SD. Windows, Mac OS o Linux
4. Facoltativamente, a questo punto collega la porta HMDI del lampone a uno schermo.
5. Inserisci la tua scheda SD nello slot sul Raspberry Pi e collegalo all'alimentazione. Inizialmente consigliamo di utilizzare un alimentatore Raspberry ufficiale per garantire che non si verifichino avvisi di sottoalimentazione durante l'installazione del software.

Nota: ho selezionato la versione completa di Stretch) rispetto alla versione "Lite" poiché la connessione wireless iniziale è più facile da configurare con un'interfaccia grafica. Le funzionalità aggiuntive sono disabilitate dagli script ThinkBiot quando il dispositivo è in modalità campo, quindi la GUI non richiederà un sovraccarico di potenza maggiore sul campo.

Passaggio 5: connettiti alla tua rete WIFI locale tramite SSH

Per configurare il prototipo dovrai essere in grado di connetterti al Raspberry Pi per scambiare comandi e visualizzare i dati di configurazione. Inizialmente potresti trovare più semplice utilizzare l'interfaccia desktop grafica fino a quando non avrai connesso il tuo SSH. Si consiglia, dopo la configurazione iniziale, di connettersi tramite un terminale SSH direttamente alla riga di comando, come indicato alla fine del tutorial.

1. Segui il tutorial qui per connetterti al nostro Raspberry Pi
2. Si consiglia inoltre di installare Winscp se sei un utente Windows, in quanto è molto

Note: A seconda dell'affidabilità del tuo Wifi, abbiamo ritenuto necessario connetterti tramite i nostri hotspot di telefoni cellulari. L'impostazione di questo ti consentirà anche di comunicare con la tua unità nel campo in cui non è presente alcun WiFi esterno. Ma bisogna fare attenzione a non superare i limiti di dati!

Passaggio 6: installa Witty Pi 2

La spiritosa scheda Pi viene utilizzata per mantenere l'ora del sistema quando il Raspberry Pi è acceso e per accenderlo e spegnerlo durante il ciclo operativo ThinkBioT.

1. Innanzitutto apri un terminale tramite la tua connessione SSH o localmente tramite l'opzione Desktop, per informazioni su come aprire e utilizzare la sessione del terminale, fai clic qui.
2. Segui la configurazione nella spiritosa documentazione di Pi.
3. Nota: quando viene chiesto "Rimuovi il pacchetto fake-hwclock e disabilita il demone ntpd? (consigliato) [s/n]" rispondi y. Alla domanda "Vuoi installare Qt 5 per la GUI in esecuzione? [s/n] " rispondi n
4. Una volta installato il firmware, rimuovere il Raspberry Pi dalla fonte di alimentazione e montare la scheda sul Raspberry Pi senza utilizzare ancora le viti.
5. Ricollega il Raspberry Pi all'alimentazione e, utilizzando le istruzioni nella documentazione di Wittty Pi, sincronizza l'ora e spegni il Raspberry Pi. Per spegnere e avviare puoi semplicemente premere il pulsante Pi spiritoso da ora.

Passaggio 7: montare i componenti del sistema nella custodia di supporto interna

Ho usato una custodia in acrilico Raspberry Pi economica per montare i nostri componenti principali del sistema, sei libero di cambiare l'ordine e lo stile di montaggio. Ho usato montanti di montaggio da 2,5 M tra ogni strato per consentire il flusso d'aria e ho usato i fori interni per montare i componenti.

1. Montaggio del Raspberry Pi (e del Witty Pi collegato): utilizzando le viti e i supporti forniti con il Witty Pi, fissarlo a una delle piastre di base
2. Montaggio di Google Coral: utilizzando i 2 supporti per fascette adesive, fissare Coral alla piastra di base tramite fascette come nelle immagini sopra
3. Montaggio del RockBlock: utilizzare con cautela un perno di montaggio nel foro di montaggio della scheda del circuito e un foro nella piastra di base, quindi aggiungere un supporto per fascette per cavi adesivo sotto l'unità e una fascetta per cavi per impedire che l'unità si muova. NON stringere eccessivamente la fascetta in quanto si potrebbe danneggiare il Rockblock. Assicurati di scegliere un montante di altezza simile al Rockblock appoggiato sul supporto per fascette.
4. Si consiglia di collegare il cavo RockBlock a questo punto in quanto può essere scomodo una volta che l'unità è assemblata.
5. Tagliare con cura la lunghezza della fascetta in eccesso con le tronchesi laterali mentre si indossano gli occhiali di sicurezza.
6. Collega i singoli strati della custodia insieme ai montanti, potresti aver bisogno di una pinza a questo punto a seconda delle dimensioni delle tue mani.
7. Applicare il gancio adesivo al livello di base della custodia del componente ora completa.
8. NON collegare RockBlock e Google Coral a questo punto.

Passaggio 8: installare TensorFlow Lite

1. Apri una nuova finestra di terminale, sul desktop Raspberry Pi o tramite connessione SSH e inserisci i seguenti comandi riga per riga per assicurarti che l'installazione di Stretch sia aggiornata. La prima riga raccoglie gli aggiornamenti, la seconda riga installa gli aggiornamenti e la terza riavvia il Raspberry Pi per riavviarlo con i nuovi file.

sudo apt-get updateudo apt-get upgrade sudo reboot

2. Ora per installare TensorFlow Lite 1.13.0 inserisci i seguenti comandi riga per riga. Ciò che sta accadendo in questo frammento di codice è che i requisiti per TensorFlow Lite sono installati, quindi tutte le versioni precedenti vengono disinstallate se esistono (per evitare conflitti) e un binario precompilato di TensorFlow Lite viene scaricato dal mio repository e installato.

NOTA BENE: poiché alcuni di questi sono file piuttosto grandi, l'installazione può richiedere del tempo e richiede una connessione Internet stabile e una buona alimentazione. Ho scoperto che la mia connessione a banda larga australiana ha causato errori nel processo, quindi ho dovuto utilizzare una connessione 4G tramite il mio hotspot mobile che ha funzionato perfettamente.

sudo apt-get install -y libhdf5-dev libc-ares-dev libeigen3-devsudo pip3 install keras_applications==1.0.7 --no-deps sudo pip3 install keras_preprocessing==1.0.9 --no-deps sudo pip3 install h5py= =2.9.0 sudo apt-get install -y openmpi-bin libopenmpi-dev sudo apt-get install -y libatlas-base-dev pip3 install -U --user six wheel mock sudo pip3 uninstall tensorflow wget https://github. com/mefitzgerald/Tensorflow-bin/raw/master/tensorflow-1.13.1-cp35-cp35m-linux_armv7l.whl sudo pip3 install tensorflow-1.13.1-cp35-cp35m-linux_armv7l.whl

3. Testa la tua installazione con il seguente script di seguito, digita semplicemente python3 (nel terminale) per iniziare un prompt di python (indicato da >>>). Quindi importi TensorFlow (in modo da poter utilizzare i suoi metodi) e utilizzi il metodo di versione in base al quale restituisce il numero di versione se l'installazione è andata a buon fine, quindi usi exit() per chiudere il prompt di Python.

pitone3

>> import tensorflow >>> tensorflow._version_ 1.13.0 >>> exit()

Passaggio 9: installa il TPU di Google Coral Edge

Il corallo di Google verrà utilizzato per l'inferenza durante le attività di classificazione e dovrà essere configurato con il proprio firmware. Simile alla configurazione di Tensorflow, ciò richiede un ambiente di download stabile, quindi replica la connessione di rete dal passaggio precedente.

1. Non collegare ancora l'USB di Google Coral, aprire un terminale (localmente sul desktop raspberry Pi o tramite SSH).
2. Segui il tutorial su https://coral.withgoogle.com/docs/accelerator/get-started/#set-up-on-linux-or-raspberry-pi per installare e testare il firmware di Google Coral.

Passaggio 10: installa ThinkBioT

1. Apri una finestra di terminale localmente sul desktop Raspberry Pi o tramite SSH.

2. Immettere la seguente riga di codice per scaricare lo script di installazione ThinkBioT.

sudo wget -O installThinkBioT.sh

3. Ora inserisci il codice qui sotto per iniziare l'installazione.

sudo sh installThinkBioT.sh

4. Una volta completata l'installazione, inserisci quanto segue per riavviare in sicurezza il tuo Raspberry Pi

sudo reboot

5. Ora quando accedi al raspberry Pi dovresti avere un nuovo file nel menu principale, che è il tuo database chiamato tbt_database e 2 nuove directory, la directory ThinkBioT contenente tutti gli script ThinkBioT e la directory pyrockblock contenente la libreria rockblock.

Passaggio 11: costruzione completa

Ora siamo nella fase di completamento dell'hardware, il layout fisico effettivo del tuo dispositivo dipende dal tuo involucro, tuttavia un modo semplice per completare il progetto è di seguito;

1. Usando un gancio e un anello adesivo, copri il power bank e la base del tuo contenitore Raspberry Pi. Per assicurarmi che si allinei, ho trovato che fosse meglio adattare sia il gancio che l'anello alla superficie (in modo che uno strato adesivo sia attaccato alla batteria, ad esempio e gli strati del gancio e dell'anello premano l'uno contro l'altro con lo strato adesivo finale scoperto) quindi premere l'intero lotto sulla superficie interna della cassa.
2. Ora dovresti avere sia la custodia con raspberry pi, RockBlock e Google Coral che il power bank collegati all'interno del tuo involucro ThinkBioT. Ora taglia semplicemente hook and loop e ripeti l'azione per SoundBlaster Play 3!.
3. Metti in ordine i cavi, ho usato supporti per cavi adesivi extra in modo da poter legare ordinatamente i cavi con fascette.
4. Non collegare la batteria alla presa di corrente Pi spiritosa.
5. Attaccare con cura il cavo SMA al connettore SMA sul rockblock.
6. Collega il microfono primo al SoundBlaster Play 3!
7. Puoi anche collegare Rockblock a Raspberry Pi, ma è più facile tenerlo scollegato finché non avrai familiarità con il funzionamento del sistema.

Passaggio 12: impermeabilizzare il sensore bioacustico

A seconda di dove si intende utilizzare il dispositivo, potrebbe essere necessaria l'impermeabilizzazione.

Ho usato sugru per sigillare intorno alle porte nell'involucro e al connettore sul pannello solare come nella foto, ma potresti trovare che il silicone o il sigillante / silicone di qualità marina funzionino altrettanto bene. Ho scelto la colla siliconica modellabile perché non volevo che entrasse nelle giunture e potenzialmente causasse circuiti aperti.

Passaggio 13: utilizzare il sensore bioacustico

Ora che hai completato la creazione dell'hardware, il software e l'utilizzo sono trattati nei seguenti tutorial;

Parte 2. Modelli Tensorflow Lite Edge per ThinkBioT

www.instructables.com/id/ThinkBioT-Model-With-Google-AutoML/

Parte 3. Utilizzo di ThinkBioT

da confermare