Drone autonomo con telecamera a infrarossi per assistere i primi soccorritori: 7 passaggi

2024 Autore: John Day | [email protected]. Ultima modifica: 2024-01-30 10:02

Secondo un rapporto dell'Organizzazione mondiale della sanità, ogni anno i disastri naturali uccidono circa 90.000 persone e colpiscono quasi 160 milioni di persone in tutto il mondo. I disastri naturali includono terremoti, tsunami, eruzioni vulcaniche, frane, uragani, inondazioni, incendi, ondate di calore e siccità. Il tempo è essenziale poiché le possibilità di sopravvivenza iniziano a diminuire ogni minuto che passa. I primi soccorritori possono avere problemi a localizzare i sopravvissuti in case danneggiate e mettere a rischio la loro vita mentre li cercano. Avere un sistema in grado di localizzare le persone a distanza aumenterebbe notevolmente la velocità con cui i primi soccorritori saranno in grado di evacuare le persone dagli edifici. Dopo aver ricercato altri sistemi, ho scoperto che alcune aziende hanno creato robot basati sulla terra o hanno creato droni in grado di tracciare le persone ma funzionano solo al di fuori degli edifici. La combinazione di telecamere di profondità e una speciale telecamera a infrarossi può consentire il monitoraggio accurato dell'area interna e il rilevamento delle variazioni di temperatura che rappresentano fuoco, persone e animali. Implementando sensori con un algoritmo personalizzato su un veicolo aereo senza pilota (UAV), sarà possibile ispezionare autonomamente le case e identificare la posizione di persone e animali per salvarli il più rapidamente possibile.

Votami per il concorso di ottica!

Passaggio 1: requisiti di progettazione

Dopo aver studiato le tecnologie disponibili, ho discusso delle possibili soluzioni con esperti di visione artificiale e un primo soccorritore per trovare il metodo migliore per rilevare i sopravvissuti in aree pericolose. Le informazioni seguenti elencano le caratteristiche più importanti richieste e gli elementi di progettazione per il sistema.

• Elaborazione della visione: il sistema deve fornire una velocità di elaborazione rapida per le informazioni scambiate tra i sensori e la risposta dell'intelligenza artificiale (AI). Ad esempio, il sistema deve essere in grado di rilevare muri e ostacoli per evitarli e allo stesso tempo trovare persone in pericolo.
• Autonomo - Il sistema deve essere in grado di funzionare senza l'input di un utente o di un operatore. Il personale con un'esperienza minima con la tecnologia UAV dovrebbe essere in grado di premere uno o alcuni pulsanti affinché il sistema avvii la scansione da solo.
• Intervallo - L'intervallo è la distanza tra il sistema e tutti gli altri oggetti in prossimità. Il sistema dovrebbe essere in grado di rilevare corridoi e ingressi da almeno 5 metri di distanza. La portata minima ideale è di 0,25 m in modo che possano essere rilevati oggetti vicini. Maggiore è il raggio di rilevamento, minore è il tempo di rilevamento per i sopravvissuti.
• Precisione di navigazione e rilevamento - Il sistema dovrebbe essere in grado di trovare con precisione tutti gli ingressi e non colpire alcun oggetto, rilevando anche l'apparizione improvvisa di oggetti. Il sistema deve essere in grado di trovare la differenza tra persone e oggetti non viventi attraverso vari sensori.
• Durata dell'operazione - Il sistema dovrebbe essere in grado di durare 10 minuti o più a seconda di quante stanze ha bisogno di scansionare.
• Velocità: dovrebbe essere in grado di scansionare l'intero edificio in meno di 10 minuti.

Fase 2: Selezione dell'attrezzatura: metodo di mobilità

Il quadricottero è stato scelto rispetto a un'auto telecomandata perché, sebbene il quadricottero sia fragile, è più facile da controllare e cambiare in altezza per evitare gli ostacoli. Il quadricottero può contenere tutti i sensori e stabilizzarli in modo che siano più precisi mentre si spostano in stanze diverse. Le eliche sono realizzate in fibra di carbonio resistente al calore. I sensori si dirigono lontano dalle pareti per prevenire incidenti.

• Veicolo terrestre telecomandato

  • Pro - Può muoversi rapidamente senza cadere e non è influenzato dalla temperatura
  • Contro - Il veicolo metterebbe i sensori in basso al suolo coprendo meno area alla volta e può essere bloccato da ostacoli

• Quadricottero

  • Pro: solleva i sensori in aria per ottenere una visione a 360 gradi dell'ambiente circostante
  • Contro - Se va a sbattere contro un muro, può cadere e non riprendersi

Passaggio 3: selezione dell'attrezzatura: microcontrollori

I due principali requisiti per i microcontrollori sono le dimensioni ridotte per ridurre il carico utile sul quadricottero e la velocità per elaborare rapidamente le informazioni in ingresso. La combinazione di Rock64 e DJI Naza è la combinazione perfetta di microcontrollori poiché Rock64 ha una potenza di elaborazione sufficiente per rilevare rapidamente le persone e impedire al quadricottero di urtare muri e ostacoli. Il DJI Naza lo complimenta bene facendo tutta la stabilizzazione e il controllo del motore che il Rock64 non può fare. I microcontrollori comunicano tramite una porta seriale e consentono il controllo dell'utente se necessario. Il Raspberry Pi sarebbe stato una buona alternativa ma poiché il Rock64 aveva un processore migliore e una migliore connettività ai sensori elencati nella tabella successiva, il Pi non è stato selezionato. Intel Edison e Pixhawk non sono stati selezionati a causa della mancanza di supporto e connettività.

• Lampone Pi

  • Pro - Può rilevare muri e oggetti fissi
  • Contro: fa fatica a tenere il passo con i dati di tutti i sensori, quindi non riesce a vedere gli ingressi abbastanza rapidamente. Non può emettere segnali del motore e non ha sensori di stabilizzazione per il quadricottero

• Rock64

  • Pro - In grado di rilevare muri e ingressi con poca latenza.
  • Contro - Anche in grado di guidare il sistema in tutta la casa senza imbattersi in nulla utilizzando tutti i sensori. Impossibile inviare segnali abbastanza rapidamente per controllare la velocità del motore e non dispone di sensori stabilizzatori per il quadricottero

• Intel Edison

  • Pro - In grado di rilevare muri e ingressi con un po' di ritardo
  • Contro: tecnologia precedente, molti dei sensori avrebbero bisogno di nuove librerie che richiedono molto tempo per la creazione
• DJI Naza
  • Pro: ha giroscopio, accelerometro e magnetometro integrati, per consentire al quadricottero di essere stabile in aria con micro regolazioni della velocità del motore
  • Contro: impossibile eseguire qualsiasi tipo di elaborazione della visione

• Pixhawk

  • Pro - Compatto e compatibile con i sensori utilizzati nel progetto utilizzando il General Purpose Input Output (GPIO)
  • Contro - Impossibile eseguire alcun tipo di elaborazione della visione

Passaggio 4: selezione dell'attrezzatura: sensori

Viene utilizzata una combinazione di più sensori per ottenere tutte le informazioni necessarie per trovare persone in aree pericolose. I due principali sensori selezionati includono la telecamera a infrarossi stereo insieme a SOund Navigation And Ranging (SONAR). Dopo alcuni test, ho deciso di utilizzare la fotocamera Realsense D435 perché è piccola ed è in grado di tracciare con precisione distanze fino a 20 metri di distanza. Funziona a 90 fotogrammi al secondo, il che consente di effettuare molte misurazioni prima di prendere una decisione su dove si trovano gli oggetti e in quale direzione puntare il quadricottero. I sensori SONAR sono posizionati sulla parte superiore e inferiore del sistema per consentire al quadricottero di sapere quanto in alto o in basso può andare prima di entrare in contatto con una superficie. Ce n'è anche uno posizionato rivolto in avanti per consentire al sistema di rilevare oggetti come il vetro che il sensore della fotocamera a infrarossi stereo non è in grado di rilevare. Le persone e gli animali vengono rilevati utilizzando algoritmi di riconoscimento del movimento e degli oggetti. La termocamera FLIR sarà implementata per aiutare la termocamera a infrarossi stereo a tracciare ciò che è vivo e ciò che non lo è per aumentare l'efficienza della scansione in condizioni avverse.

• Kinect V1

  • Pro: può tracciare facilmente oggetti 3D fino a 6 metri di distanza
  • Contro - Ha solo 1 sensore a infrarossi ed è troppo pesante per il quadricottero

• Realsense D435

  • Pro - Dispone di 2 telecamere a infrarossi e una telecamera rossa, verde, blu, di profondità (RGB-D) per il rilevamento di oggetti 3D ad alta precisione fino a 25 metri di distanza. È largo 6 cm e consente un facile inserimento nel quadricottero
  • Contro - Può surriscaldarsi e potrebbe aver bisogno di una ventola di raffreddamento

• LIDAR

  • Pro: raggio in grado di tracciare posizioni fino a 40 metri di distanza nella sua linea di vista
  • Contro: il calore nell'ambiente può influire sulla precisione della misurazione

• SONAR

  • Pro - Fascio che può tracciare a 15 m di distanza ma è in grado di rilevare oggetti trasparenti come vetro e acrilico
  • Contro - Solo punti in una linea di vista ma possono essere spostati dal quadricottero per scansionare l'area

• Ultrasonico

  • Pro - Ha una portata fino a 3 m ed è molto economico
  • Contro - Solo punti in una linea di vista e possono essere molto facilmente fuori dal raggio di rilevamento della distanza

• Fotocamera FLIR

  • Pro: in grado di scattare immagini di profondità attraverso il fumo senza interferenze e in grado di rilevare le persone viventi attraverso le firme di calore
  • Contro - Se qualcosa interferisce con i sensori, i calcoli della distanza possono essere calcolati in modo errato

• Sensore PIR

  • Pro - In grado di rilevare il cambiamento di temperatura
  • Contro - Impossibile individuare dove si trova la differenza di temperatura

Passaggio 5: selezione dell'attrezzatura: software

Ho utilizzato l'SDK Realsense insieme al Robot Operating System (ROS) per creare un'integrazione perfetta tra tutti i sensori con il microcontrollore. L'SDK ha fornito un flusso costante di dati della nuvola di punti, ideale per tracciare tutti gli oggetti e i confini del quadricottero. ROS mi ha aiutato a inviare tutti i dati dei sensori al programma che ho creato che implementa l'intelligenza artificiale. L'intelligenza artificiale consiste in algoritmi di rilevamento di oggetti e algoritmi di rilevamento del movimento che consentono al quadricottero di trovare il movimento nel suo ambiente. Il controller utilizza la modulazione di larghezza di impulso (PWM) per controllare la posizione del quadricottero.

• Freenect

  • Pro: ha un livello di accesso inferiore per controllare tutto
  • Contro - Supporta solo Kinect V1

• Realsense SDK

  • Pro - Può creare facilmente i dati della nuvola di punti dal flusso di informazioni dalla fotocamera Realsense
  • Contro - Supporta solo la fotocamera Realsense D435

• Driver FLIR Linux

  • Pro - Può recuperare il flusso di dati dalla fotocamera FLIR
  • Contro: la documentazione è molto limitata

• Sistema Operativo Robot (ROS)

  • Pro - Sistema operativo ideale per programmare le funzioni della fotocamera
  • Contro - Deve essere installato su una scheda SD veloce per una raccolta dati efficiente

Passaggio 6: sviluppo del sistema

Gli "occhi" del dispositivo sono il sensore a infrarossi stereo Realsense D435, un sensore standard utilizzato principalmente per applicazioni robotiche come la mappatura 3D (Figura 1). Quando questo sensore è installato sul quadricottero, la telecamera a infrarossi può guidare e consentire al quadricottero di muoversi autonomamente. I dati generati dalla telecamera sono chiamati nuvola di punti che consiste in una serie di punti in uno spazio che hanno informazioni sulla posizione di un determinato oggetto nella visione della telecamera. Questa nuvola di punti può essere convertita in una mappa di profondità che mostra i colori come diverse profondità (Figura 2). Il rosso è più lontano, mentre il blu è più vicino a metri.

Per garantire che questo sistema sia senza soluzione di continuità, è stato utilizzato un sistema operativo open source chiamato ROS, che viene tipicamente utilizzato sui robot. Consente di eseguire il controllo del dispositivo a basso livello e di accedere a tutti i sensori e compilare dati che possono essere utilizzati da altri programmi. ROS comunicherà con l'SDK Realsense che consente di accendere e spegnere diverse telecamere per monitorare la distanza degli oggetti dal sistema. Il collegamento tra i due mi consente di accedere al flusso di dati dalla fotocamera che crea una nuvola di punti. Le informazioni sulla nuvola di punti possono determinare dove si trovano i confini e gli oggetti entro 30 metri e una precisione di 2 cm. Gli altri sensori come i sensori SONAR e i sensori incorporati nel controller DJI Naza consentono un posizionamento più accurato del quadricottero. Il mio software utilizza algoritmi di intelligenza artificiale per accedere alla nuvola di punti e, attraverso la localizzazione, creare una mappa dell'intero spazio che circonda il dispositivo. Una volta che il sistema viene avviato e inizia la scansione, viaggerà attraverso i corridoi e troverà ingressi ad altre stanze dove potrà quindi eseguire una perlustrazione della stanza alla ricerca specifica di persone. Il sistema ripete questo processo fino a quando tutte le stanze non sono state scansionate. Attualmente, il quadricottero può volare per circa 10 minuti, il che è sufficiente per eseguire una scansione completa, ma può essere migliorato con diverse disposizioni della batteria. I primi soccorritori riceveranno notifiche quando le persone vengono individuate in modo che possano concentrare i loro sforzi su edifici selezionati.

Passaggio 7: discussione e conclusione

Dopo molte prove, avevo creato un prototipo funzionante che soddisfaceva i requisiti elencati nella Tabella 1. Utilizzando la telecamera a infrarossi stereo Realsense D435 con Realsense SDK, è stata creata una mappa di profondità ad alta risoluzione della parte anteriore del quadricottero. All'inizio ho avuto alcuni problemi con la telecamera a infrarossi che non era in grado di rilevare determinati oggetti come il vetro. Aggiungendo un sensore SONAR, sono stato in grado di superare questo problema. La combinazione di Rock64 e DJI Naza ha avuto successo in quanto il sistema è stato in grado di stabilizzare il quadricottero pur essendo in grado di rilevare oggetti e pareti attraverso algoritmi di visione artificiale creati su misura utilizzando OpenCV. Sebbene il sistema attuale sia funzionale e soddisfi i requisiti, potrebbe beneficiare di alcuni prototipi futuri.

Questo sistema potrebbe essere migliorato utilizzando telecamere di qualità superiore per essere in grado di rilevare più accuratamente le persone. Alcune delle termocamere FLIR più costose hanno la capacità di rilevare le tracce di calore che possono consentire un rilevamento più accurato. Il sistema potrebbe anche essere in grado di funzionare in ambienti diversi come stanze polverose e piene di fumo. Con la nuova tecnologia e la protezione antincendio, questo sistema potrebbe essere inviato nelle case che stanno bruciando e rilevare rapidamente dove si trovano le persone in modo che i primi soccorritori possano recuperare i sopravvissuti dal pericolo.

Grazie per aver letto! Non dimenticare di votarmi al concorso di ottica!