Visualizzazione dei dati da Magicbit in AWS: 5 passaggi

2024 Autore: John Day | [email protected]. Ultima modifica: 2024-01-30 09:59

I dati raccolti dai sensori collegati a Magicbit verranno pubblicati su AWS IOT core tramite MQTT per essere visualizzati graficamente in tempo reale. Stiamo usando magicbit come scheda di sviluppo in questo progetto basato su ESP32. Pertanto qualsiasi scheda di sviluppo ESP32 può essere utilizzata in questo progetto.

Forniture:

Magicbit

Fase 1: Storia

Questo progetto riguarda la connessione del tuo dispositivo Magicbit al cloud AWS tramite MQTT. I dati inviati tramite MQTT vengono analizzati e visualizzati nel cloud utilizzando i servizi AWS. Quindi iniziamo

Per prima cosa dovresti andare alla Console AWS e accedere. Per scopi di apprendimento puoi utilizzare l'opzione del piano gratuito offerta da AWS. Sarà sufficiente per questo progetto.

Per renderlo più semplice dividerò il progetto in due sezioni.

Questa sarà la prima fase del nostro progetto. Al termine della prima fase i dati verranno archiviati nei bucket S3.

I servizi AWS che verranno utilizzati nella prima sezione,

• Kinesis Firehose
• Colla AWS
• AWS S3

Prima accedi al servizio AWS Kinesis.

Scegli Kinesis Data Firehose come mostrato di seguito e fai clic su Crea

Quindi verrai indirizzato al passaggio 1 della creazione di un servizio Firehose. Inserisci un nome per il flusso di consegna e scegli Direct Put o Other Sources. Fare clic su Avanti.

Nella finestra del passaggio 2 lascia tutto come predefinito e fai clic su Avanti. Dopo aver creato il servizio AWS Glue, torneremo per modificare questo passaggio.

Nel passaggio 3 scegli un bucket S3 se lo hai creato in precedenza. Altrimenti fai clic su Crea e crea un bucket. Nella sezione del prefisso S3 usa dest/ e nel prefisso di errore inserisci error/. Puoi inserire qualsiasi nome per i due precedenti. Ma per semplicità continueremo con un nome comune. Assicurati di creare una cartella denominata dest all'interno del bucket che hai scelto. Fare clic su Avanti.

Nel passaggio 4 scegli la dimensione minima del buffer e l'intervallo di buffer per il trasferimento dei dati in tempo reale. Nella sezione Autorizzazione scegli Crea o aggiorna ruolo IAM KinesisFirehoseServiceRole. Mantieni tutto predefinito. Fare clic su Avanti.

Nella sezione successiva verrà mostrata una revisione delle modifiche apportate. Fare clic su OK. Quindi avrai un Kinesis Firehose funzionante.

Se hai creato con successo il servizio Firehose, otterrai qualcosa del genere.

Passaggio 2: test di Firehose e S3 Bucket

Per verificare che la manichetta antincendio e il bucket S3 funzionino correttamente, seleziona IOT core nella console. Verrai indirizzato a una pagina come questa. Scegli Regola e crea una regola.

Che cos'è la regola AWS IOT?

Viene utilizzato per inoltrare i dati ricevuti da MQTT a un particolare servizio. In questo esempio inoltreremo a Kinesis Firehose.

Scegli un nome per la regola. Lascia la regola e l'istruzione della query così com'è. Questo ci dice che qualsiasi cosa pubblicata nell'argomento iot/topic verrà inoltrata a kinesis Firehose attraverso questa regola.

Nella sezione Imposta una o più azioni fai clic su aggiungi azione. Scegli Invia un messaggio a Amazon Kinesis Firehose Stream. Scegli configura. Quindi selezionare il nome del flusso firehose creato in precedenza. Quindi fare clic su Crea un ruolo e creare un ruolo. Ora hai creato con successo un ruolo in AWS.

Qualsiasi messaggio pubblicato verrà inoltrato tramite Kinesis Firehose ai bucket S3.

Tieni presente che Firehose invia i dati quando il suo buffer è pieno o quando viene raggiunto l'intervallo di buffer. L'intervallo minimo del buffer è di 60 sec.

Ora possiamo passare alla seconda parte del progetto. Questo sarà il nostro diagramma del flusso di dati.

Passaggio 3: configurazione di AWS Glue

Perché abbiamo bisogno di AWS Glue e AWS Athena?

I dati archiviati nei bucket S3 non possono essere utilizzati direttamente come input per AWS Quicksight. Per prima cosa dobbiamo organizzare i dati sotto forma di tabelle. Per questo usiamo i due servizi di cui sopra.

Vai a Colla AWS. Seleziona Crawler sulla barra degli strumenti laterale. Quindi seleziona Aggiungi crawler.

Nel primo passaggio inserisci un nome per il tuo crawler. Fare clic su Avanti. Nel passaggio successivo lascialo come predefinito. Nel terzo passaggio inserisci il percorso del bucket S3 scelto. Lascia la finestra successiva come predefinita. Nella quinta finestra inserisci qualsiasi ruolo IAM. Nel passaggio successivo scegli la frequenza di esecuzione del servizio.

Si consiglia di selezionare personalizzato nella casella a discesa e scegliere un tempo minimo.

Nel passaggio successivo fai clic su Aggiungi database e quindi su Avanti. Fare clic su Fine.

Ora dovremmo integrare il nostro Kinesis Firehose con AWS Glue che abbiamo creato.

Vai a AWS Kinesis firehose che abbiamo creato e fai clic su modifica.

Scorri verso il basso fino alla sezione Converti formato record e scegli Abilitato.

Scegli il formato di output come Apache Parquet. Per il resto dei dettagli, inserisci i dettagli del database Glue che hai creato. Dovrebbe essere creata una tabella nel database e il nome dovrebbe essere aggiunto in questa sezione. Fare clic su Salva.

Passaggio 4: configurazione di AWS Athena

Scegli il database e la tabella dati che hai creato. Nella sezione query dovrebbe essere aggiunto questo codice.

nome-tabella dovrebbe essere sostituito dal nome effettivo della tabella Glue che hai creato.

Fare clic su Esegui query. Se funziona, i dati archiviati nel bucket AWS S3 dovrebbero essere visualizzati come una tabella di dati.

Ora siamo pronti per visualizzare i dati che abbiamo ottenuto.

Passaggio 5: configurazione di QuickSight

Passa ad AWS Quicksight

Fare clic su Nuova analisi nell'angolo in alto a destra, quindi su Nuovo set di dati.

Scegli Atena dall'elenco. Inserisci il nome di un'origine dati nella scheda pop-up.

Selezionare il database Colla dal menu a tendina e la relativa tabella. Questo ti porterà a questa pagina.

Trascina e rilascia qualsiasi campo dall'elenco dei campi e seleziona qualsiasi tipo di visualizzazione.

Ora puoi visualizzare qualsiasi dato inviato dal tuo MagicBit utilizzando i servizi AWS!!!

Ricorda di consentire l'accesso per la visualizzazione rapida ai rispettivi bucket S3 per visualizzare i dati in essi contenuti.