AI con Grove Zero e Codecraft (Scratch 3.0): 5 passaggi (con immagini)

2024 Autore: John Day | [email protected]. Ultima modifica: 2024-01-30 10:01

In questo articolo costruiremo tre progetti utilizzando le funzioni AI di Codecraft, un ambiente di programmazione grafica basato su Scratch 3.0. Codecraft è sviluppato e mantenuto da TinkerGen education ed è gratuito.

L'intelligenza artificiale e il suo sottoinsieme, l'apprendimento automatico, sono diventati parte integrante delle nostre vite negli ultimi 10 anni. I curricula scolastici in molti paesi includono l'intelligenza artificiale e l'apprendimento automatico, ma può essere difficile per un insegnante medio creare materiali didattici per insegnare questo argomento senza gli strumenti giusti. L'utilizzo di librerie di apprendimento automatico, anche quelle più intuitive, come Keras, per creare un'applicazione con cui gli studenti possono interagire, può essere un compito lungo e scoraggiante. È qui che Codecraft potrebbe essere d'aiuto: ha un ricco set di applicazioni basate sull'apprendimento automatico che l'insegnante può utilizzare per spiegare e dimostrare concetti relativi all'intelligenza artificiale. Diamo un'occhiata a loro!

Passaggio 1: panoramica delle estensioni AI

Apri l'editor online di Codecraft su

Fare clic su Modalità Stage e quindi su Aggiungi pulsante di estensione nella parte inferiore della scheda di navigazione dei blocchi.

Vedrai che sono disponibili tre estensioni AI:

- Servizi cognitivi --- modelli di apprendimento automatico per l'elaborazione di feed video e audio dal vivo

- Macchina insegnabile --- può essere utilizzata per addestrare un modello di classificazione con immagini scattate con la fotocamera

- Traduci --- utilizza l'apprendimento automatico per la traduzione

In questo articolo ci concentreremo sui servizi cognitivi e sull'utilizzo di queste funzioni per controllare l'hardware Grove Zero. La comunicazione wireless tra il computer e Grove Zero è ancora in corso e aggiornerò l'articolo non appena sarà disponibile. Per ora utilizzeremo la connessione cablata per passare i messaggi tra il modulo Grove Zero e il computer.

Passaggio 2: gioca a Space Invaders con il naso

Per la prima attività utilizzeremo solo la modalità stage senza alcun hardware. Codecraft ha moltissimi esempi per iniziare con la programmazione: uno di questi esempi è la programmazione del classico gioco di Space Invaders in modalità Codecraft Stage. Espanderemo questo esempio e aggiungeremo la possibilità di controllare il combattente in-game con il naso utilizzando i servizi cognitivi.

Fare clic sul pulsante Esempi. Esempio di Open SpaceInvaders. Abbiamo solo bisogno di cambiare la parte relativa al movimento. Per questo otterremo la posizione x del naso sul viso rilevata nel feed video live, salvalo nella variabile pos. Quindi se il valore di pos è maggiore di 50, spostiamo il nostro caccia spaziale a destra, se è inferiore a -50, allora spostiamo il nostro caccia spaziale a sinistra. Questo è. Provalo! Se ritieni che la velocità di movimento del combattente sia troppo elevata, puoi modificare il cambio x di … blocco in un numero più piccolo.

Successivamente espanderemo questa funzionalità per controllare l'auto Grove Zero e farla muovere avanti/indietro/sinistra/destra.

Passaggio 3: controlla l'auto Grove Zero con Codecraft AI

Iniziamo scrivendo il codice in modalità stage: questa è la parte responsabile dell'analisi del feed video e dell'output dei comandi a Grove Zero.

1) Eseguiamo il codice nella prima schermata fino a quando non viene premuto il pulsante spazio. Dopo di che inviamo il comando di arresto.

2) All'interno di ripeti fino al blocco controlliamo x-pos e y-pos del naso di una faccia rilevata e li salviamo nelle variabili corrispondenti.

3) Se il valore assoluto di x-pos è inferiore a 21 (il che significa che è compreso tra -20 e 20, quindi vicino al centro dell'immagine), allora andiamo a controllare y-pos per determinare se l'auto deve andare avanti o indietro

4) Altrimenti controlliamo se l'auto deve andare a sinistra oa destra

Ora passiamo alla scheda Dispositivo e scriviamo il codice funzione per l'auto Grove Zero. Useremo il blocco Quando ricevo, che è responsabile della ricezione dei comandi di trasmissione interni. Da non confondere con Quando la radio riceve, utilizzato per la comunicazione Bluetooth. Consulta lo screenshot per i dettagli, il codice è abbastanza semplice.

Collega la tua auto Grove Zero assemblata al computer e premi il pulsante Connetti in Codecraft. Passa alla modalità di debug in linea, che consentirà a Grove Mainboard di ricevere comandi di trasmissione via cavo. Quindi vai in modalità stage e premi sulla bandiera. La macchina dovrebbe essere in movimento ora, prova a controllarla con il naso:)

Passaggio 4: seguire la linea con il controllo vocale

C'è una mappa nel kit per auto di Grove Zero, originariamente per giocare al minigioco Collect the Coins. Possiamo riutilizzarlo per utilizzare il riconoscimento vocale in Codecraft per dare comandi all'auto su quale strada girare all'incrocio.

La parte relativa alla modalità stage qui è meno complicata rispetto all'esempio precedente. Quello che facciamo è:

1) Dopo aver ricevuto il messaggio broadcast select_direction, riconoscere il frammento vocale e salvarlo nella variabile risultato.

2) Continua a riconoscere finché il risultato NON è sconosciuto.

3) Confronta il risultato con due stringhe: "sinistra" e "destra". Trasmetti il messaggio corrispondente all'auto Grove Zero.

Il codice in esecuzione nell'auto Grove Zero è un po' più complicato questa volta, ma essenzialmente segue questa logica:

1) All'avvio, trasmettere il messaggio di inoltro

2) Alla ricezione del messaggio di inoltro, iniziare a seguire la linea. Se la linea è persa, fermare i motori e trasmettere

scegli_direzione. Qui viene eseguito il codice in modalità Stage.

3) Se il messaggio è stato ricevuto, iniziare a girare a sinistra e poi tornare alla modalità di inseguimento della riga.

Se il messaggio è stato ricevuto correttamente, iniziare a girare a destra e poi tornare alla modalità che segue la riga.

Passaggio 5: dietro le quinte

I modelli di rete neurale utilizzati nell'applicazione di cui sopra sono tutti eseguiti localmente nel browser, il che presenta alcuni vantaggi distinti rispetto all'invio dei dati al cloud per l'elaborazione: latenza inferiore e migliore privacy. Nei servizi cognitivi viene utilizzata una serie di reti neurali: classificazione del suono per i comandi vocali, rilevamento del punto di riferimento del volto, riconoscimento dell'espressione del volto e stima dell'età.

In questo articolo abbiamo esplorato le funzionalità di base di una delle estensioni AI di Codecraft: i servizi cognitivi. Ci sono molti modi in cui puoi basarti su questi esempi per creare applicazioni ancora più divertenti ed entusiasmanti!

Se decidi di provarlo, con Grove Zero o semplicemente utilizzando la modalità Stage, condividi i commenti qui sotto. Per ulteriori informazioni sulla serie Grove Zero, Codecraft e altro hardware per produttori ed educatori STEM, visitare il nostro sito Web, TinkerGen ha creato una campagna Kickstarter per MARK (Make A Robot Kit), un kit robot per insegnare programmazione, robotica, AI!