Costruire TJBOT con Raspberry Pi: 5 passaggi

2024 Autore: John Day | [email protected]. Ultima modifica: 2024-01-30 10:01

introduzione

Corso IBM TJBOT: clicca qui

TJBotTJBot è un progetto open-source, pronto per la comunità da prendere e utilizzare in qualsiasi modo tu possa immaginare. TJBot è uno dei numerosi IBM Watson Maker Kit, che sono una raccolta di modelli open source fai-da-te (DIY) per connettersi ai servizi Watson in modo divertente.

TJBot è il primo maker kit della collezione ed è stato creato da Maryam Ashoori presso IBM Research come esperimento per trovare le migliori pratiche nella progettazione e realizzazione di oggetti cognitivi. TJBot prende il nome da Thomas J. Watson, il primo presidente e CEO di IBM. TJBot utilizza hardware economico e prontamente disponibile: Raspberry Pi, altoparlante, microfono, fotocamera, LED e un servomotore.

TJBot utilizza questi componenti (e altri che è possibile connettere) per comprendere l'ambiente circostante ed esprimere segnali visivi e uditivi all'utente. Al centro dell'intelligenza del TJBot ci sono i servizi IBM Watson che consentono un'ulteriore comprensione dei segnali audio e visivi utilizzando la trascrizione dell'audio catturato dal microfono, la classificazione di oggetti e colori delle immagini catturate con la fotocamera, la sintesi vocale del testo utilizzando l'altoparlante, traduzione linguistica, analisi delle emozioni e del tono e comprensione del linguaggio naturale per rispondere all'input dell'utente. I robot hanno fatto parte di film e programmi televisivi di fantascienza per molti decenni. Tuttavia, solo di recente l'intelligenza artificiale ha consentito ai robot di eseguire azioni in modo autonomo con risorse computazionali minime.

TJBot è un robot fisico, ma le funzionalità possono essere eseguite ovunque. In questo corso utilizzerai Node.js e un simulatore basato sul web. Poiché la community è diventata la custode del progetto open source, nuovi tipi di runtime ora includono Swift e Node-RED.

Passaggio 1: PARTI necessarie

1. ELETTRONICA:

• Raspberry Pi 3
• Microfono USB
• Altoparlante con jack audio da 3,5 mm.

PARTI STAMPATE 2.3D:

Puoi ottenere i file STL dal link sottostante

ibmtjbot.github.io/#gettj

Passaggio 2: preparazione del Raspberry PI

1. Acquista il tuo Raspberry pi con 4 GB di RAM (anche Rpi-3 funzionerebbe ma la risposta è molto lenta)

2. Installa il tuo sistema operativo Raspbian.

3. Installa i pacchetti

Apri un'applicazione terminale sul Pi ed esegui i seguenti comandi per installare l'ultima versione di Node.js e npm (Node Package Manager). Questi pacchetti sono necessari in seguito per eseguire il codice.

curl -sL https://ibm.biz/tjbot-bootstrap | sudo sh -

A seconda della sorgente di uscita audio che stai utilizzando con il tuo Pi (HDMI, jack audio da 3,5 mm, Bluetooth, altoparlante USB), potresti dover impostare la configurazione audio.

Jack audio HDMI/ 3,5 mmSe si utilizza un jack audio HDMI o 3,5 mm, potrebbe essere necessario impostare la configurazione audio. Per fare ciò, vai al terminale e apri raspi-config.

sudo raspi-config

Questo aprirà la schermata di configurazione di Raspberry Pi:

Seleziona "Opzioni avanzate" e premi Invio, quindi seleziona "Audio" e premi Invio. Scegli il canale corretto per l'audio in uscita. Se hai collegato un altoparlante esterno al jack audio, dovresti selezionare il jack da 3,5 mm.

Altoparlante USB Se hai un audio USB, devi aggiornare il tuo /usr/share/alsa/alsa.config per impostare l'audio USB come dispositivo predefinito.

Inizia con l'esecuzione del seguente comando per assicurarti che la tua USB sia collegata ed elencata lì.

lsusb

Il prossimo è rilevare il numero della scheda del tuo audio USB.

aplay -l

Prendi nota del numero della carta associata all'audio USB.

Quindi vai al file alsa.config per impostarlo come predefinito.

sudo nano /usr/share/alsa/alsa.conf

Cercare

predefiniti. ctl.card 0

defaults.pcm.card 0

e aggiorna il numero della carta (0 qui) con il numero della carta del tuo audio USB.

Versioni diverse del sistema operativo Raspberry Pi potrebbero richiedere una configurazione diversa. Se hai problemi con la configurazione USB, consulta questa guida per la risoluzione dei problemi.

Passaggio 3: repository Github

Il codice sorgente è disponibile su:

sudo git clone

cd TJBOT/recipes/conversationsudo npm install

Suggerimento per professionisti: se ricevi un errore per l'installazione di npm che dice che npm non è stato trovato, devi prima installare npm sul tuo computer. Questa è la riga di comando per installare npm

sudo apt-get install npm

Passaggio 4: aggiungi le tue credenziali

Aggiungi le tue Credenziali ai seguenti Servizi:

Discorso al testo

assistente Watson

Da testo a voce

$ cp config.default.js config.js$ nano config.js

Ora sei pronto per parlare con il tuo TJBot! Apri un terminale ed esegui il seguente comando:

sudo nodo conversazione.js

Passaggio 5: parla con il tuo TJBot

La conversazione Watson utilizza gli intenti per etichettare lo scopo di una frase. Ad esempio, quando chiedi a TJBot "Presentati", l'intento è quello di fare una presentazione. Puoi aggiungere i tuoi nuovi intenti nell'editor delle conversazioni, ma per ora abbiamo iniziato con alcuni intenti:

Introduzione. Puoi dire frasi come "Watson, per favore presentati", "Watson, chi sei" e "Watson, puoi presentarti"

Scherzo. Puoi chiedere "Watson, per favore dimmi una barzelletta" o "Watson, Vorrei sentire una barzelletta". Per un elenco completo, controlla il contenuto di workspace-sample.json

Viene utilizzata una parola di attenzione in modo che TJBot sappia che stai parlando con lui.

La parola di attenzione predefinita è "Watson", ma puoi cambiarla in config.js come segue. Aggiorna il file di configurazione per cambiare il nome del robot nella sezione tjConfig:

// imposta la configurazione di TJBot exports.tjConfig = {

log: { livello: 'verbose' },

robot: { nome: 'tee jay bot' }

};

Puoi cambiare il 'nome' con quello che vuoi chiamare il tuo TJBot. Inoltre, se cambi il genere in "femminile", TJBot utilizzerà una voce femminile per parlarti!

Divertiti! Non dimenticare di condividere una foto/video della tua configurazione #TJBot!:-)

Risoluzione dei problemi Se vedi la risposta di TJBot sul terminale ma non senti TJBot parlare, ci sono buone probabilità che sia successa una di queste due cose: (1) L'uscita audio è diretta a un canale sbagliato (puoi risolverlo da raspi- config), (2) i tuoi moduli sonori sono bloccati. In tal caso, vai su /etc/modprobe.d/ e rimuovi blacklist-rgb-led.conf Quindi esegui il seguente comando:

sudo update-initramfs -u

Riavvia e conferma che i moduli "snd" sono in esecuzione eseguendo il comando "lsmod". Questo dovrebbe risolvere il problema.

lsmod

Per qualsiasi domanda contatta [email protected]