Sistem De Conversaie Bazat Pe Inteligență Artificial: 6 Steps

2024 Autore: John Day | [email protected]. Ultima modifica: 2024-01-30 10:04

Autore: Stanut Nicolae-Radu

Gruppo: 333AB

Nota: 8

Passaggio 1: descrizione funzionale

n principiu sistemul va fi asemănător

Assisti inteligenți pentru casă de tipul Google Assistant și Amazon Alexa, utilizatorii pot da comenzi vocali aparatului, iar acesta va răspunde sau va face o annumită acțiune, n funcție de cerințele utilizatorului. Creierul acestui dispozitiv va fi un Raspberry pi 3, datorită faptului că dispune de Wi-Fi, acest lucru permițând conectarea la serviciul cloud Amazon, care va da „inteligență” sistemului.

Folosind serviciul de cloud și inteligență artificială de la Amazon, acest dispozitiv va avea o funcționalitate practic identică cu Amazon Alexa. De exemplu acest asistent virtual poate prezenta starea meteo, poate ine minte notițe, poate pune alarme, dar din păcate(sau fericire ?), aceste lucruri depind în totalitate de Amazon, iar comenzile dispozitivului se dau în limba engleză.

Ca și obiectiv secundar, voi încerca să integrez limba română astfel încât asistentul să poată înțelege și comenzi și de la persoane necunoscătoare de limba engleză. Alt obiectiv secundar ar fi ca asistentul să ajute la automatizarea unor procese, de exemplu aprinderea și stingerea unor lumini, oprirea unei award. Desigur, doar dacă API-ul Amazon va permite aceste lucruri.

Sursa poză:

Passaggio 2: componenti

Pentru realizarea proiectului am avut nevoie de următoarele componente:

1. Lampone PI 3 B+

   Questo mini computer è progettato per creare, regolare o verificare la modifica di Linux Debian per un processore ARM. De asemenea, acesst model dispune și de wi-fi, conexiunea la internet fiind absolut necessară pentru motoarele de text-în-vorbire și vorbire-în-text

2. Fotocamera PS Eye

   Pe post microfon ("urechea proiectului") am ales o cameră destinată consolei Play Station 3 deoarece dispune de un microfon puternic cu 4 canale, fiind mai ieftină decât o cameră web obișnuită

3. Scatolaă portatileă

   Pentru a sende informația către utilizator a fost nevoie de un difuzor, am folosit o boxă cu fir primită de la un prieten

4. 2 fuochi + LED

5. Caserolă

   Carcasa proiectului, o caserolă de sarmale:D

Passaggio 3: hardware

Dup ce am adunat componentele, am trecut la implement, schema este una foarte simplă. Box portatile se connesso alla porta USB per l'alimentazione e alla porta jack per la riproduzione, fotocamera/microfono se connesso alla porta USB prin care comunica con il computer-ul. Am mai adăugat în schemă și led-ul conectat la pin-ul 17 cu rezistorul, pentru comanda de lumină. Nimic compl.

Passaggio 4: software

Arhitectura acestui proiect presupune un "creier" care să preia comenzi de la utilizator (voce), să transforme datele într-un format accesibil lui (testo) și să le redea răspunsul sau confirmarea unei acțiuni înapoi (voce). Pentru acestea a fost nevoie de 3 servicii separa:

1. Un motore Speech-to-Text (STT), pentru a prelua datele de intrare (informațiile transmise de utilizator prin vorbire)
2. Un sistem de inteligență artificială, pentru a lua decizii și a rezolva probleme
3. Un motore Text-to-Speech (TTS), pentru a trasmettitore utilizatorului răspunsurile sau confirmările acțiunilor

Pentru STT am folosit API-ul de la Google, denumit Google Speech API, care este gratuit, oferă o calitate mare a conversiei i o rată mică de erori, dar oferă și un număr limitt de apeluri. Am ales acest API datorită faptului că această parte a sistemului este cea mai sensibilă la erori și cea mai supusă la perturbații. Datorită limitărilor hardware impuse de computer (putere de procesare, spațiu de stocare, memory), folosirea unui serviciu offline este exclusă, așa că am optat pentru un serviciu Cloud, oferind și o precizie mai mare, dar și un timp de răspuns mai bun, Google e unul dintre cele mai bune motoare STT.

Pentru feedback-ul oferit utilizatorului (TTS-ul) am ales un motor offline, deoarece acesta nu este foarte mare consumator de resurse i nici nu este la fel de sensibil precum STT-ul. Sintetizarea vocii este făcuta de Festival Speech Synthesis System, care este oferit gratuit sub o liceță de tipul MIT. Vocea este una ușor robotică, dar mult mai inteligibilă față de eSpeak, alt motor TTS offline. Avantajul său față de serviciile online este că nu are niciun fel de limitare la numărul de coverii.

Dintre STT e TTS, precum i partea "iteligentă" este platforma denumită Jasper. Per piattaformaă Open Source, disponibile su GitHub il link-ul: https://github.com/jasperproject/jasper-client. Aceasta face legătura dintre toate serviciile descrise mai sus și ia decizii în funcție de input-ul utilizatorului. Questo è compatibile con Raspberry PI, trova scritto in Python. Am ales această soluție n deleteul celor Cloud datorită modularității, platforma permite folosirea oricărui serviciu STT i TTS, dar i definea oricărei acțiuni folosind limbajul de programare Python.

Il sistema intelligente è artificiale, è un processo procedurale, è stato scelto per una variante, un sistema dannoso per l'apprendimento automatico della punta (chatbot) è stato creato per essere un personaggio nedeterminista. Natura platformei Jasper, trova bazată pe comenzi și acțiuni predefiniti, limitaază capacitatea de convorbire, dar oferă un cadru potrivit pentru un asistent digital, acesta fiind și scopul proiectului.

Passaggio 5: implementare

1. Am instalat sistemul de operare Raspbian pe cardul microSD
2. Sono connesso alla fotocamera i difuzorul la Raspberry
3. Am configurat sistemul de operare, după care am instalat toate bibliotecile și serviciile necesare, urmând toți pașii din acest ghid:
4. Am creat și instalat module adiționale pentru a extinde funcționalitatea sistemului

Passaggio 6: utilizzo

Din Lipsa unui monitor am configurat dispozitivul să se conecteze la o rețea wireless predefinită, controlul dispozitivului realizându-se prin SSH. Jasper permite două tipuri de interacțiune:

1. Prin terminal(testo) - la regola comenzii jasper_cli
2. Prin voce - la rularea comenzii jasper

Din simplitate voi începe demonstrarea funcționalității prin intermediul terminalului. La rularea comenzii jasper_cli va fi afișat un mesaj de întâmpinare, iar Jasper este gata să primească comenzi. Printre comenzile cunoscute se numără:

• DEFINE + cuvânt - întoarce definiția din dicționar a cuvântului rispettiv
• CHI, COSA, QUANTO, QUANTI, QUANTI ANNI + cuvânt - folosește API-ul wolframalpha pentru a răspunde la întrebări generale
• WIKI - folosește API-ul de la wikipedia pentru a oferi informații despre diferite noțiuni
• SCHERZO - spune o glumă
• LUMOS/NOX - aprinde/stinge LED-ul atașat
• CURIOSITÀ
• FILM - informații despre filme (imdb)
• NOTIZIE - citește știri

În modul voce, deschis la introducere comenzii "jasper" în linia de comandă, dispozitivul se pune în modul de așteptare, acesta fiind trezit la auzirea unui cuvânt-cheie. În cazul de față cuvâtul cheie este "Jasper". Dup ce dispozitivul a auzit cuvântul cheie, acesta intră în modul de ascultare, putând să primească comenzi esatta ca și în modul text. Dup executarea comenzii, dispozitivul intră din nou în așteptare până la o nouă trezire a sa.