Leggio multimodale: 9 passaggi (con immagini)

2024 Autore: John Day | [email protected]. Ultima modifica: 2024-01-30 10:05

Il Multimodal Music Stand (MMMS) è un nuovo modo per controllare la sintesi audio e gli effetti mentre si suona uno strumento tradizionale (sax, flauto, violino, lo chiami) e offre alcune possibilità extra per tecniche estese che possono essere utilizzate mentre si suona ! C'è già una pagina web sul nostro progetto di gruppo all'UC Santa Barbara in cui abbiamo sviluppato l'MMMS, quindi invece di ripeterlo qui, posterò il link - dai un'occhiata!Sito web del leggio multimodale Una breve clip dell'MMMS in azione è qui, ma ci sono video migliori sul sito sopra… Multimodale si riferisce alla capacità di rilevare l'input in più di una modalità (input audio, input video e input basato su sensori). L'ingresso audio e video è piuttosto semplice, coinvolge un normale microfono e una webcam collegata al computer, ma l'ingresso del sensore è un po' più complesso, quindi questo istruibile… Usiamo l'interfaccia USB CREATE, un semplice circuito che ho sviluppato per una classe Insegno alla UCSB, insieme al kit ThereminVision II per E-field (noto anche come rilevamento capacitivo) come mostrato qui:CREATE USB InterfaceKit ThereminVisionIISe non sai cos'è un Theremin, fatti un favore e cerca su Youtube, hai vinto non essere deluso! L'MMMS è sostanzialmente equivalente a 2 Theremin, poiché ha 4 antenne di rilevamento del campo E, oltre ovviamente all'ingresso audio/video. Se sei interessato ad estendere le tue tecniche di esecuzione con il tuo strumento interagendo con un computer, ma non vuoi usare semplici pedali, costruisci un leggio multimodale e inizia a esercitarti con esso!

Passaggio 1: Informazioni sull'interfaccia USB CREATE

L'interfaccia USB CREATE (CUI) è un semplice circuito programmabile basato su PIC che può essere costruito interamente fai-da-te, oppure puoi ottenerne uno pre-costruito direttamente da me per $ 50 (+ 5 per la spedizione) e non ti servirà per acquistare un programmatore PIC da quando ho installato il bootloader per te… consulta il sito Web per i dettagli, o semplicemente inviami un'e-mail per richiederne uno: Sito web CREATE USB Interface La CUI può funzionare in tanti modi diversi e ormai è stata utilizzata in centinaia di progetti interessanti in tutto il mondo… alcuni esempi degli studenti dell'UC Santa Barbara sono in questo documento della conferenza (PDF). La CUI può essere riprogrammata tramite il cavo USB utilizzando il bootloader, motivo per cui è così facilmente adattabile: basta cambiare il firmware ed è qualcos'altro. Ad esempio, è facile trasformare la CUI in un'interfaccia del sensore wireless utilizzando uno dei i moduli Bluetooth di spark fun - se qualcuno è interessato a farlo, pubblica una nota nei commenti richiedendo un altro istruibile. La CUI ha 13 canali di ingressi analogici a 10 bit e 16 pin di ingresso/uscita per uso generico. Il firmware predefinito fornito con le schede CUI v1.0 li invia tutti come input al computer host e funziona bene con ambienti di creazione artistica interattiva come Max/MSP/Jitter, Pd/Gem, SuperCollider, Chuck, ecc. una delle schede CUI v1.0 per costruire il leggio multimodale in questa istruzione. Usiamo Max/MSP/Jitter come ambiente, ma sentitevi liberi di adattarlo a Pd o al vostro software preferito. Sono un grande fan dell'open source (la stessa CUI è open source) e aiuta moltissimo se stiamo tutti uno sulle spalle dell'altro e miglioriamo le cose che stiamo facendo!

Passaggio 2: Informazioni sul kit ThereminVision II

Il ThereminVision II è disponibile sia come kit ($ 50) che pre-costruito ($ 80) dal sito del fornitore, RobotLand, ed è anche open source: il manuale di ThereminVision II (PDF) include gli schemi circuitali. Per l'MMMS, ho comprato il kit e poi ho deciso di andare con quello pre-costruito questa volta (questo è il secondo MMMS che ho costruito). Per inciso, nel caso ti stia chiedendo perché non offro un kit dell'interfaccia CREATE USB, è perché il bootloader CUI deve essere programmato con un programmatore PIC convenzionale prima che il nuovo firmware possa essere inviato tramite USB - altrimenti offrirei sicuramente un kit, anche se implicherebbe la saldatura a montaggio superficiale … Quindi torniamo a il ThereminVision II - se lo hai acquistato nel fattore di forma del kit, segui le (ottime!) istruzioni nel pdf: Manuale di ThereminVision II Ci sono molti bei schemi del cablaggio che dovrai fare - l'unica cosa che non mostra sono le connessioni all'interfaccia USB CREATE, quindi posterò le foto che ho scattato nei prossimi passaggi… oh, e ho preso le antenne per ThereminVision (non incluse) da All Electronics.

Passaggio 3: preparazione del leggio

Crea il tuo leggio musicale multimodale con un bel leggio come il "supporto per direttore d'orchestra" mostrato qui o usa quello che hai a portata di mano - meglio ancora, crea il tuo!

Indipendentemente dal supporto utilizzato, saranno necessari supporti isolati per le quattro antenne agli angoli del supporto. Inizia praticando dei fori negli angoli: l'hardware di montaggio che avevo in giro ha funzionato con una punta da trapano da 1/4 , la tua sarà probabilmente diversa. Cerca di mantenere la parte anteriore della superficie il più a filo possibile per evitare interferenze con gli spartiti.

Passaggio 4: collegamento dei moduli sensore ThereminVision

Anche il collegamento dei moduli "sensore" ThereminVision (555 circuiti timer) al modulo "processore" ThereminVision è discusso più dettagliatamente nel manuale di ThereminVision II, ma ecco alcune immagini del processo…

Passaggio 5: collegamento del ThereminVision all'interfaccia USB CREATE

Come abbiamo visto nell'ultimo passaggio, ci sono 4 fili che collegano ciascuno dei moduli sensore al modulo processore ThereminVision. Ci sono anche 6 fili che collegano il modulo del processore ThereminVision all'interfaccia USB CREATE: sono Alimentazione, Massa, Uscita sensore, Selezione sensore A, Selezione sensore B e Arresto sensore.

Poiché il ThereminVision II riceverà l'alimentazione dall'interfaccia USB CREATE (che a sua volta riceve l'alimentazione dall'USB), ho deciso di collegare l'alimentazione per ciascuno dei moduli sensore ThereminVision direttamente all'interfaccia USB CREATE - questo lo rende un po' meno di un nido d'uccello sul cablaggio poiché ci sono già molti fili che vanno sulla scheda del processore TherminVision. Connetti "+" di ThereminVision a "5V" di CUI Connetti "-" di ThereminVision a "GND" di CUI Connetti "4" (l'uscita di divisione per 4) su ThereminVision a "D7" di CUI Connect "SEL B" su ThereminVision a "D5" su CUI collegare "SEL A" su ThereminVision a "D4" su CUI Collegare "S" su ThereminVision a "D6" su CUI

Passaggio 6: montaggio di tutto sul supporto

Quindi l'elettronica è fatta, ora basta montarla sul supporto - ci sono molti metodi per farlo, e potresti voler mettere la tua elettronica in una scatola protettiva, ecc…

Ecco alcune foto di alcuni dei metodi di montaggio più semplici.

Passaggio 7: Bootload del firmware per ThereminVision nella CUI

Il ThereminVision invia segnali di temporizzazione per i suoi sensori invece di uscite analogiche (o qualsiasi protocollo digitale standard come I2C o SPI). Quindi era necessario un firmware personalizzato per misurare la temporizzazione di questi segnali… La prima versione del firmware Multimodal Music Stand è nel file zip qui sotto, sono inclusi sia il codice sorgente che il file esadecimale compilato (insieme a una patch di prova per Max/ MSP/Jitter): CUI-Firmware ThereminVision La schermata seguente mostra il programma OS X Boot Down di Craig Schimmel, un'utilità di bootloading Macintosh per CUI. Se sei su Windows, la cosa più semplice è usare lo strumento di Microchip, PDFSUSB.exe che è scaricabile dal loro sito web, o incluso in questo codice di esempio per l'interfaccia USB CREATE. Per mettere la CUI in "modalità bootloader", tieni premuto il pulsante del programma e premere il pulsante di ripristino (o semplicemente collegare il cavo USB tenendo premuto il pulsante del programma). Il LED di stato della CUI lampeggerà continuamente indicando che è in modalità bootloader. Ora puoi utilizzare Boot Down per inviare il file CUIEfieldBootDown.hex all'interfaccia USB CREATE. CUI anche qui.

Passaggio 8: test del leggio multimodale in Max/MSP/Jitter

Apri la patch di esempio in Max/MSP/Jitter (una demo di 30 giorni è scaricabile da www.cycling74.com ed è disponibile anche una versione "runtime" che non consente il salvataggio delle patch), oppure segui le convenzioni nella patch Max e crea la tua patch in PureData (Pd) … Jitter viene utilizzato per visualizzare la posizione 3D degli input gestuali, dove l'asse z (verso e lontano dal supporto) è mappato sull'intensità complessiva di tutte e 4 le antenne - non molto scientifico, ma funziona! I dati dai singoli sensori vengono anche inviati come OSC a 127.0.0.1 (localhost) per essere utilizzati da altre applicazioni, se necessario. Un oggetto utile in Max/MSP/Jitter per filtrare i picchi dai dati del sensore (causati da interferenze elettriche) è il "più fluido" di Tristan Jehan, che è scaricabile qui: oggetto massimo più fluido Il sito di Tristan ha anche un sacco di esterni MSP per Max che usiamo per la parte di analisi audio dell'ingresso del leggio multimodale - includono tono~, volume~, luminosità~, rumorosità~ e l'oggetto analizzatore all-in-one~. Una volta ricevuti i dati in Max, sarà necessario regolare la sensibilità dei sensori ThereminVision individualmente con un piccolo cacciavite. Fallo estendendo completamente le antenne, quindi ruotando il trimpot blu in senso antiorario finché non entra in modalità "rilevamento inverso" - quindi ruotalo indietro in senso orario finché non sei tornato nel normale raggio di rilevamento. Piccole regolazioni (regolare la sensibilità, proprio come accordare una chitarra) possono essere effettuate modificando la lunghezza delle antenne, quindi non sarà necessario portare con sé il minuscolo cacciavite per i concerti.

Passaggio 9: utilizzo del leggio multimodale in performance! (ed estendendolo)

Non dimenticare, le nuove tecniche di esecuzione che il leggio multimodale consente richiedono pratica e sviluppo di nuove mappature e idee per ciò che si desidera controllare con esso! Inoltre, se si desidera estendere il proprio MMMS per incorporare altri tipi di sensori, sarà possibile utilizzare i 13 ingressi analogici della CUI oltre ai sensori ThereminVision nelle future versioni del firmware MMMS, quindi con alcuni semplici sensori (cursori/manopole/pedali) o altri tipi di sensori (IR/ultrasuoni/etc), questi possono essere utilizzati insieme all'ingresso audio e video sul computer. Attualmente il firmware utilizza un protocollo "serial-over-USB" ma eventualmente si prevede di passare al protocollo "HID" (Human Input Device) normalmente utilizzato dall'interfaccia USB CREATE. Non esitate a contribuire allo sforzo… Esiste un progetto open source simile per il rilevamento del campo elettrico (noto anche come rilevamento capacitivo) che utilizza la stessa topologia del circuito (basato sul design ThereminVision) chiamato CapToolKit - utilizza il "fratello minore " del PIC18F4550, il PIC18F2550 che non ha tanti ingressi analogici (10 invece di 13). Il firmware per CapToolKit sarà leggermente diverso poiché non utilizzano la scheda processore ThereminVision. Usiamo una semplice videocamera firewire (stile webcam) montata sulla parte superiore del leggio per il riconoscimento ottico dei gesti fisici e il rilevamento dello sguardo - Se sono interessati alla visione artificiale o all'analisi audio e agli aspetti di sintesi della ricerca del nostro gruppo, si prega di consultare gli articoli sul sito Web di Multimodal Music Stand. E per favore pubblica le tue esperienze se costruisci un leggio multimodale… Ora ne abbiamo due alla UCSB come mostrato nella foto qui sotto - sarebbe bello avere più composizioni, esibizioni e musicisti che li usano là fuori! La dott.ssa JoAnn Kuchera-Morin ha scritto la prima composizione che coinvolge l'MMMS, che è stata eseguita dalla flautista Jill Felber alla Eastman School of Music nel marzo 2007.