Utilizzo della fotogrammetria per creare modelli: 9 passaggi

2024 Autore: John Day | [email protected]. Ultima modifica: 2024-01-30 10:01

Chi sono?

Sono Samuel Conklin e sono al secondo anno di E. L. Liceo Meyers. Ho sperimentato la fotogrammetria negli ultimi due mesi e spero di aiutarti se scegli di ricreare questo prodotto. Sono interessato a vedere come altre persone possono utilizzare questa tecnologia nuova e in continua evoluzione.

Che cos'è la realtà virtuale e SteamVR?

La Realtà Virtuale è una nuova forma di espressione artistica ed esperienza. È ancora una nuova frontiera della tecnologia poiché innumerevoli aziende e persone lavorano per migliorare il mezzo. Ti stai rendendo un grande disservizio se non hai mai provato la realtà virtuale, poiché incapsula totalmente il senso della vista e del suono di chi lo usa. Una delle principali piattaforme per la realtà virtuale è SteamVR di Valve. SteamVR consente agli utenti di condividere liberamente ambienti e impostare pezzi tra loro senza alcun costo. È per lo più open-source e consente una miriade di cuffie. Questi includono, ma non sono limitati alla serie HTC Vive, Oculus Rifts, Oculus Quest, Valve Index, Windows Mixed Reality, ecc. SteamVR è la piattaforma che utilizziamo per creare il nostro ambiente.

Cos'è la fotogrammetria e come può essere utilizzata?

La fotogrammetria è il processo per scattare foto o video e trasformare le immagini in un modello 3D. L'esempio più famoso dell'uso di questa tecnologia è Google Earth. Google utilizza immagini satellitari e viste stradali per ricostruire paesaggi ed edifici. Guardando Google Earth, è chiaro che avevano poche immagini su cui lavorare, quindi alcuni edifici sembreranno deformi. Se utilizzata correttamente, la fotogrammetria è un modo estremamente convincente per creare modelli 3D. Questo progetto utilizza questa tecnologia per preservare i punti di riferimento storici. L'erosione e l'esposizione agli elementi significano che i punti di riferimento storici alla fine cadranno in rovina e le persone se ne dimenticheranno. Usando la fotogrammetria, siamo in grado di preservare tutto digitalmente, così le generazioni future potranno sperimentare e apprezzare queste strutture. Ciò significa anche che più persone in tutto il mondo potrebbero sperimentare altre culture senza il costo o il rischio di viaggiare.

Di quali forniture ho bisogno?

Per questo progetto ho utilizzato Reality Capture, SteamVR e Krita. Esistono programmi Autodesk, Agisoft e Zephyr che possono essere utilizzati al posto di Reality Capture se non si dispone della GPU Nvidia necessaria per eseguirlo. Photoshop o altri programmi di fotoritocco possono essere usati al posto di Krita, ma poiché è gratuito e pubblico da usare, ho scelto di usarlo per questo progetto. Avrai anche bisogno di un visore Desktop VR che possa essere collegato direttamente al tuo computer. Infine, è necessaria una fotocamera di alta qualità. Una fotocamera mobile è decente, ma ho usato una Nikon D7000 poiché Reality Capture può rilevare automaticamente l'apertura della fotocamera, il che porta a modelli di qualità superiore.

Passaggio 1: scattare foto

Questa è la parte più importante di questo progetto in quanto è necessario ottenerla corretta in un colpo solo. In caso contrario, dovrai tornare sul posto e riprendere tutto.

Per prima cosa, dovrai trovare una posizione e una struttura adatte. La struttura deve essere ampia e facilmente identificabile. Ciò significa che il software di fotogrammetria sarà in grado di rilevare le differenze tra la struttura e lo sfondo.

In genere, scattare foto in una giornata nuvolosa è il modo migliore per andare. Questo perché una giornata di sole ha la possibilità di sovraesporre alcune foto e sottoesporre altre. Potrebbe anche creare ombre indesiderate. Un modello con poche o nessuna ombra faciliterà l'illuminazione nella sezione di sviluppo del livello. Inoltre, il software ha bisogno che il bilanciamento del colore rimanga lo stesso con ogni foto, poiché utilizza i colori per calcolare le dimensioni dell'oggetto. Scattare foto in una giornata nuvolosa, però, migliorerà la qualità della struttura. Le nuvole nel cielo fungeranno da diffusore naturale per la fotocamera. Distribuirà la luce in modo più uniforme e consentirà al modello di diventare preciso durante il processo di rendering.

L'ultimo consiglio è di scattare più foto possibili. La maggior parte dei programmi sceglierà e sceglierà quali foto utilizzerà per il prodotto finale. Scattando più foto, tutto sarà più preciso e darà al programma un po' di respiro. Avevo circa 150-300 foto per ogni modello.

Passaggio 2: iniziare con il software di fotogrammetria

Ora importeremo le foto nel software. Nota che Reality Capture richiede una scheda grafica Nvidia. Non puoi superare la sezione Allinea immagini senza di essa.

Se hai una cartella con tutte le immagini che desideri utilizzare, scegli l'opzione Cartella nell'angolo in alto a sinistra. Questo ti porterà a File Manager e potrai scegliere la cartella. Gli input ti permetteranno di scegliere singole foto con File Manager.

Successivamente, inizieremo il processo di costruzione del modello. Nella parte superiore dello schermo, sotto Flusso di lavoro, c'è una sezione Processo. Vogliamo premere il pulsante Start più grande. Questo inizierà ad allineare le immagini. La quarta foto mostra brevemente cosa sta succedendo durante questo processo. Riconoscerà l'occhio sinistro del cervo e confronterà la distanza con altre foto. Continuerà a confrontare foto diverse finché non avrà attraversato tutte le possibili combinazioni. Questo passaggio è completo se riesci a vedere piccoli punti che ricordano la struttura.

Passaggio 3: calcola e semplifica

Il passo successivo è calcolare il modello. Per fare ciò, facciamo clic su Calcola modello nella sezione Processo. Questo tradurrà direttamente tutto ciò che trova nelle foto in forma 3D. I risultati sono abbastanza vicini a come vogliamo che sia il modello, ma ci sono tre problemi con questa versione del modello. Innanzitutto, ci sono buchi nel modello che non sono nella struttura della vita reale. In secondo luogo, la superficie è troppo irregolare. Poiché il programma sta approssimando i suoi calcoli, renderà erroneamente irregolari alcune superfici lisce. Terzo, ci sono troppi triangoli. Ogni modello in Reality Capture è creato con piccoli triangoli. Ogni triangolo rappresenta una piccola superficie del modello. Vogliamo il minor numero possibile di triangoli per ottimizzare il modello. Se ci sono troppi triangoli, può causare alcuni problemi di prestazioni.

Questi problemi possono essere risolti con lo strumento Semplifica. Tutti i modelli avranno 3, 000, 000 triangoli dopo la fase di calcolo del modello e possiamo scegliere di aumentare o diminuire tale numero. Per tutti i modelli come quelli trovati in questo progetto, ho abbassato il conteggio dei triangoli a 1.000.000. Il risultato si trova nella seconda immagine, dove tutte le superfici irregolari sono più lisce e ci sono meno buchi. Inoltre, con meno triangoli da renderizzare, le prestazioni saranno migliori quando entreremo in VR.

Passaggio 4: colore e consistenza

Ora il modello avrà bisogno di colore e consistenza per renderlo ancora più reale. Queste due parti sono simili in ciò che ottengono ma sono diverse nel modo in cui funzionano. Usando Colore, che si trova nella sezione Processo, il programma colorerà il modello. Lo strumento scatterà le immagini utilizzate per creare il modello e avvolgerà le tue immagini attorno alle diverse superfici del tuo modello. La trama, d'altra parte, colorerà nelle parti semplificate del modello. Guardando la prima immagine, è chiaramente visibile come il programma ha avvolto le immagini attorno al modello, ma nella seconda immagine dopo il processo Texture, i lati nitidi delle immagini sono ora smussati.

Passaggio 5: esportazione e SteamVR

In Reality Capture, trasferiremo i modelli su SteamVR. Nella parte superiore dello schermo, in Esporta, seleziona Mesh, che si trova accanto alla sezione Processo. Dovresti vedere questo pop-up che ti consente di modificare le impostazioni e i parametri del modello. È meglio mantenere tutte le impostazioni predefinite, tranne per modificare il formato della trama JPEG. Il programma ora esporterà un file in formato OBJ, che è il file mesh, e un JPEG, che è il file texture per il modello. A scopo di riferimento, il JPEG dovrebbe apparire come la seconda immagine in questo passaggio.

Ora dobbiamo importare i nostri modelli in SteamVR. Innanzitutto, apri SteamVR, quindi vai a Crea/Modifica un ambiente, che si trova nella scheda Workshop. Gli strumenti del workshop SteamVR si apriranno ora. Scegli Crea componente aggiuntivo vuoto e fai clic su Strumenti di avvio.

Il browser delle risorse si aprirà ora con diversi materiali e modelli già inclusi. In alto a sinistra, c'è un'icona con il simbolo del martello. Questo è l'editor SteamVR Hammer integrato, che ti dà la possibilità di creare mappe. Le mappe sono l'ambiente in cui l'utente VR abiterà durante il gioco.

Passaggio 6: creazione della mappa SteamVR

Con l'editor Hammer aperto in SteamVR, ora possiamo creare un cubo. Vogliamo creare un cubo per iniziare a costruire l'ambiente. Il programma consente di modificare le dimensioni del cubo prima che venga fissato in posizione. In questo momento sono visibili solo le superfici esterne del cubo. Premendo CTRL+F le superfici verranno tutte invertite e trasformeranno il cubo in una stanza. Inoltre, dovrai aggiungere un oggetto chiamato info_player_start, che dirà a Hammer dove generare l'utente al caricamento del programma.

Per rendere la stanza più realistica, dobbiamo anche aggiungere trame. Possiamo aggiungere alcune immagini personalizzate tramite l'Editor dei materiali. Questa è l'icona circolare a destra del pulsante Martello nel Browser delle risorse. Selezionando l'Editor dei materiali ti porterà in una nuova finestra che ti permetterà di importare un'immagine da trasformare in una texture. Puoi utilizzare le tue immagini o ottenere immagini da siti Web di texture stock come textures.com. Fare clic sul pulsante File sotto la selezione del colore per selezionare l'immagine che si desidera utilizzare. Dopo aver selezionato l'immagine, assicurati di salvarla premendo l'icona del floppy disk in alto a sinistra nella finestra dell'editor dei materiali. Ora chiudi l'editor dei materiali e torna al browser delle risorse. Qui, cerca il file di texture che desideri utilizzare, quindi fai clic e trascinalo nell'Hammer Editor. In questa finestra puoi applicare la tua texture alle diverse facce del cubo.

Abbiamo anche bisogno di aggiungere illuminazione alla stanza. Per fare ciò, mettiamo un light_omni o un light_spot sulla nostra mappa, che si trova nella sezione Entità a sinistra della vista mappa. Un light_omni farà risplendere una luce in tutte le direzioni mentre un light_spot risplenderà in una direzione specifica. Per questo progetto ho utilizzato almeno due light_spot per ogni oggetto e un light_omni per illuminare la stanza.

Passaggio 7: aggiungere i nostri oggetti alla mappa

Ora è il momento di iniziare a spostare i nostri oggetti nella nostra mappa. Nel Browser delle risorse, a destra dell'icona dell'Editor dei materiali c'è l'Editor del modello che assomiglia a un'icona umanoide. All'apertura del Model Editor, avrai la possibilità di sfogliare o creare un nuovo VDML, che è la versione dell'Hammer Editor di un file OBJ. Seleziona l'opzione per creare un nuovo VDML e ti verrà richiesto di creare una cartella. Questa cartella memorizzerà il file VDML. Assicurati che sia nella cartella Add On e premi continua.

Questo ti porterà a una schermata con il tuo modello, che ha una trama bianca. Per aggiungere la trama per questo modello, seleziona Materiali dalla barra degli strumenti a sinistra. Questo ti porterà all'Editor dei materiali e puoi selezionare il JPEG dall'esportazione di Reality Capture. Assicurati di salvare la trama e il modello facendo clic sull'icona del floppy disk. Torna a Hammer Editor.

In Hammer, puoi trascinare e rilasciare il modello dal Browser delle risorse alla mappa. Molto probabilmente il modello sarà piccolo e dovrai ridimensionarlo. Premendo T sulla tastiera, puoi cambiare la sua posizione sulla mappa. Premendo E cambieranno le proporzioni del modello mentre R lo ruoterà.

Passaggio 8: creazione delle etichette degli oggetti

Le etichette degli oggetti visualizzate accanto a ciascun punto di riferimento forniscono contesto e cronologia per migliorare l'esperienza dell'utente. Per le mie etichette degli oggetti, ho semplicemente scattato foto delle targhe informative in ogni posizione per registrare facilmente le informazioni importanti che volevo utilizzare in seguito. Ho quindi utilizzato Krita, un programma software gratuito di fotoritocco, per creare le etichette degli oggetti includendo immagini e testo aggiuntivi.

Per il lato Miner Park e Anchor della stanza, non ci sono stati problemi nell'aggiungere etichette come trame. Aggiungili semplicemente al tuo browser delle risorse tramite l'editor dei materiali e aggiungi l'immagine a un blocco che può essere creato nell'editor martello. I problemi sono sorti quando ho creato le schede per l'altro lato della stanza. Tutto il testo e le immagini erano al contrario e non c'era un modo chiaro per invertire le trame all'interno dell'editor. Per risolvere questo problema, sono tornato in Krita e ho invertito le tavole per il cervo e l'orso e per fortuna questo ha risolto il problema.

Inoltre, ho aggiunto varie immagini di Wilkes-Barre, poiché volevo creare una stanza che avesse l'atmosfera e l'atmosfera di un museo boutique.

Passaggio 9: conclusione

In conclusione, sia la realtà virtuale che la fotogrammetria hanno il potere di migliorare enormemente innumerevoli settori, inclusi ma non limitati a sport, settore immobiliare e medicina legale. Oggi ho usato la fotogrammetria per preservare alcune parti piccole ma importanti della storia locale della mia città natale. La realtà virtuale e la fotogrammetria sono entrambe tecnologie ancora sperimentali che a volte possono metterti alla prova. Nonostante alcune carenze, la quantità di usi innovativi per entrambi i processi è entusiasmante e senza limiti. Ti ringrazio per aver letto di questo progetto e spero che questo ti abbia ispirato a provare qualcosa di nuovo con la Realtà Virtuale.

Il link per il download del progetto è disponibile qui.