Modelli 3D da filmati Freestyle Drone: 4 passaggi

2024 Autore: John Day | [email protected]. Ultima modifica: 2024-01-30 10:04

La videografia dei droni è davvero esplosa negli ultimi anni e c'è un numero enorme di piloti di talento che realizzano i video più acrobatici usando i loro quadricotteri e le cuffie in prima persona. Mio fratello Johnny FPV è uno di questi piloti, quindi volevo vedere se era possibile ricostruire gli ambienti in cui vola dai suoi filmati di freestyle.

Il filmato stabile e bloccato del punto di interesse può certamente produrre un modello 3D ad alta fedeltà, come discusso qui, ma cosa succede quando il filmato è frenetico come questo?

Passaggio 1: preelabora il tuo video

Una volta che hai alcune riprese aeree, è necessaria una pre-elaborazione. Sto usando Adobe Media Encoder, ma quasi tutti i software di editing video dovrebbero essere in grado di occuparsene.

Ho selezionato una breve clip (~11 secondi) e ho cambiato il framerate da 29,77 a 30 fps e ho salvato il nuovo video nella cartella desiderata.

Successivamente, sto usando FFMPEG per esportare ogni altro fotogramma del video come jpg. Se non hai familiarità, FFMPEG è un insieme di strumenti a riga di comando che consente l'elaborazione e la conversione di quasi QUALSIASI tipo di audio o video a cui puoi pensare. C'è un software a pagamento che ti permetterà di fare molte delle stesse cose, ma se sei disposto a lavorare un po' con la riga di comando, può essere uno strumento incredibilmente potente.

Una buona guida all'installazione di FFMPEG è disponibile qui.

Ti consigliamo di modificare la directory nella posizione del file immagine (cd), quindi utilizzare il seguente script:

ffmpeg -i (nome del file video) -vf fps = 15 exp%03d.jpg

La modifica degli fps cambierà naturalmente il numero di immagini esportate al secondo del video. Questo risale al motivo per cui ho cambiato gli fps del video da 29,97 a 30: l'acquisizione di 15 immagini al secondo ora catturerà semplicemente ogni altro fotogramma dal video. Se volessi un fotogramma su sei, lo imposteresti a 5 fps … ecc.

"exp%03d.jpg" farà sì che le immagini vengano salvate come exp000.jpg, dove le immagini sono numerate in sequenza con tre cifre- se hai un video clip più lungo e vuoi esportare più di 999 immagini, scrivendo %04d verrebbe numerato tutte le immagini a quattro cifre; potresti esportare fino a 9999.

(nota: "ffmpeg -i (nome del file video) -r (framerate) -f image2 exp%03d.jpg" funziona anche per estrarre fotogrammi dal video, ma per qualsiasi motivo, ottengo nuvole di punti migliori dalle immagini elaborate in il metodo precedente)

Passaggio 2: importa foto e crea una nuvola di punti

Una volta che hai una serie di immagini, puoi iniziare un normale flusso di lavoro di fotogrammetria. Sto usando Agisoft PhotoScanPro, ma altri programmi come Autodesk Remake avrebbero probabilmente lo stesso (se non di più) successo.

Dopo aver importato le mie foto, ho anche impostato la calibrazione della fotocamera su Fisheye, poiché questo filmato originariamente proveniva da una GoPro. Pochi minuti dopo l'elaborazione e cominciano a emergere alcune informazioni 3D! La nuvola di punti potrebbe non sembrare molto e consiste solo di poche migliaia di punti, quindi non è ancora abbastanza per calcolare una mesh. Da questo ho costruito una densa nuvola di punti e ora ho circa 200k punti con cui lavorare.

Passaggio 3: crea una mesh

Ora che abbiamo tutti questi punti su cui lavorare, è possibile calcolare una mesh. Sto usando un numero di facce relativamente alto e abilitando l'interpolazione: questo renderà la mesh un po' più "sfocata", ma alla fine ci saranno molte meno superfici mancanti e fori nella mesh. Dopo alcuni minuti di elaborazione, iniziamo ad avere un risultato simile all'architettura attorno a cui stava volando il drone!

Passaggio 4: consistenza e risultati finali

Photoscan ti consente anche di creare una trama per la tua mesh dalle immagini di input, che dà il tocco finale di dettaglio per il modello. Ho sentimenti contrastanti sui risultati di questo processo (ci sono modi migliori per produrre un modello accurato), ma nel complesso penso che sia sorprendente che qualsiasi modello possa venire fuori da un filmato così folle!

Ulteriori direzioni che potrei prendere per questo progetto potrebbero essere l'ispessimento delle superfici in modelli a tenuta stagna per la stampa 3D, oppure potrebbero diventare parte di un paesaggio VR surrealista.