Giacomo Gerotto

Motion capture TDshoot, cattura e pipeline

Da cinque anni lavoro sugli stage di motion capture per studi di videogiochi, produzioni immersive ed eventi live: preparo e gestisco i volumi Vicon, tengo alta la qualità della cattura durante i take (sync, marker, prop, dita, volto), faccio solving e retarget e costruisco i tool e le pipeline real-time intorno alla cattura. Oltre agli shoot, installo, formo e supporto i clienti su Vicon, Xsens, Manus, Captury e Faceware.

  • Vicon, Xsens, Manus, Faceware, Captury
  • MotionBuilder, Shōgun, Unreal, Unity
  • Python, C#, NDI, Lab Streaming Layer
  • Genova, disponibile a trasferimenti e trasferte
Giocatore e palla risolti in tempo reale in Vicon Shōgun. Video: GPEM

Come gestisco uno shoot

Il mio ruolo negli shoot per i clienti di GPEM, unico distributore Vicon per Italia, Malta e Balcani, 2021–2026. I clienti ci affidavano il servizio di cattura, quindi non compaio nei loro credits; i progetti sotto NDA sono anonimizzati.

  1. PreparazioneLista dei take dal cliente circa due settimane prima; stimo quanti take entrano in una giornata e quanti giorni servono e costruisco il piano e la sequenza delle sessioni con lead animator, producer e regista.
  2. Strategia di catturaConsiglio il team di animazione su come impostare ogni set di movimenti, bilanciando quello che vogliono creativamente con i limiti del sistema di cattura e della loro pipeline nel gioco o nel motore.
  3. Set e propDisposizione delle camere, calibrazione e regolazione di threshold e strobe per ogni sessione; prop e strutture costruite sui modelli 3D del cliente; scotch opaco e camere basse dove riflessi e occlusioni mettono a rischio il dato. Quando c'è da tracciare o indossare qualcosa di insolito, come una palla veloce, un piccolo oggetto in mano o un indossabile che non accetta un marker set standard, progetto la disposizione dei marker, i supporti o il rig che lo rendono risolvibile, stampando in 3D i pezzi su misura quando serve.
  4. Sul setGuido una crew di 1–2 tecnici per vestizione marker e ROM, faccio il briefing agli attori, dirigo insieme al lead animator o al regista, chiedo di rifare i take quando il dato lo richiede e risolvo ogni problema tecnico durante le riprese.
  5. Prima di chiudereTake nominati, annotati e selezionati; dato controllato prima della fine della sessione, così i problemi si risolvono in giornata invece che con un reshoot.
  6. ConsegnaDati solved grezzi o FBX pulito e retargettato, a seconda del lavoro; dopo resto il referente tecnico del cliente per i problemi di integrazione.

Produzioni selezionate

Come fornitore di servizi tramite GPEM. Il numero di camere si riferisce al volume Vicon di GPEM da 14 × 4 m, salvo dove indicato.

Performance capture, Unreal / MetaHuman

Gioco di carte — performance capture della croupier

Studio di videogiochi2026cliente sotto NDA

Due giorni di cattura di corpo e dita per una croupier, con previs live su un MetaHuman in Unreal.

Mostra dettagliNascondi dettagli
  • Mezza giornata di pre-cattura + 2 giorni di shoot, una sola performer: corpo intero e dita ad alta fedeltà (10 marker per mano)
  • 26 camere Vicon: 16 Valkyrie VK26 + 10 Vero
  • Tavolo costruito sul modello 3D del cliente (struttura grezza in legno fatta dalla crew, con sopra il panno da blackjack del cliente), così i contatti mani-tavolo coincidevano con il set del gioco
  • Ho consigliato di scalare il personaggio MetaHuman sulle proporzioni della performer partendo dalla pre-cattura e ho seguito il CG artist nel farlo
  • Retarget veloce in diretta su Unreal durante i take per la previs sul set; retarget definitivo in post
  • Ho guidato la post con un tecnico che rispondeva a me: pulizia di corpo e dita, retarget, consegna dell'FBX pulito
  • Dopo la consegna, ho diagnosticato con Maya e Blender i problemi di scala delle ossa all'import in Unreal e nel passaggio del cliente all'integrazione
Videogioco, prop grande e riflettente

MotoGP 26

Milestone, Milanogirato nel 2025uscito ad aprile 2026

Piloti su una moto vera, con disposizione e regolazione delle camere pensate intorno a un prop grande e riflettente.

Mostra dettagliNascondi dettagli
  • 2 giorni di shoot: piloti su una moto vera noleggiata, esultanze, podio, meccanici, folla, cutscene; fino a 3 attori
  • Setup per ogni sessione pensato per la moto: camere basse per recuperare i marker di gambe e bacino, scotch opaco su caschi e parti lucide della moto, threshold e strobe regolati camera per camera
  • Consegna: dati solved grezzi per la pulizia interna del cliente
VR / MR, Venice Immersive 2025

Black Cats & Chequered Flags

MIAT, Milanogirato a ottobre 2024

Tre attori, tra cui un bambino, su strutture in legno fedeli ai punti di contatto, per un'esperienza VR sul campione di F1 Alberto Ascari.

Mostra dettagliNascondi dettagli
  • Esperienza VR/MR multiplayer sul campione di F1 Alberto Ascari: in concorso ufficiale a Venice Immersive 2025, esposta al MAUTO di Torino, al Museo Ferrari di Maranello e al Silverstone Museum
  • Mezza giornata di pre-sessione con una preview veloce in Unity, poi 1 giorno di shoot con regista e direttrice artistica sul set; 3 attori, tra cui un bambino di circa 10 anni
  • Ho preso le misure dai modelli 3D delle auto del cliente e diretto la costruzione di strutture minime in legno solo nei punti di contatto: volante, sedile, ringhiera a bordo pista, più i segni a terra con lo scotch
  • ~25 camere Vicon (Vero + Vantage); pulizia e retarget su 3 personaggi, fatti da me
Videogioco, cliente ricorrente

Gioco d'azione non ancora uscito

Studio di un publisher europeo2023–2024cliente sotto NDA

Quattro giorni di shoot in 18 mesi: combattimenti, cutscene, fucili tracciati e dita su due attori insieme.

Mostra dettagliNascondi dettagli
  • 4 giorni di shoot in 18 mesi per un cliente ricorrente, con un setup coerente tra una sessione e l'altra
  • Locomotion, combattimenti, morti, interazioni e cutscene; fino a 3 attori contemporaneamente
  • Prop tracciati: fino a 2 fucili, un tavolo e una sedia
  • Cattura delle dita su 2 attori contemporaneamente (marker set a 5 e a 10 dita)
Tracking di oggetti

App di calcio — cattura del giocatore e della palla

2025cliente sotto NDA

Un ex calciatore professionista e una palla tracciata in posizione e rotazione, risolti in tempo reale.

Mostra dettagliNascondi dettagli
  • Un ex calciatore professionista, oggi allenatore: tiri, palleggi, dribbling, colpi di testa
  • Palla tracciata in posizione e rotazione: ho confrontato diversi nastri retroriflettenti, poi ho costruito la palla come oggetto Shōgun con ~30 marker piatti in sei cluster, uno per lato, così si risolve da qualsiasi orientamento
  • 150 Hz, diaframma aperto per tenere i marker luminosi, circularity threshold ed environment drift tolerance regolati
  • Pulizia fatta da un tecnico sotto la mia guida, con interventi diretti miei sui take più difficili
Crew da remoto, Venezia 2024

Weightless — Arilena Ara

Vnova (ImmersiX) e Chokolate TV2024

Uno shoot Xsens a Parigi gestito da remoto con una crew formata da me, poi la pulizia dei dati ottici con il regista.

Mostra dettagliNascondi dettagli
  • Esperienza VR cinematografica renderizzata in cloud e videoclip, presentata in anteprima all'81ª Mostra del Cinema di Venezia
  • Shoot a Parigi (gennaio 2024): ho pianificato le sessioni e formato la crew GPEM su Xsens MVN con Awinda e Manus Metagloves; hanno gestito le giornate da soli, con il mio supporto al telefono
  • Novembre 2024: pulizia fatta interamente da me in Shōgun Post di dati Vicon di corpo e dita catturati negli USA, lavorando sui video di riferimento con il regista Guido Gallo Fabris
Live, take unico

Centenario Novo Nordisk

Velvet GroupVilla Miani, Roma2023

Un talk dal vivo di 20 minuti di un avatar in tempo reale, in un unico take senza seconde possibilità.

Mostra dettagliNascondi dettagli
  • Talk dal vivo di circa 20 minuti di un avatar in tempo reale del fondatore August Krogh, interpretato da un attore in un unico take continuo
  • Ho costruito e gestito la pipeline: Xsens MVN + Manus Metagloves → retarget live in MotionBuilder → Unreal Engine per l'uscita dello show dell'agenzia
  • Macchina MotionBuilder di riserva, già attiva sullo stesso stream
  • Ho previsto il drift degli IMU sul take lungo e fatto reinquadrare escludendo la porta d'uscita, così il piccolo spostamento dell'attore alla fine non si è mai visto

R&D, performance capture e tool

Lavori in cui ho costruito o integrato il sistema di cattura stesso.

Streaming live, tempo reale, da remoto

Workshop live da remoto per IIDEA

IIDEA, associazione italiana dell'industria dei videogiochigennaio 2026

Video: GPEM

Un workshop di performance capture in diretta su Discord: due attori, cinque prop e una virtual camera su MetaHuman in Unreal.

Mostra dettagliNascondi dettagli
  • Workshop di performance capture in tempo reale tenuto su Discord; l'ho gestito io con un tecnico GPEM che rispondeva a me
  • Ho progettato il sistema di streaming: tre PC collegati direttamente via cavo e messi in rete con NDI (NDI Tools) in una multi-view OBS con la condivisione schermo di Unreal, quella di Shōgun e una webcam sul laboratorio
  • Due attori con il production template e 10 marker per mano, più prop tracciati: un bicchiere, un fucile, un tavolo, un sigaro e un accendino
  • Virtual camera tracciata da Vicon (iPad su un rig con maniglie) per i movimenti di camera live in Unreal
  • Tutto risolto e trasmesso in diretta su MetaHuman in Unreal Engine
Corpo + volto + voce, nei credits

GNVR Experience

2024bando Tech Transfer, CTE Genova

Una visita in VR con una guida AI: ho scritto la proposta, gestito la cattura di corpo e volto e sviluppato l'app in Unity.

Mostra dettagliNascondi dettagli
  • Visita in VR dell'Abbazia della Cervara con una guida AI; ho trovato il bando, scritto la proposta, guidato il progetto e sviluppato l'app in Unity
  • Performance capture della guida, interpretata dall'attore e storico dell'arte Hans Di Maria, divisa in due: corpo e dita con Vicon a Genova; volto e voce al Sud Sound Studio di Roma, dove ho gestito l'headcam Faceware Mark IV con Faceware Studio, sincronizzata all'audio con timecode Tentacle Sync
Sync, multi-sensore, nei documenti di progetto

MIMOSE

2024–2025R&D finanziata dal PNRR con Politecnico di Torino, Università di Genova e Wondertech

Un'unica piattaforma sincronizzata per Vicon, IMU, EMG e una camera RGB-D, su Lab Streaming Layer.

Mostra dettagliNascondi dettagli
  • Un'unica piattaforma sincronizzata per Vicon, IMU Movella DOT, EMG Cometa e una camera RGB-D Orbbec, su Lab Streaming Layer, con uscita live verso Unity e Unreal
  • Indicato come Responsabile Tecnico e di Qualità nei documenti del progetto finanziato; project manager operativo; in seguito ho esteso la piattaforma con il LabRecorder di LSL
IK in tempo reale, C#

Avatar a corpo intero da pochi rigid body

Laboratorio di ricerca del Politecnico di Torino2021–2022

Un plugin IK per Unity che anima un avatar VR completo da 6–11 rigid body Vicon.

Mostra dettagliNascondi dettagli
  • Plugin IK per Unity che anima un avatar completo in VR da 6–11 rigid body Vicon in tempo reale, lasciando il corpo libero per i marker clinici
  • Calibrazione del soggetto nella build e tool nell'editor per il setup dei personaggi; collaudato in sede a maggio 2022
Subacqueo, markerless

DIP Working — addestramento dei sommozzatori in VR

2021consorzio di R&D regionale guidato da BK

Cattura markerless subacquea con otto camere sigillate in una vasca profonda 5 m.

Mostra dettagliNascondi dettagli
  • Marker ottici esclusi perché l'acqua assorbe i raggi infrarossi; passati al markerless Captury con 8 camere in involucri sigillati a 5 m di profondità
  • Test di fattibilità a secco in laboratorio (Vicon e Captury a confronto in Unity) e integrazione in Unity, poi test finale in una vasca profonda 5 m; prototipo provato con sommozzatori professionisti
Installazione artistica, nei credits

Amarcord

2022–2023artista Meryl Bougo, coreografia di Eric Sourdeau

Danza catturata con 28 camere Vicon e trasformata in sculture di acciaio e stampa 3D.

Mostra dettagliNascondi dettagli
  • Danza catturata con 28 camere Vicon Vantage e trasformata in acciaio piegato a CNC e in un guscio stampato in 3D
  • Ho montato il volume e gestito le sessioni; ho trovato il modo di esportare le traiettorie via FBX che serviva all'artista e a chi ha realizzato le sculture
Genlock, timecode, camera tracking

Know-how su sync e camera tracking

2023–2024know-how interno di GPEMdemo e supporto clienti

Ho costruito la catena di genlock, timecode e camera tracking di GPEM, insieme ai tecnici Vicon.

Mostra dettagliNascondi dettagli
  • Incaricato di creare il know-how interno di GPEM: ho studiato il setup, procurato l'hardware (cavi di sync e timecode, camera, crown di tracking) e messo a punto l'integrazione a stretto contatto con i tecnici del supporto Vicon
  • Ho cablato tutta la catena: camera SDI Blackmagic con crown di tracking Vicon → Vicon Lock → timecode Evertz → sync generator Blackmagic
  • L'ho usata per le demo e per supportare Digital Kinetics (Zagabria) e Rupture (Malta) su timecode e sync
Tool, 2025–2026

Tool di pipeline

Python e C#, con sviluppo assistito dall'AI che progetto e revisiono io

Tool in Python e C# per cattura, pulizia, export e supporto.

Mostra dettagliNascondi dettagli
  • Pose2Sim, OpenSim e FreeMoCap integrati in un flusso di lavoro Vicon Nexus
  • Script di export da Unity a Blender in FBX e GLB
  • Script per Shōgun Post e Maya per i passaggi ripetitivi di cattura e pulizia
  • Chatbot di supporto sulla knowledge base di GPEM per Vicon, Xsens, Manus, Captury, Theia e Cometa

Inoltre: Vola come una farfalla (2021), supporto su un'installazione Vicon temporanea da 10 × 5 m per un libro in AR con Alessia Maurelli, medagliata olimpica.

Installazioni, formazione e supporto

Sono entrato in GPEM nel 2021 per aiutare un'azienda composta soprattutto da ingegneri biomedici a crescere nell'intrattenimento e nello sviluppo. Oltre agli shoot, questo vuol dire pre-vendita tecnica, installazione dei sistemi, formazione dei team sul posto e supporto nel tempo.

Sistemi e competenze

Oltre agli shoot, installo, formo e supporto i clienti GPEM su tutta la gamma di prodotti, con Vicon come linea principale: studi di intrattenimento, laboratori di ricerca e integrazioni via API.

Sistemi ottici

Vicon Shōgun Live & Post, Nexus, Valkyrie / Vantage / Vero, Lock Lab

Sistemi inerziali, mani, volto, markerless

Xsens MVN (Awinda), Manus Quantum Metagloves, headcam Faceware Mark IV con Studio, Analyzer e Retargeter, Captury, Movella DOT

Altri sistemi di cattura e XR

iPhone ARKit face capture, Rokoko, HTC Vive, Meta Quest / Oculus

Sync e tempo reale

Genlock, timecode e camera tracking (camera SDI Blackmagic con crown di tracking → Vicon Lock → timecode Evertz → sync generator Blackmagic), timecode Tentacle Sync, Lab Streaming Layer, streaming live verso Unreal e Unity, retarget live in MotionBuilder

Post e integrazione

Pulizia e solving, retarget anche su MetaHuman, consegna in FBX; MotionBuilder, Maya, Blender, Unreal Engine, Unity

Sviluppo e costruzione

C#, Python, plugin e tool per l'editor di Unity, scripting per Shōgun/Nexus; Claude Code e Cursor; stampa 3D di supporti e porta-marker su misura (Bambu Lab, Cura)

Demo, workshop ed eventi