Torna al portfolio
  • Medicale
  • Spatial Computing
  • Apple Vision Pro
  • XR
  • AI

Case study

Formazione chirurgica immersiva e supporto avanzato alla sala operatoria

Surgeree è una piattaforma sviluppata per portare Extended Reality e intelligenza artificiale all'interno del mondo chirurgico, migliorando formazione, pianificazione, collaborazione e supporto durante gli interventi.

Chirurgo con visore immersivo in sala operatoria — piattaforma Surgeree

In breve

Surgeree è una piattaforma che porta Extended Reality e intelligenza artificiale nel mondo chirurgico, a supporto di formazione, pianificazione, collaborazione e interventi.

Funziona su Apple Vision Pro, Meta Quest e dispositivi compatibili, con un'interfaccia controllata da sguardo, gesti e voce.

In sala operatoria si collega alle apparecchiature già presenti (telecamere wireless, C-arm, torri endoscopiche, robotica) e porta imaging diagnostico, modelli 3D segmentati e feed video in tempo reale nel campo visivo del chirurgo.

Comprende visualizzazione DICOM immersiva, segmentazione 3D, reporting vocale, collaborazione remota con annotazioni condivise e percorsi di training costruiti su casi reali.

La sfida

Quando l'informazione distrae dal paziente

In sala operatoria le informazioni critiche non mancano mai, ma sono sparse. Imaging diagnostico su un monitor, endoscopia su un altro, navigazione su uno schermo laterale, telecamere e strumenti che aggiungono ancora segnali da seguire. Il chirurgo deve continuare a operare con le mani libere, mantenendo il focus sul campo operatorio, mentre la testa si gira verso display distanti e interfacce pensate per altri contesti.

Parallelamente, la formazione su procedure complesse resta legata a modelli costosi e poco replicabili: simulazioni fisiche, sale dedicate, tutoraggio one-to-one. La collaborazione tra specialisti, in sala o da remoto, richiede strumenti che permettano di vedere la stessa cosa, nello stesso momento, senza appesantire il flusso clinico.

Il punto di partenza non era «aggiungere un visore», ma ripensare come dati, immagini e competenze possono convivere nel campo visivo del chirurgo senza moltiplicare le distrazioni.

Chirurgo circondato da monitor in sala operatoria — il problema della visualizzazione frammentata

L'analisi

Partire dal workflow, non dalla tecnologia

Abbiamo osservato il percorso chirurgico nella sua interezza: preparazione del caso, posizionamento in sala, momenti di alta concentrazione e fasi in cui servono consulto e documentazione. Ogni fase ha ritmi, vincoli igienici e modalità di interazione diverse (tocco, voce, sguardo) che un'interfaccia immersiva deve rispettare.

L'esperienza utente non poteva essere un porting di software desktop in VR. Serviva un linguaggio spaziale chiaro: dove compaiono le immagini DICOM, come si sovrappongono i feed endoscopici, come un esperto remoto annota un volume 3D senza interrompere l'intervento. Allo stesso tempo, l'integrazione dei dati doveva dialogare con l'ecosistema esistente: apparecchiature di sala, streaming video, formati medici standard.

La progettazione immersiva è diventata il filo conduttore: unificare ciò che oggi è frammentato, mantenendo controllo, igiene e familiarità per chi indossa il visore per la prima volta in un contesto reale.

Visualizzazione DICOM immersiva con controlli spaziali — interfaccia Surgeree

La soluzione

Un ecosistema immersivo per tutto il ciclo chirurgico

Surgeree nasce come piattaforma integrata, non come singola funzione. Extended Reality e intelligenza artificiale convivono in un ambiente dove il chirurgo visualizza imaging diagnostico, modelli 3D segmentati e feed video in tempo reale su Apple Vision Pro, Meta Quest e dispositivi compatibili, con un'interfaccia controllata da sguardo, gesti e voce.

In sala operatoria la piattaforma si collega alle apparecchiature esistenti: telecamere wireless, C-arm, torri endoscopiche, robotica. L'immagine non resta su uno schermo piatto distante: diventa parte del campo visivo, con profondità e contesto. Per la pianificazione, la segmentazione 3D e le sovrapposizioni pre-operatorie aiutano a «vedere prima di tagliare», riducendo l'incertezza anatomica.

Per formazione e collaborazione, Surgeree registra e condivide procedure dal punto di vista del chirurgo, abilita sessioni live con mentor remoti e costruisce percorsi didattici basati su casi reali, dalla simulazione immersiva alla teleassistenza durante l'intervento.

Sovrimpressione 3D per pianificazione pre-operatoria — Surgeree

Surgeree in azione

Una piattaforma immersiva pensata per il contesto chirurgico

Il video mostra come l'esperienza digitale supporta visualizzazione, formazione e interazione in ambiente immersivo.

Piattaforma

Le funzionalità principali

Visualizzazione DICOM immersiva

Serie TC e RM visualizzate in spazio tridimensionale, navigabili senza distogliere lo sguardo dal campo operatorio.

Segmentazione 3D

Modelli anatomici estratti dall'imaging diagnostico, pronti per pianificazione, sovrapposizione e discussione del caso.

Extended Vision

Feed endoscopici e video chirurgici in alta definizione, integrati con imaging e segmentazioni in un'unica visione estesa.

Artificial Intelligence

Supporto alla lettura dell'imaging, all'analisi dei dati intraoperatori e all'arricchimento del flusso decisionale.

Reporting vocale

Documentazione del caso tramite comandi vocali, per ridurre interruzioni e mantenere le mani libere.

Collaborazione remota

Connessione in tempo reale con mentor e specialisti, con annotazioni condivise su immagini e volumi 3D.

Training immersivo

Registrazione, live streaming e percorsi formativi da casi reali, dalla simulazione alla sala operatoria.

Connessione con dispositivi di sala

Integrazione wireless con telecamere, C-arm, endoscopia e strumentazione robotica già presenti in sala.

Il risultato

Benefici che cambiano il modo di operare e formare

Maggiore concentrazione

Le informazioni rientrano nel campo visivo del chirurgo, riducendo i movimenti verso monitor distanti e le distrazioni durante l'intervento.

Comprensione anatomica più chiara

Imaging, segmentazioni e sovrapposizioni 3D offrono una lettura spaziale del caso che i display piatti non riescono a trasmettere.

Formazione più coinvolgente

Percorsi immersivi e registrazioni dal punto di vista del chirurgo rendono l'apprendimento più vicino alla pratica reale.

Collaborazione multidisciplinare

Esperti remoti possono seguire, commentare e annotare il caso in tempo reale, senza appesantire il team in sala.

Flusso igienico preservato

Interfacce pensate per il contesto sterile: controllo a mani libere e integrazione che limita contatti superflui con hardware esterno.

Piattaforma scalabile

Un unico ecosistema che copre formazione, pianificazione, intraoperatorio e teleassistenza, estendibile a nuovi dispositivi e reparti.

Stack tecnologico

Tecnologie utilizzate

  • Apple Vision Pro
  • Meta Quest
  • Spatial Computing
  • Artificial Intelligence
  • Computer Vision
  • Unity
  • DICOM
  • 3D
  • Streaming Video

Dal progetto

Domande frequenti

Le domande che ci fanno più spesso

Su quali visori funziona Surgeree?

Surgeree funziona su Apple Vision Pro, Meta Quest e dispositivi compatibili. L'interfaccia si controlla con sguardo, gesti e voce, con un controllo a mani libere pensato per il contesto sterile della sala operatoria.

Come si vedono le immagini TC e RM con un visore in sala operatoria?

Le serie TC e RM vengono visualizzate in uno spazio tridimensionale e si navigano senza distogliere lo sguardo dal campo operatorio. L'immagine non resta su uno schermo piatto distante: diventa parte del campo visivo del chirurgo, con profondità e contesto.

Surgeree si collega alle apparecchiature già presenti in sala operatoria?

Sì. La piattaforma si integra via wireless con telecamere, C-arm, torri endoscopiche e strumentazione robotica già presenti in sala. I feed endoscopici e i video chirurgici in alta definizione vengono uniti a imaging e segmentazioni in un'unica visione estesa.

Come può uno specialista remoto seguire un intervento in tempo reale?

Surgeree mette in collegamento il chirurgo con mentor e specialisti remoti in tempo reale. Gli esperti a distanza possono seguire il caso, commentare e lasciare annotazioni condivise su immagini e volumi 3D, senza appesantire il team presente in sala.

Come si usa la realtà estesa per la formazione chirurgica?

Surgeree registra e condivide le procedure dal punto di vista del chirurgo e costruisce percorsi didattici basati su casi reali, con registrazione e live streaming. Abilita inoltre sessioni live con mentor remoti, dalla simulazione immersiva alla teleassistenza durante l'intervento.

Hai un progetto simile in medicale o formazione immersiva?

Surgeree nasce da anni di test su visori e AI in ambito chirurgico. Se stai valutando qualcosa di simile, raccontaci il contesto.