Gli occhiali Tobii Pro 2 in uso includono un'unità di misurazione inerziale (IMU) e una telecamera ad alta definizione che rileva il posizionamento dei bulbi oculari. Poiché gli occhiali stessi non hanno abbastanza potenza di elaborazione per gestire tutti questi dati, il progetto di ricerca si basa attualmente su un processore Nvidia Jetson TX2 portatile. Con questo sistema in posizione, gli occhiali rilevano il drone posto di fronte al soggetto, seguono i suoi occhi, combinano i dati di posizione e di orientamento di questi due elementi e calcolano la distanza tra l'operatore e l'UAV in base alle dimensioni apparenti del drone.

La parte più complessa sta nel tradurre l'immagine 2D della fotocamera del drone davanti al soggetto e trasformarla in dati 3D utilizzabili. In altre parole, misurare la distanza e lo spazio per navigare efficacemente all'interno di un UAV è piuttosto difficile se tutto ciò che si ha sono dati 2D da una telecamera ad alta definizione. Attualmente, gli occhiali per il tracciamento degli occhi stanno facendo un buon lavoro nel rilevare la dilatazione della pupilla di un utente, e quindi, quanto in avanti o vicino l'utente sta guardando.

"Per calcolare il waypoint di navigazione 3D, utilizziamo le coordinate dello sguardo 2D fornite dagli occhiali per calcolare un vettore di puntamento dagli occhiali, e quindi selezionare casualmente la profondità del waypoint all'interno di una zona di sicurezza predefinita", spiega il documento di ricerca. "Idealmente, il waypoint di navigazione 3D proviene direttamente dagli occhiali per il tracciamento oculare, ma abbiamo riscontrato nei nostri esperimenti che la componente di profondità riportata dagli occhiali era troppo rumorosa per poter essere utilizzata in modo efficace. In futuro, speriamo di approfondire ulteriormente la questione al fine di dare all'utente un maggiore controllo sulla profondità. "

In definitiva, tenere traccia dei bulbi oculari e della dilatazione della pupilla con un semplice paio di occhiali intelligenti e pilotare efficacemente un drone in questo modo è estremamente impressionante. Il fatto che i ricercatori siano riusciti a raccogliere sufficienti dati spaziali funzionali con una quantità così limitata di componenti è ancora più notevole.