Supporto: info[at]b10mouse.com
A sinistra: l'utente p stato rilevato, ma la posizione base non è ancora stata impostata. A destra: la posizione base è stata impostata ed è possibile muovere il mouse e cliccare.

Funzionamento del programma

Quando si fa partire il programma, si aprirà l’interfaccia principale (vedi capitolo sulle interfacce) che mostrerà l’immagine ripresa dal Kinect. Se il software rileva un utente, un quadrato rosso apparirà attorno al suo volto. Se più utenti sono rilevati contemporaneamente, l’utente attivo sarà quello più vicino al dispositivo. Affinché il sistema rilevi correttamente l’utente durante la fase di riconoscimento, è fondamentale che il Kinect veda viso e busto di quest’ultimo. Affinché ciò avvenga, si consiglia di posizionare il Kinect all’altezza del viso dell’utente, ad una distanza compresa tra i 70cm e 1m. Per il funzionamento il sistema non ha bisogno di una grande luminosità, mentre è altresì sconsigliata l’esposizione diretta ai raggi solari, che potrebbero interferire negativamente con il rilevatore ad infrarossi presente nel Kinect. Una volta che il sistema ha riconosciuto la presenza di un utente, non è più necessario che il busto di quest’ultimo sia inquadrato.
Per poter iniziare ad usare il programma, è necessario impostare la posizione base dell’utente. Questa posizione corrisponde alla posizione normale del capo dell’utente. Se il capo dell’utente rimane nella posizione base il mouse non si muoverà. Per poter definire questa posizione, l’utente deve guardare lo schermo come farebbe normalmente se stesse leggendo qualcosa e chiudere entrambi gli occhi per 3 secondi. Un allarme acustico lo avviserà quando la posizione è stata salvata e potrà riaprire gli occhi. Questa veloce procedura va eseguita ogni volta che si accende il programma, in quanto l’utente potrebbe posizionarsi in maniera differente rispetto alla videocamera. Una volta impostata la posizione base il quadrato diventa verde ed è possibile usare tutte le funzioni del B10Mouse.

Schema del movimento del puntatore del movimento sullo schermo

Movimento del puntatore

Il puntatore viene mosso dall’utente cambiando la posizione del capo rispetto alla posizione di riposo. Il mouse si può muovere in verticale e in orizzontale o in obliquo combinando i due movimenti.

Immagine Movimento Descrizione
Verticale L’utente deve sollevare o abbassare il capo (elevazione o, in inglese, pitch). Il movimento è quello che si Portando il mento verso il petto il mouse si muoverà verso il basso, mentre allontanandolo dal petto il mouse si muoverà verso l’alto.
Orizzontale L’utente deve girare la testa verso sinistra o destra (yaw in inglese), come quando si dice no.
Orizzontale L’utente deve inclinare il capo come per avvicinare l’orecchio alla spalla (roll in inglese).

Per muovere il mouse in obliquo bisogna combinare il movimento orizzontale e verticale.
Più aumenta l’angolo del capo rispetto alla posizione base, più il puntatore si muoverà velocemente.
La grandezza dell’area in cui il puntatore non si muove nonostante il capo sia piegato e la velocità del mouse sono anch’essi regolabili nel menù impostazioni.

Comandi oculari preimpostati
L'apertura della bocca può essere associata ad uno dei 3 tipi di click

Comandi facciali

B10Mouse offre diverse possibilità all’utente per effettuare i diversi click ed una di queste sono i comandi facciali. Il programma è in grado in automatico, senza calibrazione e senza che l’utente debba posizionarsi in una specifica posizione, di rilevare se l’utente ha gli occhi chiusi o meno o se sta aprendo la bocca. Il riconoscimento funziona anche in caso si indossino occhiali da vista.
In figura sono mostrati i comandi oculari preimpostati. Se l’utente chiude l’occhio sinistro viene (virtualmente) cliccato il tasto sinistro del mouse. Fintanto che l’occhio rimane chiuso il tasto viene mantenuto premuto. In questa maniera è possibile effettuare anche azioni di trascinamento, tenendo l’occhio chiuso e inclinando il capo per spostare il puntatore. Lo stesso meccanismo avviene per il click destro, ma in questo caso deve essere chiuso l’occhio destro. Se si chiudono entrambi gli occhi viene invece effettuato un doppio click.
Di base l’apertura della bocca non effettua alcuna azione, ma è possibile modificare le impostazioni dei comandi facciali dalla Finestra comandi facciali. Così come per la chiusura degli occhi, è possibile associare l’apertura della bocca a uno qualsiasi dei tre tipi di click che si possono effettuare.

Comandi vocali

Grazie ai microfoni integrati nel Kinect, è possibile dare dei comandi al computer anche vocalmente. Questi comandi possono essere facilmente modificati dall’utente dalla Finestra comandi vocali per essere più adatti alle sue esigenze. I comandi vocali sono già attivi all’avvio del programma e possono essere usati assieme ai comandi facciali senza problemi. Il sistema non ha bisogno di una fase di addestramento ed è studiato in maniera che funzioni anche se l’utente ha difficoltà a scandire perfettamente le parole.
Il B10Mouse inoltre è multilingua e con l’installazione base vengono installati i pacchetti italiano e inglese.
Di seguito la tabella riassuntiva dei comandi vocali standard:

Comando Vocale EFFETTO
Mouse click Click sinistro
Mouse destro Click destro
Mouse doppio Doppio click
Mouse trascina Trascinamento (tieni premuto tasto sinistro)
Mouse centra Porta il puntatore al centro dello schermo
Mouse blocca programma Blocca il programma
Mouse riprendi programma Sblocca il programma
Mouse chiudi finestra attiva Chiudi la finestra attiva

Gli effetti di ogni comando sono facilmente intuibili. Il comando “Blocca il programma” serve a bloccare ogni movimento del mouse ed ogni click finché non viene dato il comando “Sblocca programma”. Il comando “Chiudi la finestra attiva” chiude la finestra che in quel momento ha il focus.
Per le parole inglesi è preferibile utilizzare la pronuncia di quelle parole nella lingua usata dal programma.
Altro particolare importante nel caso si volessero modificare i comandi vocali è quello di utilizzare sempre una parola chiave da anteporre al comando. La versatilità del sistema e il fatto che funzioni senza bisogno di lunghe sessioni di addestramento infatti hanno come svantaggio il fatto che alcune parole potrebbero essere male interpretate ed è quindi consigliabile fare in modo che più il comando è influente, più parole il sistema debba riconoscere per evitare di eseguire il comando erroneamente.
In caso di gravi difficoltà di parola, si possono usare anche solamente delle lettere (come delle vocali, magari ripetute) per dare i comandi vocali. Ad esempio si potrebbe impostare il comando vocale del click sinistro come “aa” e il click destro come “oo”.

Interfaccia principale

L'interfaccia principale

All’avvio del B10MOUSE² apparirà l’interfaccia principale (in Figura 4). Di default si apre in basso a destra sullo schermo, ma sarà comunque possibile spostarla dove si preferisce. Nella finestra principale si trovano:

Icona Bottone Descrizione
Bottone Impostazioni Premendo questo tasto si aprirà una nuova finestra, nella quale è possibile modificare tutte le impostazioni del programma.
Bottone Spegnimento La pressione di questo tasto provocherà la chiusura del programma, dopo aver chiesto la conferma.
Area Video Live In questa finestra è possibile vedere, in tempo reale, chi è inquadrato dal dispositivo Kinect.
Bottone Allarme Premendo questo pulsante verrà emesso un segnale acustico d’allarme attraverso gli altoparlanti del computer.
Bottone Keyboard Questo bottone fa apparire sullo schermo la tastiera virtuale di Windows.
Bottone Telecomando (opzionale) La pressione di questo bottone avvierà, se presente il dispositivo aggiuntivo IrDA, la finestra telecomando, attraverso la quale sarà possibile inviare comandi a elettrodomestici, quali ad esempio: TV, Hi-Fi.

L'interfaccia è stata studiata in maniera da occupare il minor spazio possibile sullo schermo, ma da essere ugualmente intuitiva e di facile utilizzo.
Le soluzioni finali sono state implementate seguendo i consigli degli utenti della UILDM di Milano che hanno ritenuto necessario avere un feedback visivo sull'inquadratura della camera per un utilizzo ottimale del B10Mouse. Inoltre, i pulsanti messi ben in evidenzia e distanziati tra loro, sono facili da raggiungere e da cliccare.

Finestra delle impostazioni

Modifica delle impostazioni

Dalla finestra impostazioni è possibile modificare ogni aspetto del B10Mouse, dal movimento del puntatore alle modalità di click. Tutte le modifiche avvengono nel momento stesso in cui si effettuano, che si sia spostato uno slider o inserito un numero.
La finestra è divisa in 6 sezioni che qui di seguito verranno spiegate nei dettagli.

MODALITÀ DI MOVIMENTO MOUSE
In questa sezione è presente uno slider che si può spostare per cambiare la modalità di movimento orizzontale del mouse. Di default si utilizza l’inclinazione del capo per spostare il puntatore a destra e sinistra. Se si sposta lo slider su “Rotazione”, verrà invece utilizzata questa modalità.

VELOCITÀ MOUSE
In questa sezione sono presenti due slider, che possono essere utilizzati per rendere il mouse più veloce sui due assi di movimento (orizzontale e verticale). Di default la velocità è impostata su “Veloce”. Qualsiasi sia la velocità scelta, permane il fatto che all’aumentare del movimento del capo aumenta la velocità del puntatore.

COMANDI
In questa sezione sono presenti due bottoni. Premendo il bottone “Facciali” si apre la finestra dei comandi facciali (da cui è possibile selezionare quale tipo di click associare alla chiusura dell’occhio sinistro, destro e di entrambi gli occhi, nonché all’apertura della bocca) mentre cliccando sul bottone “Vocali” si apre la finestra dei comandi vocali (da cui è possibile modificare la lingua del software e tutte le parole o frasi da dire per eseguire i comandi).

BOTTONI UTILITÀ
Questa sezione (senza nome) presenta 3 bottoni che possono essere utili in caso l’utente non abbia eseguito una calibrazione perfetta all’inizio dell’utilizzo del programma.

Bottone Effetto
Blocca programma Il programma viene messo in pausa. Il quadrato attorno al viso dell’utente diventa grigio e non è più possibile per l’utente dare comandi. L’effetto di questo bottone è lo stesso del comando vocale “Blocca programma” Questa modalità può servire nel caso qualcuno diverso dall’utente avesse necessità temporanea di usare il computer o se si volesse reimpostare la posizione base e non si riuscisse perché il puntatore si muove nella nuova posizione di base voluta. Per uscire dalla pausa bisogna ripremere il bottone o dare il comando vocale “Sblocca programma”.
Resetta postura Premendo questo bottone, viene cancellata l’impostazione della posizione base. Il quadrato attorno al viso dell’utente torna ad essere rosso e l’utente dovrà chiudere di nuovo gli occhi per 3 secondi per reimpostare la posizione base e tornare ad usare il programma.
Usa postura attuale Premendo questo bottone la posizione di base viene impostata alla posizione attuale dell’utente. Questo bottone può essere utile nel caso la posizione di base impostata inizialmente non fosse adatta (ad es. se il puntatore si muove anche quando l’utente è in una posizione a lui comoda per guardare lo schermo e non vorrebbe muovere il mouse). Questo pulsante funziona anche se il programma è bloccato. Un operatore esterno può quindi bloccare il programma (con il tasto apposito o col comando vocale), chiedere all’utente di rimanere in una posizione comoda, premere il pulsante “Usa postura attuale” e far ripartire il programma (ripremendo il pulsante apposito o dando il comando vocale).

AREA DI RIPOSO
In questa sezione è possibile modificare l’ampiezza dell’area di riposo, separatamente per i movimenti orizzontali e verticali. Più l’area di riposo è grande, più l’utente potrà muovere il capo senza provocare movimenti del puntatore. Per capire meglio il concetto dell’area di riposo bisogna immaginare un raggio che dal centro del viso parta verso lo schermo. Se questo raggio è perpendicolare allo schermo l’angolo tra la testa e lo schermo è zero gradi. Se l’utente vuole fare un movimento aumenterà questo angolo girando la testa (si veda il capitolo Movimento del mouse). Il movimento non avrà luogo finché l’angolo non supererà l’a rea di riposo.

IMPOSTAZIONI CLICK
In questa sezione è possibile modificare due parametri riguardanti il click del mouse:
Pulsanti normali/invertiti Se l’utente, per qualche esigenza particolare, ha deciso di invertire i pulsanti dalle impostazioni di Windows (il tasto destro viene fatto corrispondere al sinistro e viceversa), questo slider deve essere impostato su “Invertiti” al fine di far funzionare correttamente il software.
Modalità Con questo slider è possibile scegliere se si vogliono utilizzare i comandi facciali o in alternativa il click temporizzato. In caso si optasse per la seconda opzione è possibile scegliere il numero di secondi che devono passare prima che venga effettuato un click sinistro.

B10Telecomando

B10Telecomando – telecomando IrDA (app opzionale)

Questa applicazione può essere acquistata anche separatamente dal B10Mouse e permette di comandare, attraverso un telecomando virtuale completamente configurable, apparecchiature come televisioni, hi-fi ed altri apparecchi compatibili (gestibili attraverso un telecomando ad infrarosso).
Per il suo funzionamento il Telecomando necessita di un hardware aggiuntivo, un trasmettitore/ricevitore infrarossi che andrà connesso tramite una porta USB al pc.
In figura è mostrata l’interfaccia del B10Telecomando. Come si può notare, sono presenti tutti i tasti più importanti di un telecomando per televisori. Questi tasti sono totalmente configurabili per far sì che cliccandoli venga inviato un comando ad un apparecchio corrispondente a quello di un telecomando fisico.
Per poter utilizzare il software, bisogna prima associare i tasti di un telecomando fisico a quelli di quello virtuale. Questa operazione può essere fatta dall'installatore del software o da un altro operatore ed è molto semplice e veloce da fare.
Una volta finita la configurazione di una o più impostazioni del telecomando, il suo utilizzo è molto semplice. Al fine di comandare un’apparecchiatura, dopo aver scelto le impostazioni di questa (per semplicità si prendere qui in considerazione un televisore), bisogna solamente puntare l’emettitore infrarossi connesso al pc verso l’elettrodomestico e premere il tasto desiderato. Il comando verrà immediatamente inviato, come se si fosse premuto il tasto di un telecomando fisico. L’unica eccezione riguarda i tasti numerici. Per permettere l’input contemporaneo di fino a 4 cifre, quando si preme uno dei numeri del telecomando questi apparirà nel bottone nella parte bassa centrale del telecomando. Per inviare le cifre desiderate bisogna cliccare su questo bottone. Se ad esempio si volesse inviare il codice “100”, bisognerebbe premere su “1”, “0”, “0” e poi premere sul bottone grosso nella parte bassa.
I bottoni del Telecomando ovviamente possono essere cliccati utilizzando un normale mouse o il B10Mouse indifferentemente. Il Telecomando permette, in caso un Kinect2 fosse connesso al pc su cui lo si sta utilizzando, di inviare i comandi sfruttando i comandi vocali. Il Kinect deve essere girato verso la persona che vuole utilizzare i comandi vocali, preferibilmente facendo in modo che non guardi altre fonti sonore per evitare disturbi. Non è importante che la persona sia stata riconosciuta dal software in caso si volessero usare solamente i comandi vocali del telecomando e non la possibilità di comandare il mouse.