Misurare la facilità
Quando si parla di misurazione, il rischio è partire subito dai numeri che conosciamo già: sessioni, utenti, clic, conversioni, tempo sul sito. Sono metriche utili, ma per un sito conversazionale non bastano, perché la domanda di fondo cambia. Non ci interessa soltanto sapere quante persone sono arrivate, ma quanto facilmente sono riuscite a ottenere ciò che cercavano. È un cambio di prospettiva importante, perché un sito può avere molto traffico e continuare a essere faticoso. Contano allora misure come il tasso di successo del compito, il tempo per arrivare a un contenuto utile, il numero di passaggi, l'accettazione dei suggerimenti, le richieste senza risposta e l'uso combinato di menu e conversazione.
La facilità, del resto, viene spesso confusa con la semplicità visiva — pochi menu, pochi pulsanti — ma non basta. Una persona può trovarsi davanti a un sito pulitissimo e non capire quale camera sia adatta alla sua famiglia, o davanti a tre sezioni ordinate e non sapere dove cercare una policy. La facilità si misura nel rapporto fra una domanda e la possibilità di ottenere una risposta, ed è qui che la conversazione diventa interessante. Finalmente possiamo osservare non soltanto dove una persona è andata, ma cosa stava cercando.
Il tasso di successo, letto con attenzione
Il primo indicatore è semplice: la persona ha ottenuto una risposta utile? Sembra banale, ed è il cuore di tutto. «Posso arrivare dopo le 23?», il sito risponde bene. Successo. «Posso portare il cane al ristorante?», il sito non ha l'informazione. Fallimento parziale — non significa che il progetto sia sbagliato, significa che abbiamo trovato un buco, ed è a questo che serve la misura. Ma il tasso va letto con attenzione. Se il sistema risponde al 90% delle richieste sembra un ottimo risultato, finché non guardiamo quali falliscono. Se il 10% riguarda domande marginali il problema è limitato, se riguarda sempre accessibilità, policy o condizioni commerciali la questione è più seria. La percentuale da sola non basta; serve leggere la qualità dei fallimenti, perché un sito può rispondere bene a molte domande facili e fallire proprio su quelle che incidono di più sulla decisione.
E anche una risposta trovata può essere poco utile. «Posso arrivare in treno?» «La stazione ferroviaria si trova in città». Corretto, ma la persona voleva sapere come raggiungere l'hotel. Il successo non si valuta solo dal fatto che un contenuto sia stato trovato. Serve osservare cosa succede dopo. Se quasi tutti, dopo quella risposta, chiedono «sì, ma come arrivo da voi?», la prima risposta non era abbastanza utile, e la conversazione stessa diventa uno strumento di controllo qualità.
Tempo e passaggi, con giudizio
Il tempo per arrivare a una risposta è un buon segnale. Chi apre il menu, entra nelle camere, torna indietro, apre le FAQ e dopo sei minuti trova l'informazione ha vissuto un'esperienza diversa da chi scrive «posso avere una culla in questa camera?» e riceve una risposta in pochi secondi, anche se entrambi hanno trovato ciò che cercavano. Ma va evitata una lettura meccanica. Più veloce non è sempre meglio. Chi esplora il territorio può voler passare tempo sul sito; chi cerca una policy vuole una risposta rapida. Il contesto conta. Lo stesso vale per il numero di passaggi. Una domanda semplice che ne richiede otto è sospetta — «avete parcheggio?» «sì», fine, non serve una conversazione teatrale — ma una richiesta complessa può richiederne qualcuno in più. La facilità non coincide con il minor numero di turni, ma con il minor numero di passaggi necessari.
Per questo le domande di chiarimento non sono un fallimento. Un sistema che chiede «quando dici tranquilla, intendi lontana dalle aree frequentate o con una particolare esposizione?» aggiunge un passaggio, ma lo fa per ridurre il rischio di una risposta sbagliata; se misurassimo solo la velocità, penalizzeremmo i comportamenti più prudenti. Bisogna distinguere la frizione inutile dalla richiesta utile di contesto. Una domanda che evita un errore migliora l'esperienza, una che ripete qualcosa già detto la peggiora. E ripetere è un attrito molto visibile. Se un ospite scrive «siamo 2 adulti e 2 ragazzi» e due messaggi dopo il sito chiede «quanti siete?», la conversazione non ha conservato il contesto della sessione. La frequenza con cui l'utente deve ripetere informazioni già fornite è una metrica poco spettacolare e molto concreta.
L'uso del menu non è una sconfitta
Un sito conversazionale verrebbe valutato male se guardassimo soltanto quante persone usano la chat. Il modello nasce con due modalità. Una persona può preferire il menu, iniziare dal menu e poi fare una domanda, fare una domanda e poi continuare a esplorare da sola. Quello che conta è se riesce a muoversi senza attrito, e il passaggio fra le due modalità è un indicatore interessante. Se molti visitano una pagina di camera e poi aprono la conversazione per chiedere sempre la stessa cosa — «il divano letto è in un ambiente separato?» — la conversazione sta aiutando, ma la pagina potrebbe essere migliorata. Una buona misurazione non serve solo a dimostrare che l'assistente funziona. Serve anche a migliorare il sito tradizionale, perché il successo del progetto non consiste nel far crescere il numero di conversazioni. Se una domanda ricorrente si può eliminare rendendo una pagina più chiara, abbiamo comunque migliorato l'esperienza.
C'è anzi un paradosso. Se l'80% degli utenti apre la conversazione, potremmo festeggiare. Ma perché lo fanno? Perché è davvero il modo più comodo, o perché il resto del sito è difficile da usare? Se tutti chiedono dove trovare gli orari della spa, forse il problema non è una grande adozione dell'AI. Forse gli orari sono nascosti. La misura deve aiutare a capire, non a confermare ciò che speravamo.
Le richieste senza risposta, e la lettura qualitativa
Le richieste senza risposta sono fra le metriche più utili. Quando il sito non riesce a rispondere lascia una traccia, e quella traccia va osservata — quante restano senza risposta, su quali temi, in quali lingue, quante si risolverebbero con un nuovo contenuto e quante richiedono invece una decisione dell'hotel. È un indicatore centrale perché misura anche la copertura del patrimonio informativo. Ma i numeri non mostrano tutto, e ogni tanto qualcuno dovrebbe leggere conversazioni vere, nel rispetto delle regole di privacy del progetto. Una risposta può essere tecnicamente corretta e suonare assurda, essere troppo lunga, ripetere tre volte lo stesso concetto, fare troppe domande. Dieci conversazioni lette bene fanno emergere problemi che una dashboard non rende evidenti. Il linguaggio, del resto, è parte della facilità. Una policy di cancellazione spiegata con tre paragrafi di testo legale contiene l'informazione ma costringe la persona a interpretarla, mentre «puoi cancellare senza penali fino a 7 giorni prima dell'arrivo, dopo viene addebitata la prima notte» risolve, e le condizioni complete restano disponibili se servono. Allo stesso modo, se molti dopo «avete un parcheggio?» ricevono 250 parole sulla mobilità e ribattono «sì, ma quindi il parcheggio c'è?», stiamo parlando troppo. La lunghezza va proporzionata alla domanda.
Confrontare, e leggere per intento
La facilità andrebbe letta per tipo di bisogno. Misurare una domanda commerciale è diverso dal misurare una FAQ: «qual è l'orario del check-out?» si valuta subito, mentre «quale camera mi consigliate per 2 adulti e 2 ragazzi?» ha un percorso più lungo, con alternative da confrontare. Mettere tutte le conversazioni nella stessa media nasconde molto; conviene distinguere almeno le grandi famiglie di richieste — informative, commerciali, pre-soggiorno, durante il soggiorno, territorio, servizi, policy — così se le informative si risolvono rapidamente ma quelle sulle camere producono sempre sette passaggi, sappiamo dove lavorare. Vale anche per la lingua. Il sistema può rispondere bene in italiano e meno in tedesco, e il tasso complessivo nasconderebbe il problema. Non per fare classifiche, ma per evitare che una parte degli ospiti riceva un'esperienza molto peggiore.
E la facilità va confrontata con il prima. Migliore rispetto a cosa? Prima di introdurre il modello conviene avere qualche riferimento, quanto tempo impiega oggi una persona a trovare una certa informazione, quali domande arrivano più spesso via email o telefono, dove gli utenti abbandonano. Non saranno confronti perfetti, ma se dopo il lancio le domande sul parcheggio alla reception diminuiscono e il sito le gestisce bene, abbiamo un segnale concreto. Anche le persone dell'hotel possono dircelo. La reception nota meno domande ripetitive, il commerciale riceve richieste più complete. Un progetto che migliora il sito ma complica il lavoro interno potrebbe non essere sostenibile. La facilità deve esistere anche dietro le quinte. Attenzione però a non scambiare ogni riduzione per un successo — se le telefonate calano del 30% perché il sito risponde meglio, bene; se calano perché trovare il numero è diventato difficile, no. La misura deve restare collegata al comportamento reale, e per questo serve una tesi chiara. Vogliamo togliere attrito, non spostare le persone da un canale all'altro.
L'obiettivo non è trattenere
Per molti anni abbiamo guardato al tempo sul sito come a un segnale positivo. Più tempo, più coinvolgimento. Qui può succedere l'opposto. Se una persona prima impiegava cinque minuti per trovare una policy e ora trenta secondi, il tempo scende e l'esperienza migliora. Non vogliamo trattenere, vogliamo aiutare. Il sito deve anche saper lasciar andare. Chi chiede l'orario della colazione, lo riceve e chiude in venti secondi ha vissuto una sessione perfetta, e non serve inseguirlo con spa, ristorante, newsletter e tre offerte per aumentare il tempo. Un buon concierge risponde alla domanda, se ha senso aggiunge qualcosa, poi lascia vivere l'ospite. La facilità comprende anche la capacità di finire.
Le conversioni, naturalmente, restano importanti — un sito alberghiero deve vendere — ma vanno lette con cautela: prezzo, disponibilità, stagione, campagne e concorrenza incidono, e attribuire ogni variazione alla conversazione sarebbe comodo e probabilmente sbagliato. Possiamo osservare se chi usa certe funzioni converte di più, analizzare i percorsi, ma con prudenza prima di dichiarare una causa. Tanto più che la conversione può avvenire fuori dal sito. Una conversazione chiarisce una richiesta complessa, poi la persona telefona o prenota due giorni dopo. Se misuriamo solo la conversione immediata, perdiamo una parte del valore, soprattutto per soggiorni importanti, gruppi o richieste complesse.
Una dashboard piccola, che produce lavoro
Quando iniziamo a misurare potremmo costruire decine di indicatori. Meglio partire da pochi: richieste risolte, richieste senza risposta, tempo o passaggi verso una risposta utile, uso e passaggi fra menu e conversazione, suggerimenti accettati, azioni successive; poi qualche segnale qualitativo — domande ricorrenti, errori, contenuti da migliorare. È già molto. Una dashboard deve aiutare a decidere cosa fare. Se richiede un manuale per essere letta, abbiamo esagerato. Perché la misura migliore, per quanto strano suoni, produce lavoro: «molte persone non trovano la policy pet», la riscriviamo; «un suggerimento non viene quasi mai usato», lo rivediamo. Se una metrica non produce mai una domanda o una decisione, forse non serve. E non si misura una volta sola. Il sito cambia, le domande cambiano, i contenuti crescono, una risposta che funzionava può invecchiare. La misurazione deve essere continua — non ossessiva, continua — dentro un piccolo ciclo di osservare, capire, correggere, verificare, la stessa logica vista per i contenuti e per l'organizzazione.
Alla fine possiamo avere decine di metriche, ma la domanda resta semplice. Una persona che arriva sul sito riesce a capire più facilmente se l'hotel è adatto, a trovare ciò che le serve, a decidere cosa fare? Se la risposta migliora nel tempo, il progetto va nella direzione giusta; se aumentano conversazioni, messaggi e dashboard ma l'ospite continua a faticare, stiamo misurando il rumore. La facilità è il primo livello. Nella seconda fase entra però una misura più difficile, perché quando il sito comincia a riconoscere e ricordare non basta più chiedersi se una singola visita è andata bene. Dobbiamo capire se la relazione migliora da un incontro al successivo. È il tema del prossimo capitolo.