Un direttore commerciale legge di un nuovo sistema di IA che promette di prevedere quali clienti abbandoneranno il servizio. La soluzione costa diecimila euro al mese e promette risultati in due settimane. Sottoscrive il contratto. Tre mesi dopo scopre che il modello funziona bene solo per i clienti storici, ma sbaglia completamente su quelli nuovi. Nel frattempo ha già preso decisioni importanti basandosi su previsioni sbagliate.
Questa storia si ripete ogni giorno in aziende piccole e grandi. Il problema non è la tecnologia. È la velocità con cui le organizzazioni la adottano senza prima capire come funziona realmente.
Il primo passo: chiedere cosa mangia il modello
Un modello di intelligenza artificiale è in fondo una macchina matematica molto sofisticata. Legge dei dati e impara a trovare relazioni tra loro. Ma i dati con cui l'hai allenato vanno a definire tutto. Se alleni un modello su migliaia di ordini da clienti in Italia e poi lo usi per clienti in Francia, non è colpa del modello se sbaglia. È colpa tua.
La prima domanda che devi fare a chi ti vende il sistema è: su quali dati è stato allenato? Sono dati recenti o vecchi di cinque anni? Quanti dati? Sono simili ai tuoi? Se vendi vestiti per donne e il modello è stato allenato su dati di prodotti alimentari, il trasferimento di conoscenza sarà minimo.
Chiedere di vedere i dati di training non è sempre possibile per motivi di privacy o di proprietà intellettuale. Ma puoi chiedere un report che descriva le caratteristiche dei dati. Età dei dati, numero di campioni, distribuzione geografica, varietà di categorie. Un fornitore serio ha questi documenti pronti.
Il secondo passo: capire dove il modello è cieco
Nessun modello funziona bene su tutto. Ognuno ha angoli bui. Se un modello predittivo è stato allenato soprattutto su clienti con reddito alto, avrà prestazioni peggiori su clienti con reddito basso. Non è un difetto. È una conseguenza matematica dell'asimmetria nei dati.
Chiedi al fornitore un rapporto sulle prestazioni specifiche per sottogruppi. Per fasce di reddito, per genere, per area geografica, per taglia di azienda (se vendi B2B). Se il modello di previsione funziona al 95% per i clienti di Milano ma al 60% per quelli di Catania, quel dato è fondamentale. Cambia tutto il tuo piano di implementazione.
Inoltre chiedi di vedere quali variabili il modello usa effettivamente per fare previsioni. Molti sistemi di IA moderni sono scatole nere. Ma esistono tecniche di spiegabilità che possono mostrare quali fattori pesano di più. Una buona soluzione te le fornisce senza farti supplicare.
Il terzo passo: il test pilota su dati reali
Prima di firmare un contratto a lungo termine, negozia sempre un periodo di test su un campione dei tuoi dati veri. Non dati di demo. Dati tuoi. Almeno due settimane, meglio un mese.
Durante questo periodo raccogli i risultati del modello su problemi che già conosci la risposta. Se il modello deve prevedere quali clienti non pagheranno, tieni un gruppo di fatture che sai già se sono state pagate o no. Lascia lavorare il modello e vedi se indovina. Misura la precisione, il richiamo e la curva ROC se riguarda decisioni importanti.
Questo test pilota costa denaro. Ma è infinitamente meno costoso che scoprire sei mesi dopo che il modello non funziona come promesso. Durante il test ricorda che il fornitore di solito aggiusta il modello per i tuoi dati. È la fase di fine-tuning. Chiedi esplicitamente se quello che vedi nel test rimane stabile quando il modello passa in produzione.
Il quarto passo: i bias nascosti
Un bias è una distorsione sistematica. Se il tuo modello è stato allenato su dati storici e quei dati riflettevano decisioni umane sbagliate, il modello imparerà a replicare quegli errori.
Esempio concreto: un modello di assunzione allenato su dati di assunzioni passate di un'azienda che ha sempre assunto meno donne nei ruoli dirigenziali imparerà a preferire i candidati maschi. Non perché lo programmi esplicitamente. Perché il modello ha visto che nel passato gli uomini finivano nei ruoli alti più spesso.
Chiedi al fornitore un'analisi dei bias noti. Se il modello è per valutare creditworthiness, chiedi se è stato testato per verificare che non discrimina per genere, età o provenienza geografica. Se il modello è per selezione dei candidati, chiedi lo stesso. Questi test esistono. Se il fornitore dice che non sono importanti, è un segnale di allarme.
Il quinto passo: chi decide quando il modello sbaglia
Un modello non è mai al cento per cento accurato. A volte sbaglierà. La domanda è: chi controlla e decide se seguire o meno la sua raccomandazione? E come interviene quando il modello sbaglia?
Se il modello predice che un cliente abbandonerà il servizio, una persona reale dovrebbe sempre verificare prima di agire. Se il modello raccomanda di negare un prestito, una persona dovrebbe sempre avere la possibilità di riconsiderare il caso.
Chiedi chiarezza su chi ha responsabilità finale. Su come tracci le decisioni prese dal modello. Su come monitora le prestazioni nel tempo. Un modello che andava bene sei mesi fa potrebbe degradarsi oggi perché il mondo è cambiato. Hai un sistema per accorgerti?
Fare domande difficili prima, non dopo
La tentazione è grande: il fornitore promette risultati veloci, il management vuole implementare subito, il budget è già stanziato. Ma le aziende che traggono davvero valore dai sistemi di IA non saltano questa fase di comprensione.
Fanno domande scomode. Chiedono report dettagliati. Insistono per test pilota lunghi. Leggono la documentazione tecnica insieme ai loro data scientist interni. E solo dopo decidono.
Il tempo che dedichi a capire come funziona un modello prima di usarlo è tempo investito bene. Riduce il rischio di decisioni sbagliate, di fraintendimenti con il fornitore, di delusioni quando il sistema non funziona come sperato. L'intelligenza artificiale è uno strumento potente. Come tutti gli strumenti potenti, merita di essere usato con consapevolezza.
