L'errore è un'informazione

L'industria dell'intelligenza artificiale ha un nemico dichiarato, e lo ripete in ogni keynote: l'errore. L'allucinazione, la risposta sbagliata, il caso limite che manda in tilt il modello. Tutta l'ingegneria degli ultimi anni punta lì — ridurre l'errore, nascondere l'errore, portare l'accuratezza dal novantasette al novantotto al novantanove percento, come se la perfezione fosse una destinazione e non un asintoto.

C'è qualcosa di sbagliato in questo modo di vedere. Non tecnicamente — tecnicamente ridurre l'errore è giusto. È sbagliato filosoficamente. Perché tratta l'errore come rumore da sopprimere, quando spesso è il segnale più informativo che la macchina ti dà.

QUANDO L'AI SBAGLIA, RARAMENTE SBAGLIA A CASO.

Sbaglia dove i dati erano pochi. Sbaglia dove la realtà è più complicata di come qualcuno l'ha modellata. Sbaglia sui casi che non somigliano a niente di già visto — cioè esattamente i casi nuovi, rari, importanti. L'errore di un modello è una mappa: ti dice dove finisce ciò che è stato digerito e comincia ciò che è ancora umano. È il confine, disegnato in negativo.

Un'azienda che usa l'AI e ne registra solo i successi sta buttando via metà dell'informazione. Perché ogni volta che il sistema sbaglia, sta indicando qualcosa: un processo mal descritto, un'eccezione che nessuno aveva codificato, un caso che il manuale non prevedeva. L'errore della macchina è una radiografia del punto cieco dell'organizzazione. Costa caro ignorarlo, e costa pochissimo leggerlo — basta decidere di guardarlo invece di correre a cancellarlo.

IL GLITCH NON È IL MOMENTO IN CUI LA MACCHINA SI ROMPE. È IL MOMENTO IN CUI TI DICE LA VERITÀ.

Questa è anche la differenza tra chi subisce uno strumento e chi lo capisce. Chi lo subisce, davanti all'errore, perde fiducia e spegne tutto, oppure peggio: smette di controllare e si fida lo stesso. Chi lo capisce, davanti all'errore, si ferma e chiede perché qui. Quella domanda — perché ha sbagliato proprio questo — vale più di mille risposte giuste, perché le risposte giuste confermano quello che già sai, e l'errore ti insegna quello che non sapevi.

C'è una parola che usiamo per le macchine — «affidabilità» — e la confondiamo con «infallibilità». Sono due cose diverse. Una macchina affidabile non è una che non sbaglia mai. È una che sbaglia in modo leggibile: dove te lo aspetti, come te lo aspetti, lasciando una traccia che puoi seguire. L'infallibilità è una promessa da venditore. L'affidabilità è una proprietà da ingegnere — e da persona adulta.

Il nome di tutto questo non è un caso. Un glitch, in origine, è un'anomalia: un comportamento imprevisto che rivela qualcosa sul sistema che lo produce. Gli ingegneri li odiano e li inseguono, perché un glitch è una finestra. Non lo nascondi: lo studi, e capisci la macchina meglio di prima.

L'ERRORE NON È IL CONTRARIO DELLA CONOSCENZA. È UNO DEI SUOI INGRESSI.

La narrazione dominante vuole un'AI senza attriti, liscia, che non sbaglia mai e quindi non ha più bisogno di nessuno che la guardi. È un sogno, e come tutti i sogni di perfezione ha un costo: cancella il momento in cui un essere umano potrebbe imparare qualcosa. Un sistema che non sbaglia mai è un sistema che non ti insegna più niente — e di cui smetti di accorgerti quando, prima o poi, sbaglia davvero.

Tenetevi l'attrito. È lì che si impara. È lì che restiamo necessari. È lì, esattamente lì, che il glitch è umano.