Quando l'AI inventa, e come accorgertene
Non sta mentendo, sta completando
Un assistente conversazionale non cerca informazioni in un archivio: produce la continuazione più probabile di quello che hai scritto. Quasi sempre la continuazione più probabile è anche vera, perché ha letto moltissimo. Ma quando non sa, non si ferma: produce comunque qualcosa di plausibile, con lo stesso tono sicuro di quando ha ragione. Non c'è un campanello, ed è questo il problema.
Dove sbaglia più spesso
L'altro errore: darti ragione
C'è un secondo modo in cui una risposta può essere sbagliata senza essere inventata: è compiacente. Se scrivi "questa idea è buona, vero?", troverai conferme. Se scrivi "secondo me qui c'è un errore", troverà un errore anche dove non c'è. Il modo di formulare la domanda influenza la risposta più di quanto sembri. Chiedi in modo neutro ("cosa noti in questo testo?") oppure dichiaratamente contrario ("trova cosa non va"), e confronta le due.
Ti incollo un testo e voglio due letture separate, senza che la seconda si appoggi alla prima. Ecco il testo: [incollalo] Prima lettura, neutra: cosa noti, senza dirmi se è buono o cattivo e senza darmi consigli. Seconda lettura, contraria: parti dall'idea che qui dentro ci sia qualcosa che non va, e trovalo. Poi dimmi dove le due letture si contraddicono, perché è lì che devo guardare io. Non provare a indovinare cosa ne penso io: non te l'ho detto apposta.
I tre controlli che bastano
Ecco una risposta che mi hai dato e che sto per usare fuori di qui: [incolla qui la risposta]. Rileggila come se l'avesse scritta qualcun altro e dovessi controllarla tu. Elencami i punti che potrebbero essere sbagliati, in ordine di rischio, e per ognuno dimmi in una riga come faccio a verificarlo. Guarda con attenzione nomi, date, numeri, citazioni, link, e tutto quello che riguarda regole locali o fatti recenti. Se su qualcosa non sei sicuro, dillo invece di riempire il buco. Alla fine dimmi quali due o tre cose controllerei per prime se avessi solo cinque minuti.
Cosa verificare e cosa no
Verificare tutto è impossibile e non serve. La regola pratica: se una cosa la stai per usare fuori (mandarla a qualcuno, pubblicarla, prendere una decisione), i nomi, le date e i numeri si controllano. Se resta un ragionamento per te, lascia perdere. E se ti ha dato un link, aprilo prima di girarlo: aprire un link costa cinque secondi e ti evita l'unica figuraccia che in questo campo non si dimentica.