Che punto di vista far assumere all’AI prima di inviare un testo?

I punti di vista utili si ricavano da chi leggerà davvero quel testo, non da una lista fissa di prompt. Sono quattro le famiglie che coprono quasi tutti i casi: chi decide, chi conosce il tema, chi arriva senza contesto, chi ha qualcosa in gioco. Ne assegni quattro o cinque per volta, uno alla volta, e chiedi a ognuno di indicare la riga esatta che non torna. Qui sotto trovi 20 profili pronti e la mappa di quali servono per una email a un cliente, un preventivo, un post LinkedIn, un messaggio a un collega, un articolo, una presentazione e un messaggio delicato.

Un avvertimento subito, perché cambia l’uso dello strumento: l’AI fa emergere obiezioni plausibili, non prevede come reagirà una persona reale. Serve a far uscire in anticipo la frase ambigua, la promessa troppo grande, l’obiezione che non avevi considerato, la parola che suona bene e non dice niente. Se mandare, riscrivere o buttare resta una decisione di chi firma.

Perché rileggere un testo da soli non funziona?

Da soli si rilegge sempre con la testa di chi ha scritto. Le ambiguità che un altro coglierebbe alla prima riga a te sembrano chiare, perché sai già cosa intendevi: il contesto che manca nel testo ce l’hai in memoria e lo aggiungi senza accorgerti. È il motivo per cui una rilettura ravvicinata trova i refusi e non trova i buchi di senso.

Il rimedio ovvio è chiedere all’AI “va bene così?”. Ed è la domanda peggiore che puoi farle. Uno studio di Anthropic sul comportamento adulatorio dei modelli ha misurato cinque assistenti allo stato dell’arte su quattro compiti diversi di generazione di testo libero, e li ha trovati tutti coerentemente inclini ad assecondare chi chiede. Nello stesso lavoro emerge una cosa più scomoda: quando una risposta coincide con le opinioni di chi ha posto la domanda, è più probabile che venga preferita, e sia le persone sia i modelli di preferenza scelgono una risposta adulatoria ben scritta invece di una corretta in una frazione non trascurabile dei casi.

Tradotto in pratica: se chiedi un giudizio, ottieni un giudizio tarato su quello che sembri volere. Se assegni un ruolo con un interesse preciso, ottieni le obiezioni di quel ruolo. Cambia il tipo di risposta che torna indietro, non il tono con cui arriva.

Cosa fa davvero l’AI quando le fai leggere un testo, e cosa no?

Sul testo lavora bene, e nel concreto vuol dire cinque cose:

• le frasi che hanno più di una lettura possibile;
• le promesse che il testo fa e che tu non avevi notato di aver fatto;
• l’obiezione prevedibile che non hai anticipato da nessuna parte;
• le parole vuote, quelle che occupano una riga senza portare informazione;
• cosa manca a chi legge per capire, quando manca.

Non prevede invece la reazione di una persona specifica, e qui c’è una misura che va nella direzione opposta a quello che si immagina. Lo studio Whose Opinions Do Language Models Reflect?, presentato a ICML 2023, ha confrontato le opinioni espresse dai modelli con quelle di 60 gruppi demografici statunitensi su temi che vanno dall’aborto all’automazione, e ha trovato un disallineamento sostanziale, paragonabile alla distanza fra democratici e repubblicani sul cambiamento climatico. E resta anche quando il modello viene indirizzato esplicitamente verso un gruppo preciso.

Attenzione al perimetro: quella misura riguarda gruppi demografici americani su temi di opinione pubblica, non il tuo cliente o il tuo capo. Non è una prova diretta sul singolo destinatario. Il punto è che la capacità di dire “come reagirà un lettore di questo tipo” non risulta verificata da nessuna parte, quindi non c’è motivo di trattarla come affidabile. Vale anche al contrario, quando l’obiezione che il modello solleva non esisterebbe in nessun lettore vero.

C’è poi il problema opposto. Davanti a un vuoto un modello linguistico riempie: è lo stesso meccanismo che lo porta a inventare citazioni e riferimenti quando la fonte non basta. Se assegni una prospettiva che nel testo non ha niente da cercare, non ottieni un silenzio, ottieni un’obiezione costruita per riempire la riga.

Quali sono i 20 punti di vista da assegnare all’AI?

Le prospettive si scelgono per famiglia, perché ogni famiglia cerca una cosa diversa nel testo e sbaglia su tutto il resto. Quattro famiglie, cinque profili ciascuna.

Si parte da chi decide. Non legge per capire, legge per scegliere, quindi salta tutto quello che non pesa sulla scelta.

Poi c’è chi conosce il tema. Sono i profili che ti trovano gli errori di sostanza. Sulla chiarezza del testo, invece, non servono a niente: per loro è già tutto ovvio.

La terza famiglia serve quasi sempre, ed è quella che si dimentica sempre: chi non ha contesto. Cioè la maggioranza dei lettori reali.

Restano quelli che hanno qualcosa in gioco. Scomodi da leggere e utilissimi sui testi delicati, perché cercano un motivo, non un’informazione.

Quali punti di vista servono per ogni tipo di contenuto?

Il criterio per tenere una prospettiva è uno solo: serve se può cambiare una riga del testo. Se un profilo produce commenti veri ma su cose che non modificherai comunque, quel profilo sta aggiungendo rumore, e il rumore in una rilettura costa attenzione nel momento in cui ne hai meno.

Due casi meritano una riga in più. Sul post LinkedIn il profilo 8, il concorrente, non serve per difendersi: serve perché è l’unico che legge cercando la frase più attaccabile, e su un testo pubblico quella frase la trovi meglio prima. Sui testi che devono far vedere una decisione tua, e non solo un risultato, la rilettura da sola non basta e il problema è a monte: ne ho scritto in come dimostrare il tuo valore professionale nell’era dell’AI.

Cosa dice la ricerca sull’assegnare più personaggi a un modello?

Su questo esiste un paper che viene citato spesso, e quasi sempre allargato oltre quello che ha misurato. Si chiama Unleashing the Emergent Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration, è di Zhenhailong Wang, Shaoguang Mao, Wenshan Wu, Tao Ge, Furu Wei e Heng Ji, ed è stato pubblicato a NAACL 2024. Il metodo che propone si chiama Solo Performance Prompting, abbreviato SPP: un singolo modello identifica da sé più personaggi in base al compito, li simula e li fa collaborare su più turni, senza esempi forniti in partenza.

Il risultato che interessa qui è che assegnare più personaggi definiti in modo specifico funziona meglio che usarne uno solo o un numero fisso deciso a priori. E che l’effetto non è lo stesso su tutti i modelli: nel confronto degli autori la sinergia emerge su GPT-4 e non compare su modelli meno capaci come GPT-3.5-turbo e Llama2-13b-chat. Sono i modelli del 2023 e del 2024, e il paper non dice niente su quelli usciti dopo.

Questi sono i punteggi su GPT-4, dalla Tabella 2 del paper:

Poi c’è il confine. Nessuno di quei tre compiti è la revisione di un testo scritto da una persona. Trivia Creative Writing chiede di scrivere un racconto che incorpori le risposte a una serie di domande di cultura generale, e il punteggio si calcola contando quante risposte corrette compaiono nel testo prodotto: misura la tenuta sui fatti, non la qualità di una rilettura. Codenames Collaborative e Logic Grid Puzzle sono un gioco di associazioni e un rompicapo logico. Il paper è quindi una buona ragione per preferire più prospettive definite a una prospettiva sola su compiti complessi, e non è una prova che questo metodo migliori la tua email al cliente. Su quello, una misura non esiste.

Gli autori sono espliciti anche sui limiti del loro stesso metodo. Scrivono che anche assegnando un personaggio molto definito la risposta può restare sbagliata, che non è chiaro quanto assegnare un personaggio aiuti davvero sulla conoscenza di un dominio specifico, e che per quantificarlo servirebbero esperimenti diagnostici dedicati. Chi vende la tecnica come garanzia sta andando oltre quello che c’è scritto.

Se invece quello che ti serve non è rileggere un testo ma ragionare su una decisione o generare alternative, la strada è un’altra e l’ho già coperta: i sette framework di pensiero che diventano workflow con l’AI servono a strutturare il pensiero, non a controllare un testo pronto da inviare.

Come si scrive il prompt per far leggere il testo da più punti di vista?

Il prompt deve fare tre cose: assegnare i profili, imporre che ognuno risponda separatamente, e obbligare a citare la riga. Senza il terzo vincolo torna indietro un commento generico che potrebbe valere per qualsiasi testo. È lo stesso principio del prompt per il verbale di riunione: si scrive per togliere al modello la libertà di riempire i buchi.

Ti do un testo che devo inviare. Non riscriverlo e non dargli un voto.
Leggilo assumendo, uno alla volta, questi punti di vista:
1. [PROFILO 1]
2. [PROFILO 2]
3. [PROFILO 3]
4. [PROFILO 4]
Per ogni punto di vista, separatamente:
- cita la frase esatta del testo che crea il problema
- di' che cosa non torna leggendo da quella posizione
- di' che cosa manca a quel lettore per capire
Regole:
- non inventare obiezioni per riempire: se da un punto di vista il testo non
  presenta problemi, scrivi "nessun problema rilevante" e passa al successivo
- non descrivere come reagirà una persona reale, limitati a cosa dice il testo
- non proporre riscritture in questo passaggio
Alla fine elenca solo le obiezioni che compaiono da almeno due punti di vista
diversi.
TESTO:
[incolla qui]

L’ultima istruzione è quella che fa la differenza sul tempo. Un’obiezione che compare da due prospettive indipendenti è quasi sempre un problema reale del testo. Un’obiezione che compare da una sola prospettiva, molto spesso, è quella prospettiva che sta facendo il suo lavoro su qualcosa che non ti riguarda.

Se le obiezioni che torna indietro sono tutte vaghe, il problema non è il modello: è che non hai definito i profili abbastanza. “Un lettore critico” non è un profilo, “il responsabile acquisti che deve giustificare questa spesa al suo direttore” lo è. Sul perché i prompt generici producono risposte generiche ho scritto un articolo intero.

Una nota che vale la pena tenere a mente: il testo che incolli finisce in una chat. Se contiene dati di clienti, nomi di persone, condizioni economiche o informazioni riservate, prima di incollare vanno tolti. Ho messo la lista delle cose da non dire mai a un chatbot in un altro articolo, e il caso del testo da revisionare è uno dei più facili da sottovalutare, perché sembra solo un testo.

Quanti punti di vista servono e quando diventano rumore?

Quattro o cinque, e il tetto è pratico più che teorico: oltre quel numero le obiezioni cominciano a ripetersi con parole diverse, e il tempo che passi a scremare supera quello che avresti speso a rileggere meglio.

C’è un dato nella stessa Tabella 2 del paper che conviene guardare, perché smonta l’idea che aggiungere giri sia sempre un miglioramento. Self-Refine, cioè il metodo che fa criticare e correggere al modello il proprio output, su Codenames Collaborative passa da 75,2% a iterazione zero a 64,6% dopo una iterazione. Un giro in più, in quel caso, ha peggiorato il risultato di dieci punti e mezzo. Vale per quel metodo su quel compito, non è una legge generale, ma è un promemoria concreto: la revisione automatica non converge da sola verso il meglio.

Come si decide cosa cambiare dopo la rilettura?

Le obiezioni che tornano vanno smistate in tre pile, e la terza è quella che si dimentica sempre:

• Cambia una riga: una frase ambigua, un termine interno, una promessa formulata più larga di quello che intendevi. Si corregge e si va avanti.
• Cambia il testo: manca un pezzo di ragionamento, o l’ordine è sbagliato, o il testo risponde a una domanda diversa da quella che il lettore si fa. Qui non basta tappare un buco, va riscritta una parte.
• Non cambia niente: l’obiezione è corretta ed è una scelta tua. Un preventivo può essere caro di proposito, una posizione scomoda di proposito, un messaggio secco perché la situazione lo richiede. Sapere che quell’obiezione arriverà, e aver deciso di accettarla, è già tutto il valore del passaggio.

La terza pila è il motivo per cui questo passaggio non si delega fino in fondo. Quello che torna indietro è la mappa dei punti in cui il testo può inciampare, non l’elenco delle correzioni da applicare. Quali inciampi valga la pena togliere, e quali siano il prezzo di una scelta fatta per un motivo, lo sai solo tu.

FAQ

Fonti

• Zhenhailong Wang, Shaoguang Mao, Wenshan Wu, Tao Ge, Furu Wei, Heng Ji, Unleashing the Emergent Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration, NAACL 2024, pagine 257-279
• Mrinank Sharma et al., Towards Understanding Sycophancy in Language Models, arXiv:2310.13548 (20/10/2023)
• Shibani Santurkar, Esin Durmus, Faisal Ladhak, Cinoo Lee, Percy Liang, Tatsunori Hashimoto, Whose Opinions Do Language Models Reflect?, ICML 2023, PMLR volume 202, pagine 29971-30004

Continua altrove

Articolo scritto con il supporto dell’intelligenza artificiale, sotto la mia supervisione. La responsabilità di quello che leggi è mia.

Massimiliano Pioli

Divulgatore di Intelligenza Artificiale

Divulgo l’intelligenza artificiale con un approccio pragmatico. Su questo blog, su Substack, YouTube, WhatsApp e nel mio podcast Cronache di Intelligenza Artificiale racconto come uso davvero l’AI nel lavoro quotidiano: produttività per professionisti, ecosistema Google AI (Gemini, NotebookLM, AI Studio), Claude Cowork e Claude Code. Non racconto l’AI come magia: non ti dà il talento che non hai, ma può moltiplicare quello che sai già fare.