Nella nostra attività di consulenza con Semantiqa aiutiamo le aziende a organizzare la propria presenza online perché sia comprensibile anche agli strumenti di intelligenza artificiale. Lavoriamo sulla struttura dei siti, sulla qualità dei contenuti e sulla coerenza delle informazioni. Dedichiamo attenzione alla velocità delle pagine e alle relazioni fra ciò che un’azienda racconta di sé attraverso canali diversi.
Nel tempo abbiamo approfondito questi aspetti e messo a punto un metodo. Recentemente, però, un problema incontrato sul campo ci ha fatto riconoscere un presupposto che avevamo verificato troppo poco: prima di comprendere una pagina, un assistente AI deve riuscire a recuperarla.
Sembra una condizione elementare. Per questo è facile darla per acquisita quando il sito funziona nel browser, le pagine sono presenti su Google e i controlli tecnici abituali non segnalano anomalie.
La nostra esperienza ci ha mostrato che merita una verifica autonoma.
Il problema è emerso chiedendo a Claude di leggere alcune pagine dei nostri siti. Il contenuto era disponibile visitando gli stessi indirizzi dal browser, ma lo strumento di recupero dell’assistente restituiva un errore: ROBOTS_DISALLOWED.
Abbiamo cominciato a controllare altri URL e a confrontare strumenti diversi. Alcuni riuscivano a recuperare i contenuti, altri fallivano. Il comportamento non era uniforme neppure all’interno dello stesso sito: in una delle prove tutti e sette gli strumenti interrogati leggevano la homepage, mentre due non riuscivano a recuperare una pagina appena pubblicata.
Questo ci ha portato a distinguere meglio due aspetti che, nel lavoro quotidiano, tendono a sovrapporsi: la disponibilità di una pagina sul web e la sua disponibilità attraverso lo specifico sistema con cui un assistente AI accede al web.
Quando chiediamo a un modello di aprire un indirizzo, infatti, la lettura passa attraverso uno strumento di recupero. Il contenuto deve attraversare quel percorso prima di poter essere analizzato. Un problema in questo passaggio può rendere inutile, per quella richiesta, tutto il lavoro fatto sulla chiarezza del testo e sull’organizzazione delle informazioni.
Il fatto che il file robots.txt non preveda nessuna limitazione non garantisce che i bot AI possano leggere le pagine. Anche un buon risultato su PageSpeed lascia aperta questa questione. Il servizio di Google valuta prestazioni ed esperienza della pagina, con controlli su accessibilità, buone pratiche e SEO. Non certifica che i diversi servizi AI riescano a recuperarne i contenuti. Documentazione di Google.
Per capire che cosa stesse accadendo abbiamo impostato prove più precise del semplice «riesci a leggere questo sito?».
Su alcune pagine abbiamo inserito una frase insolita e un codice identificativo, chiedendo agli assistenti di restituirli senza anticiparli nel prompt. Potevamo così verificare che la risposta contenesse informazioni effettivamente presenti nella pagina, anziché una descrizione plausibile dell’azienda o un riassunto ricavato altrove.
Abbiamo confrontato Claude, Gemini, ChatGPT web, Grok, DeepSeek, Perplexity e il lettore web di Codex. Abbiamo annotato gli indirizzi interrogati, le configurazioni utilizzate, gli errori e i risultati dei tentativi ripetuti.
Le prove hanno coinvolto anche l’infrastruttura: trasferimenti del sito di test fra hosting diversi e l’introduzione di un proxy Cloudflare davanti a un’installazione WordPress rimasta sul server originario.
Un proxy si colloca fra chi richiede la pagina e il server che la ospita. Può gestire la distribuzione dei contenuti, la cache e alcuni controlli sul traffico. Inserirlo significa quindi modificare il percorso di accesso al sito, senza necessariamente cambiare il sito stesso.
I risultati più rilevanti sono stati questi:
| Verifica | Risultato osservato |
|---|---|
| Accesso con Claude in alcune configurazioni su Hostinger | Recupero fallito con errore ROBOTS_DISALLOWED |
| Sito di prova trasferito su Cloudways e poi su SiteGround | Claude ha recuperato correttamente i codici presenti nelle pagine |
| WordPress mantenuto su Hostinger, con proxy Cloudflare | Lettura riuscita con Claude; nella verifica complessiva, contenuto recuperato da cinque strumenti su sette |
| Homepage e nuova pagina di un altro sito di controllo | Homepage recuperata da sette strumenti su sette; nuova pagina da cinque su sette |
Prove del 26 settembre 2026. Gli esiti riguardano le pagine e le sessioni esaminate; le configurazioni sono state verificate in momenti diversi.
Siamo quindi riusciti a superare il problema di lettura con Claude nelle configurazioni testate, intervenendo sull’infrastruttura. Il risultato operativo era concreto: contenuti prima non recuperati diventavano disponibili all’assistente, senza dover riscrivere gli articoli.
Sono rimasti, però, alcuni fallimenti con Perplexity e con il lettore web di Codex. Sarebbe scorretto presentare l’intervento come una soluzione universale.
Non abbiamo neppure individuato con certezza il meccanismo che produceva il blocco iniziale. Cambiare hosting o percorso di distribuzione può modificare più condizioni contemporaneamente. Il miglioramento osservato ci ha indicato una direzione utile, senza dimostrare che un determinato provider fosse sempre incompatibile con un determinato assistente.
Questa distinzione ha conseguenze pratiche: prima di consigliare una migrazione, bisogna verificare il problema sul sito interessato e controllare il risultato dell’intervento.
Durante l’indagine abbiamo anche dovuto ridimensionare il significato di alcuni segnali apparentemente rassicuranti.
Una risposta HTTP 200 indica che una determinata richiesta ha ricevuto una risposta di successo dal server. Se la otteniamo dal nostro computer, non sappiamo ancora che cosa riceva il servizio utilizzato dall’assistente AI.
Allo stesso modo, il messaggio ROBOTS_DISALLOWED non dimostra da solo che il proprietario del sito abbia inserito un divieto nel file robots.txt. Nei nostri test i messaggi dei lettori non mostravano sempre i dettagli tecnici necessari per ricostruire l’origine del problema.
Anche parlare genericamente di «bot AI» può essere fuorviante. Anthropic distingue i sistemi destinati alla raccolta per l’addestramento, quelli per la ricerca e quelli che recuperano contenuti su richiesta degli utenti. OpenAI opera distinzioni analoghe. Consentire o bloccare una di queste attività non equivale necessariamente a consentirle o bloccarle tutte. Documentazione di Anthropic, documentazione di OpenAI.
Per questo una verifica utile deve tenere insieme più elementi: le regole dichiarate dal sito, le risposte effettive, le impostazioni di hosting e CDN, le eventuali protezioni contro il traffico automatico e il comportamento dei singoli strumenti.
La cache merita un’attenzione particolare anche nell’interpretazione dei risultati. Se un assistente restituisce il testo corretto, abbiamo un’evidenza del recupero del contenuto, ma non necessariamente la prova che abbia contattato il server in quel momento. Per ricostruire quel passaggio occorrono i registri delle richieste.
Da questa esperienza abbiamo aggiunto al nostro metodo quello che possiamo chiamare il primo livello di compatibilità con l’AI: l’accessibilità effettiva dei contenuti ai suoi strumenti di lettura.
Lo verifichiamo su un campione di pagine, includendo contenuti recenti e pagine interne, attraverso più assistenti. Quando emergono anomalie, il controllo si estende all’infrastruttura. Dopo un intervento, ripetiamo le prove sugli stessi indirizzi per capire se il problema sia stato superato e quali limiti rimangano.
Questo livello precede gli altri aspetti del lavoro sulla visibilità. Una volta che il contenuto è disponibile, entrano in gioco la sua comprensibilità, la coerenza delle informazioni, la qualità delle fonti e la pertinenza rispetto alla domanda dell’utente.
Sono passaggi collegati, con verifiche differenti. Riuscire a leggere una pagina su richiesta non significa che un assistente la selezionerà spontaneamente come fonte. E un tentativo di lettura fallito non rende automaticamente un’azienda sconosciuta all’AI, che potrebbe avere accesso a informazioni pubblicate altrove.
Per chi vuole migliorare la propria impronta semantica, resta però essenziale sapere se i contenuti che controlla direttamente siano effettivamente disponibili.
Il nostro modello si è arricchito attraverso un problema concreto. Avevamo dedicato molta attenzione a ciò che un sito comunica e a come organizza le informazioni; questa esperienza ci ha portato a verificare con maggiore rigore anche il percorso attraverso cui quelle informazioni arrivano agli assistenti.
Una strategia per migliorare la visibilità di un’azienda nell’intelligenza artificiale deve prevedere anche questo lavoro: controlli sulle pagine reali, verifiche dell’infrastruttura e prove ripetute dopo le modifiche. La qualità dei contenuti rimane centrale. Assicurarsi che possano essere recuperati è parte del lavoro necessario per renderla utile.
