Pe lângă Googlebot, prin site-ul tău trec azi și boții companiilor de inteligență artificială. Nu fac toți același lucru: unii strâng texte pentru antrenarea modelelor, alții îți citesc paginile ca să te poată cita în ChatGPT, Claude, Perplexity sau Gemini, cu link spre site-ul tău.

Dacă îi blochezi pe toți, dispari și din răspunsurile care îți pot aduce clienți. Dacă îi lași pe toți, textele tale pot ajunge în datele de antrenare ale unui model. Între cele două există o variantă de mijloc, iar alegerea e a ta: blochezi doar antrenarea și rămâi vizibil în rest. Îți arătăm exact cum.

Pe scurt

  • Boții de antrenare (GPTBot, ClaudeBot, CCBot, meta-externalagent, Amazonbot, plus regulile Google-Extended și Applebot-Extended) se pot bloca din robots.txt fără efect asupra poziției tale în Google, Bing sau ChatGPT Search. Singura nuanță e Google-Extended, care contează și pentru aplicația Gemini.
  • Boții de căutare (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot, Googlebot, bingbot) îi lași liberi: prin ei apari și ești citat.
  • Boții care deschid o pagină la cererea unui om (ChatGPT-User, Perplexity-User și alții) nu țin mereu cont de robots.txt. Dacă îi blochezi, asistentul nu îți mai poate citi pagina exact când cineva i-o cere.
  • robots.txt e o cerere, nu un lacăt. Pentru boții care nu o respectă există o regulă în .htaccess.

Ce fac, de fapt, boții AI pe site-ul tău

Un bot (crawler) e un program care citește automat pagini web. Boții companiilor de AI se împart în trei familii, iar fiecare are alt efect asupra afacerii tale:

  1. Boți de antrenare. Colectează texte pe care compania le poate folosi la antrenarea modelelor. Nu îți aduc vizitatori.
  2. Boți de căutare și citare. Construiesc indexul din care ChatGPT, Claude, Perplexity sau Siri își aleg sursele. Când ești citat, de obicei apare și linkul spre site-ul tău. Dacă îi blochezi, nu mai apari acolo.
  3. Boți la cererea utilizatorului. Deschid o pagină anume atunci când cineva îi cere asistentului s-o citească. Mai mulți operatori spun deschis că acești boți pot ignora robots.txt, pentru că cererea vine de la un om, nu de la un program automat.

Merită să-i blochezi?

Nu există un răspuns valabil pentru toată lumea. Ajută să separi două întrebări: vrei să apari în răspunsurile asistenților AI? Și accepți ca textele tale să fie folosite la antrenare?

  • Lași totul deschis dacă vrei vizibilitate maximă. Nu schimbi nimic, iar site-ul poate fi citat oriunde. Pentru o firmă care caută clienți, o mențiune într-un răspuns ChatGPT sau Perplexity poate funcționa ca o recomandare: omul ajunge pe site deja interesat.
  • Blochezi doar antrenarea dacă textele sunt chiar valoarea afacerii tale (ghiduri, articole de specialitate, descrieri de produs scrise de tine) și nu vrei să hrănească modele fără acordul tău. Rămâi vizibil în căutări și în asistenții AI. În plus, un crawler de antrenare care îți parcurge tot site-ul consumă resurse fără să-ți aducă vizitatori.
  • Blochezi tot doar dacă nu vrei deloc să fii citat de asistenții AI, știind că dispari din ChatGPT Search, Perplexity și celelalte.

Oricare ar fi alegerea, o poți schimba oricând: e vorba de câteva rânduri într-un fișier.

Boții AI activi în 2026: ce face fiecare

Lista de mai jos e verificată în documentația oficială a fiecărui operator, în septembrie 2026 (linkurile sunt la finalul articolului). Numele din prima coloană sunt exact cele pe care le scrii în robots.txt. Lista se schimbă, așa că merită reverificată de câteva ori pe an.

Boți de antrenare: îi poți bloca fără să pierzi vizibilitate în căutare

Bot Operator Ce se întâmplă dacă îl blochezi
GPTBot OpenAI Conținutul nu mai e folosit la antrenarea modelelor OpenAI. Nu afectează ChatGPT Search.
ClaudeBot Anthropic Paginile tale nu mai sunt colectate pentru antrenare. Claude te poate găsi în continuare prin Claude-SearchBot.
Google-Extended Google Conținutul nu e folosit la antrenarea modelelor Gemini. Nu afectează Google Search și nici AI Overviews. Google îl folosește însă și pentru răspunsurile aplicației Gemini care se sprijină pe căutare, deci acolo poți apărea mai rar.
Applebot-Extended Apple Conținutul nu e folosit la antrenarea modelelor Apple. Paginile rămân în Siri, Spotlight și Safari.
CCBot Common Crawl Site-ul nu mai intră în arhiva publică Common Crawl, folosită frecvent la antrenarea modelelor AI. Căutarea nu e afectată.
meta-externalagent Meta Conținutul nu mai e colectat pentru antrenarea modelelor și pentru produsele Meta. Previzualizările la distribuirea linkurilor rămân.
Amazonbot Amazon Conținutul nu mai e colectat pentru serviciile Amazon, inclusiv pentru antrenarea modelelor lor. Alexa te găsește în continuare prin Amzn-SearchBot.
Bytespider ByteDance Documentat oficial doar ca crawlerul motorului de căutare Toutiao, din China. Operatorul documentează cum interpretează robots.txt, dar nu spune ce face cu datele pentru AI. Pentru un site din România, blocarea lui costă foarte puțin.

Google-Extended și Applebot-Extended nu sunt boți propriu-ziși, ci doar nume de reguli în robots.txt. Google și Apple îți citesc site-ul cu boții obișnuiți și țin cont de aceste reguli când decid ce folosesc la antrenare.

Boți de căutare și citare: lasă-i deschiși

Bot Operator Ce pierzi dacă îl blochezi
OAI-SearchBot OpenAI Nu mai apari în răspunsurile ChatGPT Search. Poți rămâne cel mult ca simplu link de navigare.
Claude-SearchBot Anthropic Claude nu îți mai indexează paginile, deci apari mai rar în răspunsurile lui, iar ce spune despre tine poate fi mai puțin exact.
PerplexityBot Perplexity Dispari din rezultatele Perplexity. Operatorul spune că acest bot nu colectează date pentru antrenarea modelelor.
Applebot Apple Dispari din Siri, Spotlight și sugestiile Safari.
meta-webindexer Meta Nu mai apari în căutarea din Meta AI.
Amzn-SearchBot Amazon Nu mai apari în căutările făcute prin Alexa.
Googlebot, bingbot Google, Microsoft Dispari din Google (inclusiv din AI Overviews și AI Mode), din Bing și din Copilot. Nu-i bloca niciodată.

Boți la cererea utilizatorului: de obicei, nu-i bloca

Bot Operator Ce trebuie să știi
ChatGPT-User OpenAI Deschide pagina când un utilizator ChatGPT o cere. OpenAI spune că regulile din robots.txt s-ar putea să nu se aplice.
Claude-User Anthropic Același rol, pentru Claude. E singurul din tabel despre care operatorul spune explicit că respectă robots.txt.
Perplexity-User Perplexity Același rol, pentru Perplexity. Operatorul spune că, în general, ignoră robots.txt.
meta-externalfetcher Meta Deschide linkurile cerute de utilizatori în funcțiile AI ale Meta. Poate ignora robots.txt.
Amzn-User Amazon Răspunde la întrebările utilizatorilor, de exemplu prin Alexa. S-ar putea să nu respecte toate regulile din robots.txt.
Google-Agent și alți fetcheri Google Google Execută acțiuni cerute de utilizator. Google spune că, în general, ignoră robots.txt.

Dacă blochezi un bot din această categorie, pierzi exact momentul în care un om, poate un viitor client, îi cere asistentului să-ți citească pagina.

Un bot pe care nu trebuie să-l blochezi niciodată: facebookexternalhit. El generează previzualizarea (titlul și imaginea) atunci când cineva distribuie un link spre site-ul tău pe Facebook, Instagram sau Messenger.

Dacă vrei să blochezi doar antrenarea (cod gata de copiat)

Adaugă blocul de mai jos la finalul fișierului robots.txt de la rădăcina site-ului (îl găsești la adresa https://site-ul-tau.ro/robots.txt). Nu șterge regulile care există deja în fișier.

# Boți de antrenare AI: fără acces.
# Boții de căutare (Googlebot, bingbot, OAI-SearchBot,
# Claude-SearchBot, PerplexityBot, Applebot) rămân liberi.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: Bytespider
Disallow: /

Ce trebuie să știi despre bloc:

  • Boții de căutare nu apar în el, deci continuă să urmeze regulile generale din grupul User-agent: *, dacă ai unul.
  • Nu adăuga grupuri separate pentru Googlebot sau OAI-SearchBot „ca să fii sigur”. Un bot ascultă doar de grupul cel mai specific care îl numește și le ignoră pe celelalte. Un grup User-agent: Googlebot cu Allow: / ar anula pentru Google toate excluderile din grupul general, de exemplu Disallow: /wp-admin/.
  • Efectul apare, de regulă, în cel mult o zi. Operatorii păstrează o copie a fișierului până la 24 de ore înainte să-l recitească.
  • Blocarea contează de acum înainte. Nu retrage textele colectate deja.
  • Fiecare subdomeniu are nevoie de propriul fișier. Un robots.txt pus pe adresa principală nu acoperă, de exemplu, magazin.site-ul-tau.ro.

Dacă vrei să înțelegi mai bine ce face robots.txt pentru SEO în general, vezi ghidul de SEO tehnic.

Cum editezi robots.txt în cPanel

  1. Intră în cPanel și deschide File Manager.
  2. Mergi în folderul site-ului: public_html pentru domeniul principal sau folderul domeniului suplimentar.
  3. Dacă robots.txt există, alege Edit și adaugă blocul la final. Dacă nu există, creează-l cu + File, cu numele exact robots.txt.
  4. Salvează, apoi deschide https://site-ul-tau.ro/robots.txt în browser și verifică dacă apar rândurile noi.

Ai WordPress? Dacă în folder nu există un fișier robots.txt, WordPress afișează unul generat automat. Când creezi fișierul real, acesta îl înlocuiește pe cel generat. Deschide mai întâi site-ul-tau.ro/robots.txt în browser, copiază ce vezi acolo în fișierul nou și abia apoi adaugă blocul de mai sus. Unele pluginuri SEO, precum Yoast sau Rank Math, au și ele un editor pentru robots.txt. Folosește o singură metodă, ca să nu lucrezi pe două versiuni.

Pentru boții care ignoră robots.txt: regula din .htaccess

Boții de antrenare ai marilor companii declară că respectă robots.txt, dar nu toți boții o fac. Pe serverele care citesc fișierul .htaccess (Apache și LiteSpeed), poți refuza direct accesul boților de antrenare. Regula de mai jos răspunde cu eroarea 403 („acces interzis”) doar boților din listă:

# Boți de antrenare AI: acces refuzat (403), cu excepția robots.txt
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} !^/robots\.txt$
RewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot|Bytespider|meta-externalagent|Amazonbot) [NC]
RewriteRule ^ - [F]
</IfModule>

Pune blocul la începutul fișierului .htaccess din rădăcina site-ului, înaintea celorlalte reguli (la WordPress, deasupra blocului # BEGIN WordPress). Înainte să salvezi, păstrează o copie a fișierului: dacă site-ul afișează o eroare după modificare, pui copia la loc.

Ai un magazin sau un alt WordPress într-un subfolder, cu propriul fișier .htaccess care conține RewriteEngine On? Copiază același bloc și la începutul acelui fișier. Regulile de rescriere dintr-un subfolder le înlocuiesc pe cele din rădăcină, nu se adună cu ele, așa că fără copie boții trec prin subfolder.

Ce face fiecare parte:

  • Rândul cu robots.txt lasă fișierul accesibil tuturor. E important: un bot care primește 403 la robots.txt îl tratează ca și cum n-ar exista și se consideră liber să citească tot site-ul.
  • Numele sunt scrise exact. Nu scrie niciodată ceva generic, ca bot: ar prinde și Googlebot și bingbot, iar Google scoate din index paginile care îi răspund cu 403.
  • Regula nu atinge boții de căutare. GPTBot, ClaudeBot și Amazonbot sunt alte nume decât OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User sau Amzn-SearchBot, deci aceștia primesc pagina normal.
  • Google-Extended și Applebot-Extended lipsesc intenționat. Nu există boți cu aceste nume, deci aici n-ar prinde nimic. Ele funcționează doar în robots.txt.

Evită variantele cu Require sau SetEnvIf care circulă pe internet. Puse în .htaccess, pot înlocui restricțiile de acces existente (o zonă permisă doar anumitor adrese IP poate deveni publică), iar pe OpenLiteSpeed sunt ignorate fără nicio eroare.

Regula are și o limită: oprește boții care se prezintă cinstit. Un program care se dă drept browser trece de ea, la fel cum trece și de robots.txt. Traficul abuziv (atacuri, cereri trimise în rafală) e altă problemă, de care se ocupă protecția serverului, nu robots.txt sau .htaccess.

Verifică după ce salvezi

Rulează comenzile de mai jos în Terminal (macOS, Linux) sau în Command Prompt (Windows 10 și 11), cu adresa site-ului tău:

curl -sI -A "GPTBot/1.4" https://site-ul-tau.ro/
curl -sI -A "GPTBot/1.4" https://site-ul-tau.ro/robots.txt
curl -sI -A "Googlebot/2.1" https://site-ul-tau.ro/
curl -sI -A "OAI-SearchBot/1.4" https://site-ul-tau.ro/

Prima linie a fiecărui răspuns trebuie să arate 403 la primul test și 200 la celelalte trei. Dacă vezi 301, folosește adresa finală a site-ului (cu sau fără www). Dacă ai o aplicație separată într-un subfolder, repetă primul test și pe adresa ei.

Dacă testul cu GPTBot pe robots.txt dă 403, blocarea nu vine din regula de mai sus, care lasă fișierul liber. Vine dintr-un filtru pus înaintea site-ului: un CDN (Cloudflare, de exemplu, are o opțiune de blocare a boților AI), un plugin de securitate sau configurația serverului. Găsește-l și lasă robots.txt accesibil tuturor boților.

Dacă doar testul cu Googlebot dă 403, cauza poate fi un filtru de securitate care refuză boții falși (comanda ta nu vine de la Google). Confirmă cu Inspectarea URL din Google Search Console că Google primește pagina.

Google, Bing și AI Overviews: ce poți controla separat

  • AI Overviews și AI Mode din Google nu au un bot separat. Folosesc indexul obișnuit, deci Googlebot rămâne liber. Din 31 august 2026, Google Search Console are însă, pentru orice site, un comutator prin care alegi dacă site-ul apare în funcțiile de AI generativ din Căutare (AI Overviews, AI Mode, AI Overviews din Discover). Dacă îl oprești, rezultatul clasic rămâne, iar Google spune că setarea nu e folosită ca semnal de clasare în afara acestor funcții. Antrenarea modelelor Gemini se controlează separat, prin Google-Extended. Pentru pagini sau fragmente anume rămân nosnippet, data-nosnippet, max-snippet și noindex.
  • Copilot nu are nici el un bot separat: citește prin bingbot. Dacă nu vrei ca Bing să-ți folosească paginile în Copilot, poți pune pe pagină eticheta meta noarchive (pagina nu mai e legată în Copilot și nu e folosită la antrenarea modelelor Microsoft) sau nocache (în Copilot apar doar titlul, adresa și fragmentul). În ambele cazuri, pagina rămâne în rezultatele Bing.
  • Googlebot și bingbot rămân mereu liberi. Orice regulă care le răspunde cu 403, chiar și din greșeală, îți scoate paginile din căutări.

Cum face BTS Telecom

La BTS nu blocăm din start boții AI. Nu hotărâm noi în locul tău: Google, Bing și asistenții AI (ChatGPT, Claude, Perplexity, Gemini, Copilot) îți pot citi site-ul, deci te pot și cita. Decizia despre antrenare îți aparține ție, nu nouă.

Dacă vrei să blochezi antrenarea, o faci singur, în câteva minute. Pe găzduirea web, pe găzduirea WordPress și pe găzduirea pentru magazine online ai cPanel, cu File Manager, unde editezi robots.txt și .htaccess exact ca mai sus. Poți reveni oricând: ștergi rândurile adăugate și totul redevine deschis.

Dacă preferi să nu umbli singur în fișiere, deschide un tichet și îți spunem exact ce reguli să pui și unde.

Boții AI care se prezintă cu numele lor nu sunt atacuri. Pentru securitatea site-ului, pachetele de găzduire web, WordPress și pentru magazine online includ Imunify360; vezi ce este Imunify360 și cum îți protejează site-ul.

Surse oficiale

Documentația operatorilor, citită în septembrie 2026: