Sve veći broj web sajtova odlučuje da blokira pristup svom sadržaju AI botovima — automatizovanim programima koje koriste kompanije za vještačku inteligenciju kako bi prikupljale tekstove i podatke sa interneta.
Ogroman porast blokiranja GPTBota
Prema podacima kompanije BuiltWith, tokom 2025. godine broj sajtova koji su dodali GPTBot na listu blokiranih u robots.txt fajlu porastao je sa oko 3,3 miliona u julu na 5,6 miliona, što predstavlja gotovo 70% povećanja.
I drugi AI crawleri nailaze na prepreke
Sličan trend bilježe i drugi poznati AI crawleri. ClaudeBot i njegov pratilac Claude‑SearchBot, kao i AppleBot, sada su blokirani na približno 5,8 miliona sajtova — znatno više nego ranije.
Čak i GoogleBot se sve češće blokira
Čak i GoogleBot, robot koji indeksira sajtove za Google pretragu, sve češće nailazi na zabrane. Prema BuiltWith-u, oko 18 miliona sajtova trenutno blokira GoogleBot, što može rezultirati time da ti sajtovi nestanu iz rezultata pretrage.
Zašto sajtovi blokiraju AI botove
Stručnjaci tvrde da ovaj rast blokiranja pokazuje da sve više izdavača vidi AI botove ne kao korisne alate, već kao prijetnju — zbog zaštite autorskih prava, očuvanja originalnog sadržaja ili sprječavanja preopterećenja servera.
Problem nepoštovanja pravila
Glavni problem je što mnogi AI crawleri ignorišu upute iz robots.txt fajla i nastavljaju prikupljati podatke sa sajtova koji su ih eksplicitno zabranili.
Borba za digitalni sadržaj tek počinje
Uprkos naporima vlasnika sajtova, masovno prikupljanje informacija u svrhu treniranja AI modela postaje sve izazovnije, što ukazuje da se borba za kontrolu nad digitalnim sadržajem tek zahuktava.
