Dosadi se AI koji strugava vaš sadržaj? Ovaj blokator otvorenog koda može pomoći – evo kako

Svatko tko vodi web stranicu zna kako su danas dosadni AI botovi.

F5tvrtka za dostavu aplikacija, otkrila je da je više od Polovina svih web posjeta ne dolazi od ljudi, već od strugača podatakauključujući OpenAi, Anthropic, Google i AI botove AI.

Također: AI botovi koji struju vaše podatke? Ovaj besplatni alat daje onim neugodnim puzaljkama

(Otkrivanje: Ziff Davis, matična tvrtka ZDNET, podnijela je tužbu protiv Openai -a u travnju 2025., tvrdeći da je prekršio autorska prava Ziff Davis u obuci i upravljanje svojim AI sustavima.)

Zaustavljanje AI botova u svojim tragovima

Ljudi su bolesni i umorni od gubitka novca na svoje web stranice samo kako bi AI tvrtke otjerali sve što vrijedi. Dakle, XE IASO, tehnički odgajatelj i borac s honorarnim botom, napisao je program otvorenog koda, Anubiszaustaviti AI botove u svojim tragovima.

Anubis nije jedini takav program. Doista, iaso slobodno priznaje da je “u osnovi Cloudflare. Jeste li bot? [aka Cloudflare Turnstile] Stranica, ali samostalno host. “To vam omogućava da ga pokrenete na vlastitom poslužitelju, a da pritom ne naplatite naknade.

Također: Kako AI tvrtke potajno prikupljaju podatke o obuci s interneta (i zašto je to važno)

Anubis je osmišljen za zaštitu web stranica-posebno onih koje vode male organizacije, projekti otvorenog koda i arhiva-od nemilosrdnog napada automatiziranih strugača koji prijete da će nadvladati poslužitelje i povećati troškove hostinga. Program je uslužni program Web AI vatrozida. Sve dolazne HTTP veze moraju uspješno proći kroz njega prije nego što stignete na vašu stvarnu web stranicu.

Jezik u obrazu, Iaso opisuje anubis kao drevni egipatski Bog, vagajući dušu vaše veze koristeći jedan ili više izazova za zaštitu uzvodnih resursa od krčiva. To se čini tako što će posjetitelji zahtijevati da riješe računalnu zagonetku, koja je trivijalna za računala, ali skupo za botove koji rade na skali.

Sustav provjerava da li se posjetitelji ponašaju poput stvarnih preglednika, koristeći JavaScript i kolačiće za provjeru autentičnosti. Kad bot ne uspije ove izazove, blokiran je prije nego što dosegne osnovne resurse web stranice.

Anubis je Uncaptcha

E sad, možete pitati: “Nije li ovo samo Captcha? A nisu li AI programi jednako dobri u rješavanju onih kao što su to ljudi?”

To je istina – jesu. No, kako kaže IASO, “Anubis je Uncaptcha. Koristi značajke vašeg preglednika za automatizaciju puno posla koji bi Captcha, a trenutno je glavna implementacija tako što će pokrenuti gomilu kriptografske matematike s JavaScriptom kako bi dokazao da možete pokrenuti JavaScript na način koji može biti potvrđen na poslužitelju.

Također: Cloudflare je upravo promijenio internet, a to je loša vijest za AI divove

Svjesna je da mnogi oklijevaju voditi JavaScript zbog sigurnosnih i privatnosti. Radi na ne-JavaScript verziji Anubisa, ali još nije ovdje. Proći će neko vrijeme. Na nit Reddita Iaso je rekla da “radim na boljem koji se ne oslanja na JS, ali o Bože, To će biti paklena stvar koju treba provesti.”

Anubis je napisan u Go i licenciran prema licenci MIT otvorenog koda. Dizajniran je tako da je “što lakši kako bi se osiguralo da svi mogu priuštiti da zaštite zajednice koje su im najbliže”. U prosjeku, program koristi manje od 128 MB RAM -a na strani poslužitelja.

Većinu radnog opterećenja upravljaju računalima i pametnim telefonima posjetitelja. Ipak, opterećenje za obradu krajnjeg korisnika toliko je nisko da obični korisnici neće primijetiti. Doista, budući da Anubis djeluje transparentno, nema kapetana koji bi mogli riješiti ili slike za klik; Većina ljudi neće ni znati da se išta događa.

Također: Ovaj proxy davatelj koji sam testirao najbolji je za struganje na webu – a to nije iProyal ili Marsproxies

Dokaz rada radi u pozadini, a samo oni koji imaju zastarjele preglednike ili JavaScript onemogućeni mogu naići na probleme. To je još jedna priča za bot farme – njihovo opterećenje brzo se zbroji.

U blogu Iaso kaže:

Na visokoj razini, Anubis ima veliki stari skup pravila u Vaša datoteka politike Bot. Ako se klijenti podudaraju s pravilom, oni se prenose, blokirani ili odabrani za sekundarni pregled. Prema zadanim postavkama, Anubis je namijenjen da odmah radi tako što zaustavljaju sve krvare i puštaju administratore da spavaju bez da ih upozorenja o zastoju budi. To znači da je pretjerano paranoično i agresivno izaziva sve, slično kao CloudFlareov način rada “Ja sam pod napadom”.

Moja je namjera bila da administratori krenu s tim da je Anubis prilično paranoičan, a zatim polako umanjiti paranoju jer pronalaze bolje obrasce i podudaraju načine kako raditi stvari. Korisnici imaju tendenciju da koriste Anubis u svojoj zadanoj konfiguraciji, ali ova zadana konfiguracija ometa čitače RSS feedova i druge “dobre botove”.

Nuklearni odgovor

Rezultat je alat koji Iaso opisuje kao “malo nuklearnog odgovora”.

“To će rezultirati time da vaša web stranica bude blokirana od manjih strugača i može inhibirati” dobre robote “poput Internet arhiva. Možete konfigurirati definicije bot politika kako bi ih izričito dopustili, a mi radimo na kuriranom skupu” poznatih dobrih “botova kako bismo omogućili kompromis između otkrivanja i radnog vremena”, kaže Iaso.

Također: Reddit tuži antropično zbog struganja sadržaja svojih korisnika bez pristanka

Mnoge su skupine bile spremne za nuklearni odgovor. Organizacije kao što su GNOME, FFMPEG i UNESCO prihvatile su Anubis kako bi zaštitile svoju internetsku infrastrukturu. Od svog objavljivanja u siječnju 2025. godine, Anubis je preuzet više od 200 000 puta i zaslužan je za pomoć brojnim organizacijama da izbjegnu prekid i smanji teret neželjenog struganja AI.

Prema Sveučilištu Duke, sretnog korisnika Anubisa, školski bibliotečki sustavi imaju uspješno je blokirao oko 90 posto neželjenog prometa i više od 4 milijuna neželjenih HTTP zahtjeva dnevno, istovremeno poboljšavajući performanse usluge uz minimalnu blokadu stvarnih korisnika.

Kako instalirati i pokrenuti anubis

Postoje Nekoliko načina za instaliranje i pokretanje Anubisa.

Obično bi ANUBIS trebao sjediti između vašeg obrnutog proxy -a i vaše ciljane usluge. Podrška je trenutno besplatna. Možete mu pristupiti putem ITS -a Stranica izdanja GitHub ili, za chat uživo, pridružite se IASO -u Patreon I pitajte u kanalu Patreon Discord. Tu je i komercijalna verzija Anubisa po imenu Botstopperšto u ovom trenutku samo nudi organizacijama veću kontrolu nad markiranjem programa.

Također: Kako su glumci globalne prijetnje sada oružje AI, prema Openai -u

Bitka između programera bot-a i branitelja obećava da će biti beskrajne. Anubisovi kreativci ažuriraju alat za suzbijanje novih taktika utaje, poput preglednika bez glave i naprednog otiska prsta. Cilj je održati Internet pristupačan ljudima, a pritom će ga učiniti neekonomičnim za zlostavljanje botova koji rade u mjerilu. Ovo nije lako.

Ako projekt smatrate korisnim, podržavajte ga. Ona može koristiti svu pomoć koju možete pružiti.

Svakodnevno u pristigloj pošte svakodnevno nabavite jutarnje priče Tehno danas bilten.