Roboty AI w Twoich logach: kim są i które są prawdziwe
Każda wizyta robota AI w Twoim logu przychodzi z nazwą i adresem IP. Po nazwie aplikacja znajduje robota, a po adresie rozstrzyga, czy wizyta jest prawdziwa.
Jak aplikacja znajduje robota
Aplikacja porównuje User-Agent każdego wiersza logu z tokenem, który trzyma dla każdego znanego robota. Dopasowanie rządzi się czterema regułami:
- Wielkość liter nie ma znaczenia.
- Liczy się tylko cały token. Litera, cyfra, podkreślenie albo myślnik obok niego psuje dopasowanie, więc Applebot nie pasuje do Applebot-Extended.
- Gdy pasuje kilka tokenów, wygrywa najdłuższy.
- Adresy www w User-Agencie są przed dopasowaniem usuwane, więc link informacyjny robota nie jest brany za robota.
Lista dostarczana z aplikacją ma dziś 32 roboty.
Trzy role
Roboty pracują w jednej z trzech ról.
- search: robot zasila indeks wyszukiwarki.
- user_fetch: robot pobiera stronę, bo poprosił o to użytkownik.
- training: robot zbiera dane do trenowania.
Zakładka Aktualność zawsze pokazuje Googlebota, Bingbota, OAI-SearchBota, Claude-SearchBota, PerplexityBota i CCBota. Inne roboty pojawiają się tam dopiero, gdy przeczytają jakąś stronę. Na liście są też między innymi GPTBot, ClaudeBot, Applebot, Amazonbot i Bytespider.
Każdą z pięciu platform AI reprezentuje jeden robot wyszukiwarkowy:
| Robot wyszukiwarkowy | Platforma |
|---|---|
| Googlebot | Gemini |
| Bingbot | Copilot |
| OAI-SearchBot | ChatGPT |
| Claude-SearchBot | Claude |
| PerplexityBot | Perplexity |
OpenAI ma na liście aplikacji trzy roboty, po jednym w każdej roli: OAI-SearchBot to search (zasila wyszukiwarkę ChatGPT), ChatGPT-User to user_fetch (pobiera stronę, gdy prosi o to użytkownik ChatGPT), a GPTBot to training (zbiera treści do trenowania modeli OpenAI).
Jak weryfikowana jest wizyta
Aplikacja porównuje adres IP z wiersza logu z listami adresów, które publikują dostawcy robotów. Nie wysyła zapytań DNS, bo na hostingu często nie ma DNS, a zapytanie o każdy adres byłoby wolne. Każda wizyta dostaje jeden z trzech werdyktów:
- Potwierdzone: adres mieści się w zakresie, który publikuje dostawca, na dowolnej z wczytanych list tego robota.
- Niepotwierdzone: robot ma listy, aplikacja wczytała je wszystkie, a adresu nie ma na żadnej. Wizyta może być podróbką, która tylko podszywa się pod nazwę robota.
- Bez listy: robot nie ma listy adresów albo jednej z jego list nie udało się wczytać, a adresu nie ma na pozostałych. Niczego nie da się stwierdzić.
Kilka szczegółów:
- Listy aplikacja pobiera najwyżej raz dziennie (UTC) i trzyma kopię na Twoim serwerze.
- Nieudane pobranie nie nadpisuje kopii. Bez kopii robot dostaje "bez listy".
- Werdykt aplikacja ustala przy przeliczaniu wizyty i zapisuje razem z nią. Gdy dostawca później zmieni listę, nie sprawdza jej ponownie.
- Sprawdzenie używa adresu z wiersza logu.
- Jedenaście robotów nie ma dziś listy IP: meta-externalfetcher, meta-externalagent, meta-webindexer, anthropic-ai, Claude-Agent, Google-GeminiNotebook, Amazonbot, Amzn-SearchBot, Amzn-User, Bytespider i MistralAI-Training. Ich wizyty dostają oznaczenie "bez listy".
- CCBot ma listę adresów, więc aplikacja sprawdza go na tej liście. Common Crawl zaleca też odwrotny DNS, a aplikacja go nie robi.
Co panel robi z werdyktami
W panelu wizyty dzielą się na potwierdzone, niepotwierdzone (możliwe podróbki) i bez listy. Przełącznik Potwierdzone / Wszystkie wybiera, które z nich liczyć. Wiersze Aktualności liczą wizyty potwierdzone oraz osobno wizyty bez listy. Wizyt niepotwierdzonych nie liczą w ogóle.
Kiedy prawdziwy robot wygląda na fałszywego
Jeśli serwer zapisuje w logu adres proxy (na przykład CDN) zamiast adresu odwiedzającego, prawdziwe roboty wyglądają na niepotwierdzone. Jeśli prawdziwe roboty utknęły na niepotwierdzonych, zacznij właśnie od tego.
Blokady w Cloudflare i odpowiedzi z cache nie docierają do Twojego serwera, więc nie zostawiają linii w logu.
Czy roboty mogą wejść?
Zakładka Dostęp pyta api.adinspire.com, czy roboty AI mogą wejść na Twoją stronę główną. Sprawdza, co mówi robots.txt, robi test z nazwami robotów i szuka strony w Common Crawl. Wynik to ocena: w porządku, są przeszkody, poważne przeszkody albo nie do ustalenia.
Sprawdzenie w Common Crawl działa tylko dla domeny głównej instalacji, nie dla innych domen z tego samego logu. Obejmuje stronę główną i do 19 najczęściej odwiedzanych stron, razem 20 adresów. Masz 3 sprawdzenia dostępu dziennie na instalację. Jedno sprawdzenie trwa zwykle od 10 do 20 sekund.
Dostęp i Common Crawl zależą od usługi api.adinspire.com, tak samo aktualizacje (sprawdzanie nowej wersji i nowej listy robotów oraz pobranie paczki). Reszta aplikacji działa bez niej. Dokładnie co opuszcza Twój serwer, wymienia strona Co aplikacja zapisuje i wysyła.