Co aplikacja zapisuje i wysyła

Wszystko, co zbiera aplikacja, trafia do zwykłych plików w folderze danych na Twoim serwerze. Bazy danych nie ma. Ta strona opisuje aplikację. Polityka prywatności tej strony internetowej to osobna strona: Polityka prywatności.

Folder danych

Folder nazywa się data- plus 24 losowe znaki szesnastkowe i leży w folderze aplikacji. Aplikacja tworzy go przy pierwszym otwarciu adresu i zamyka przed internetem. Na serwerze, który ignoruje .htaccess (nginx), chroni go tylko losowa nazwa. Taki folder ma być dokładnie jeden. Dwa lub więcej to błąd konfiguracji.

Co w nim leży

Kopie logów Twojego serwera z adresami IP, gdy aplikacja je kopiuje albo pobiera, dlatego folder musi pozostać zamknięty. Przy odczycie bezpośrednim aplikacja czyta log tam, gdzie leży, a folder na kopie zostaje pusty.
Pliki logów, które wgrywasz ręcznie (sposób "Wgrywam pliki"), pod nazwami, które nadaje aplikacja. Plik przeczytany do końca jest usuwany po 14 dniach, a wizyty z niego są już zapisane. Nic z tych plików nie trafia do api.adinspire.com.
Zaszyfrowane hasło Twojego konta FTP lub SFTP, prywatny klucz SFTP i klucz szyfrujący, tylko gdy zapiszesz hasło albo klucz. Prawa dostępu do tych plików to 0600.
Zapisane wizyty robotów, jeden plik na dzień (dzień w UTC).
Wejścia ludzi z odpowiedzi AI (funkcja w wersji beta Ruch z AI), jeden plik na dzień (UTC), bez adresu IP i bez User-Agenta.
Ustawienia instalacji i sesje zalogowanych użytkowników.
Kopie list IP dostawców robotów, pobierane najwyżej raz dziennie.
Lista adresów stron z Twojej sitemap i typ każdej strony, pobierane najwyżej raz dziennie.
Ślad rozmiarów odpowiedzi dla stron z sitemap: dla każdej strony i każdego rozmiaru odpowiedzi 200 pierwszy i ostatni czas oraz liczba odpowiedzi na dzień. Liczy odpowiedzi dla wszystkich odwiedzających, także ludzi, bo więcej odpowiedzi daje dokładniejsze wersje. Nie zawiera adresów IP ani User-Agentów.
Widoczny tekst stron z Twojej sitemap, odczytany z plików Twojej strony, tylko gdy aplikacja zna folder z plikami stron.
Dane panelu, budowane po uruchomieniu, które zapisało nowe wizyty. Folder można usunąć, a następne uruchomienie zapisze go od nowa.
Historia wizyt w panel/history.json: liczba wizyt każdego dnia, łączna liczba, pierwszy i ostatni dzień, dni z uszkodzonym plikiem. Gdy dzień ma mniej wizyt niż wcześniej albo zniknął (poza dniami starszymi niż 13 miesięcy, które aplikacja kasuje sama), plik zapisuje spadek na 14 dni, a strona stanu ostrzega o nim. Bez adresów IP i User-Agentów.
Dziennik diagnostyczny w folderze diag/: jedna linia na zdarzenie (przebieg, budowanie panelu, spadek wizyt, zmiana ustawień) z czasem i wersją aplikacji. Same liczby, nazwy domen i dni. Bez adresów IP, User-Agentów, refererów, haseł i danych logowania. Rośnie do 2 MB, potem aplikacja zaczyna nowy plik i trzyma poprzedni, razem najwyżej około 4 MB. Właściciel pobiera go ze strony stanu dla wsparcia.
Lista adresów spoza sitemap w panel/outside.json.gz (i panel/outside/<klucz>.json.gz dla innych domen): dla każdego adresu wizyty i odpowiedzi z błędem na dzień i robota oraz czas ostatniej wizyty każdego robota. Najwyżej 3000 adresów; adres jest bez parametrów po ?. Bez adresów IP i User-Agentów.
Wyniki sprawdzeń Dostępu i Common Crawl.
Pliki aktualizacji, w folderze update/: ostatnie sprawdzenie nowej wersji, pobrana nowsza lista robotów, a w czasie instalacji kopia poprzedniej wersji, zapis zadania i paczka w trakcie podmiany. Bez adresów IP i User-Agentów.
Stan ostatniego uruchomienia: czasy, liczby plików i wierszy, format logu. Bez linii logu i bez adresów IP.

Zapisana wizyta

Zapisana wizyta robota zawiera między innymi adres IP, User-Agent i referer. Pełna lista pól: czas z logu, robot z jego firmą i rolą, User-Agent, adres IP, werdykt, żądanie (metoda, ścieżka z częścią po ?, kod statusu, rozmiar), referer oraz, dla jednego formatu logu, kraj i kontynent.

Ludzie i inni odwiedzający nigdy nie są zapisywani jako wizyty robotów. Jedyny wyjątek to wejście człowieka z odpowiedzi AI, opisane niżej. Wiersze domen, których się nie zbiera, są tylko liczone.

Wejścia z AI (beta)

Funkcja w wersji beta Ruch z AI zapisuje wejścia ludzi z odpowiedzi AI: czas, adres strony bez parametrów, platformę i ślad, który pasował (utm_source albo referer). Nie zapisuje adresu IP ani User-Agenta. Zbiera od dnia instalacji i raz po instalacji czyta jeszcze raz logi dostępne na serwerze (zwykle 7 dni).

Jak długo to leży

Aplikacja trzyma zapisane wizyty robotów 13 miesięcy. Raz na dobę, przy przeliczaniu, sama usuwa pliki dni starsze niż 13 miesięcy kalendarzowych, także w folderach innych domen. Pliki dni z wejściami z AI starsze niż 13 miesięcy są usuwane razem z wizytami.

Czego nie ma w panelu

Pliki wizyt zawierają adres IP i User-Agent każdej wizyty. Dane panelu nie zawierają żadnego z tych pól. Aplikacja sprawdza to przy każdym zapisie, więc panel pokazuje liczby i adresy stron, a nigdy tego, kto z jakiego adresu przyszedł.

Co wychodzi

Do api.adinspire.com wychodzą tylko te rzeczy: adres strony głównej i do 19 innych adresów (sprawdzenie w Common Crawl, razem 20), język panelu i identyfikator instalacji. Wyjątkiem jest sprawdzanie nowej wersji, które ma własną regułę. Wysyła numer wersji aplikacji, losowy identyfikator instalacji (ten sam co przy sprawdzeniu Dostępu) i domenę Twojej strony (sama domena, bez www, ścieżki i portu). Wersja i identyfikator idą zawsze. Domena idzie tylko wtedy, gdy na ekranie Aktualizacje jest włączony przełącznik "Wysyłaj adres strony", a jest włączony domyślnie. Po jego wyłączeniu następne sprawdzenie nie wysyła domeny. Aplikacja sprawdza raz na dobę i po kliknięciu "Sprawdź teraz", tylko na adresie publicznym, więc kopia lokalna albo testowa nikogo o nic nie pyta. Pobranie paczki i listy robotów nie niesie ani identyfikatora, ani domeny. Z Twoich logów nie wychodzi nic. Ani adresy IP odwiedzających, ani User-Agenty. Z tej usługi korzystają tylko widok Dostęp, sprawdzenie w Common Crawl i aktualizacje.

Co aplikacja pobiera

Aplikacja pobiera z internetu te rzeczy: listy IP dostawców robotów, sitemap Twojej strony (i kategorie WordPressa) oraz własny plik testowy z folderu danych. Z api.adinspire.com pobiera też informację o nowych wydaniach, nowszą listę robotów i, po kliknięciu "Zainstaluj", paczkę aplikacji. Paczka jest sprawdzana podpisem cyfrowym. Jeśli wybierzesz SFTP albo FTP, aplikacja pobiera też pliki logów z Twojego konta hostingowego.

Inne domeny w tym samym logu

Po włączeniu pola "Zbieraj też pozostałe domeny" aplikacja zbiera wizyty wszystkich domen z jednego logu. Każda inna domena z wizytą robota dostaje własny folder o takim samym układzie plików. Aplikacja trzyma najwyżej 200 innych domen w jednym uruchomieniu. Wizyta na kolejną domenę nie jest zapisywana, a strona stanu mówi, ile wierszy pominięto.

Jak weryfikujemy roboty Przeczytaj instrukcję instalacji