Stan darmowych proxy: jak sporządzamy raport

Ekosystem darmowych serwerów proxy jest hałaśliwy: listy twierdzą, że mają tysiące proxy, z których większość jest martwa, a niewiele wyjaśnia, jak dotarły do jakiejkolwiek liczby. Przyjmujemy odwrotne podejście i publikujemy metodologię, aby liczby miały sens. Zamiast podawać stałą wartość tutaj — która byłaby nieaktualna w momencie jej napisania — aktualne dane zawsze znajdują się na liście darmowych proxy, aktualizowane w miarę ponownego pomiaru danych.

Co śledzimy w czasie: ile proxy jest obecnie aktywnych, ich rozkład według kraju i protokołu (SOCKS5, SOCKS4, HTTP, HTTPS), podział według poziomu anonimowości (elita, anonimowy, przezroczysty) oraz opóźnienia mierzonego na podstawie rzeczywistych żądań. Ponieważ te wartości zmieniają się nieustannie, uczciwe jest pokazywanie ich na żywo i wyjaśnienie, jak są generowane — co jest resztą tej strony.

Podstawowa zasada jest prosta i to właśnie tutaj większość publicznych list zawodzi: ciągle sprawdzamy ponownie. Proksy są zbierane z otwartych źródeł, a następnie każdy z nich jest wielokrotnie testowany pod kątem tego, czy realizuje żądanie, jaki adres IP wyjściowy prezentuje, co jego nagłówki ujawniają na temat anonimowości oraz jak długo trwa rzeczywiste żądanie. Pozycje, które przestają odpowiadać, są usuwane, więc publikowana lista zmierza w kierunku "aktualnie działających" zamiast "działały kiedykolwiek, gdy to było zeskrobane."

To ma znaczenie, ponieważ życie darmowego proksy często mierzy się w godzinach. Lista opublikowana raz i nigdy nie weryfikowana jest w większości martwa w ciągu dnia — co jest dokładnie trybem awarii, który sprawia, że listy darmowych proksy są frustrujące. Mierząc żywotność i opóźnienie na podstawie rzeczywistych żądań i usuwając martwe, liczby pozostają znaczące. Ta sama metoda pomiaru czasu rzeczywistego jest udokumentowana w jak mierzymy opóźnienie, a ty możesz samodzielnie powtórzyć to wszystko za pomocą skryptów w jak sprawdzić ważność proksy.

Nie będziemy sprzedawać danych w nadmiarze. "Aktywny teraz" nie oznacza "aktywny, gdy używasz go minutę później" — darmowe proxy zmieniają się, więc traktuj każdy zrzut jako najlepszy możliwy obraz, a nie gwarancję. Operatorzy są nieznanymi stronami trzecimi, więc działające, anonimowe proxy to wciąż korzystaj-na-własne-ryzyko: dobre do testowania i nauki, nigdy do logowania lub wrażliwego ruchu. A zdrowo wyglądająca globalna dystrybucja nie oznacza, że proxy z jakiegokolwiek pojedynczego kraju są wystarczająco niezawodne, aby polegać na nich w rzeczywistej pracy.

To jest cały powód, dla którego dwa produkty istnieją obok siebie. darmowa lista to uczciwy, ciągle mierzony zasób do eksperymentowania; uwierzytelnione s4m proxy z centrów danych to to, co używasz, gdy zadanie nie może się nie udać, z własnym USER:PASS i bez zmiany do opieki. Publikowanie metodologii w sposób otwarty to cel — to przejrzystość, o którą proszą recenzenci, i coś, czego hałaśliwe listy zawyżające swoje liczby nie oferują.