Система мониторинга onion-доменов

Каждый резидент сети может предоставить свои вычислительные ресурсы для организации Node-сервера – узлового элемента сети, который выполняет функцию посредника в информационном обмене клиента сети. Существует два типа узлов в данном даркнете: промежуточные и выходные (так называемые exit node). Последние являются крайним звеном в операции расшифровки трафика, а значит, представляют собой конечную точку, которая может стать каналом утечки интересной информации.

Следует помнить, что большинство доменов в даркнете - площадки для ботнетов, и если Вам необходимо найти, скажем, перила (http://www.fplus.ru) для своего дома, то здесь Вы их точно не найдете - вам прямая дорога в "светлую часть" всемирной паутины.


Наша задача весьма специфична: необходимо собрать существующие и, что самое главное, актуальные onion-ресурсы. При этом нельзя полностью доверяться внутренним поисковикам и каталогам сайтов, ведь актуальность содержащейся в них информации, а также ее полнота оставляет желать лучшего.

Однако решение задачи агрегации актуальных сайтов лежит на поверхности. Для того чтобы составить список недавно посещенных onion-ресурсов, необходимо отслеживать факт обращения к ним. Как мы уже говорили, exite node является конечной точкой на пути следования зашифрованных пактов, а значит, мы можем свободно перехватывать пакеты HTTP/HTTPS-протоколов Tor-пользователя, который занимается серфингом в «традиционном вебе».

Известно, что HTTP-пакет может содержать информацию о посещенных ранее ресурсах. Данные находятся в заголовке запроса Referer, который может содержать URL источника запроса. В «традиционном вебе» данная информация помогает веб-мастерам определить, по каким запросам в поисковых си-стемах и с каких сайтов переходят пользователи подконтрольного веб-ресурса.

В нашем случае достаточно пробежаться по дампу перехваченного трафика регулярным выражением, содержащим строку onion.