Как находить бесплатные сервера новостей?
В сети существует огромное количество общедоступных серверов, явно или неявно предоставляющих пользователям те или иные ресурсы. Мелкие корпорации, научные и исследовательские учреждения обычно не склонны обременять свои NNTP-сервера (сервера конференций) защитой и порой их ресурсами могут безболезненно пользоваться все остальные узлы сети.
Случайно натолкнутся на общедоступный NNTP-сервер новостей (NNTP-сервер – от английского News Network Transfer Protocol), конечно же, слишком маловероятно, а найти его с помощью поисковых служб, наподобие "Апорта" или "AltaVista" очень трудно. Запрос "NNTP + free" выдаст длинный список бывших когда-то бесплатными серверов, большинство из которых уже успели прекратитьли свое существование или сменитьли
политику и ограничитьограничили
доступ.
Не проще ли обратится к специализированным сайтам, публикующим информацию подобного рода? Нет!, и вот почему. Дело в том, что Общедоступность большинства ресурсов связана с попустительствами администраторов,.Многие общедоступные ресурсы общедоступны исключительно по халатности администраторов. НоИ, как только на сервер обрушивается стадо любителей халявытолпа невесть откуда взявшихся пользователей, порядком напрягающих канал, политика безопасности быстро меняется администраторы спохватываются и доступ закрываетсявспоминают о безопасности. . Напротив, единичные подключения, даже если и станут замечены администратором, вряд ли будут им пресекаться до тех пор, пока не станут ощутимо мешать.Другое дело, если ресурс аккуратно "юзает" несколько пользователей, самостоятельно нашедших его в сети, - пока они никому не мешают, выгонять их, скорее всего, не станут. Осталось только научиться самостоятельно находить незакрытые сервера…
Простейший способ поиска NNTP-серверов новостей заключается в сканирование IP-адресов. Суть его в следующем: выбирают некий (возможно взятый наугад) IP-адрес, например 195.161.42.149 и пытаются установить с ним TCP-соединение по сто девятнадцатому порту, например, так: "telnet имя сервера 119" (утилита telnet входит в штатную поставку Windows 9x и Windows2000).
Успешность операции указывает на свидетельствует о наличиеналичии
NNTP- сервера на данном узле. Если же сервер отсутствует или не функционален, соединение установить не удастся. В случае успешно установленного соединения остается только убедиться в бесплатности службы, иначе – выбрать другой IP-адрес, и продолжать действовать так до тех пор, пока не кончится терпение или не отыщется требуемый ресурс. Как правило, при сканировании IP-адреса перебираются один за другим с убыванием или возрастанием на единицу за каждый шаг.
В зависимости от качества связи и загруженности тестируемого сервера, ответа на запрос о соединениисоединения
приходится ожидать от нескольких секунд до целой минуты! Поэтому, В лучшем случае скорость сканирования составит порядка шестидесяти - ста сотни IP-адресов в минуту, а в худшем же за это же время удастся проверить всего один из них.
Легко посчитать сколько займет исследование даже небольшой сети! (см. "Интернет. Общие вопросы à
Можно ли увидеть карту всего Internet, связи, каналы, структура?") Какие бы оптимизирующие алгоритмы не применялись, (например, попытки асинхронного соединения с несколькими узлами одновременно), значительно увеличить эффективность сканирования не возможно может быть значительно увеличена в силу огромного числа количества существующих IP-адресов (порядка четырех миллиардов).
Впрочем, диапазон перебираемых адресов можно существенно сузить, если обратить внимание на тот замечательный факт, что все IP-адреса, принадлежащие одному провайдеру, обычно очень близки друг другу (что неудивительно, т.к. .они принадлежат одной подсети).
В следующем примере в качестве объекта сканирования выступает Демос
– крупный поставщик сетевых услуг (в том числе и телеконференций), публичный web-сайт которого так и называется www.demos.su, (IP-адрес равен 194.87.0.48).
Используя любой сканер (например, "SuperScan", лежащий на страничке разработчика http://members.home.com/rkeir/software.html), можно исследовать узкий диапазон адресов 194.87.0.1 - 194.87.0.254 потратив на сканирование всего лишь десяток - другой минут.
В результате этой операции обнаруживается, что Демос имеет множество внутренних промежуточных NNTP-серверов, открытых для прямого доступа! Например, таких как:
nntp://relay2.demos.su
nntp://news.ru
nntp://jubo.demos.su
nntp://new2.demos.su
nntp://nntp.demos.su
Другой способ поиска бесплатных NNTP-серверов заключается в изучении заголовков сообщений. В процессе путешествия по сети сообщения проходят через множество транзитных серверов, каждый из которых включает в заголовок свой адрес. Среди транзитных серверов и NNTP-серверов отправителей сообщений часто попадаются и бесплатные сервера.
Полный путь, проделанный сообщением, содержится в поле "Path", а сервер отправителя – в поле "NNTP-Posting Host". В примере, приведенном ниже, показаны заголовки двух сообщений: (поля "Path" и "NNTP-Posting Host" выделены жирным шрифтом):
Заголовок сообщения №1:
Path: news.medlux.ru!Melt.RU!carrier.kiev.ua!news.kharkiv.net!useua!not-for-mail
From: Nadezda Alexsandrovna <okline@email.itl.net.ua>
Newsgroups: medlux.trade.optika
Subject: I am looking for a permanent wholesale buyer of women's hair 30-60 cm long of all colours. Phone in Kharkov (0572)329639, 364556, fax 329763.
Date: Thu, 6 Apr 2000 05:01:15 +0300
Lines: 16
Distribution: world
Message-ID: <8cgr73$bsl$25@uanet.vostok.net>
Reply-To: okline@email.itl.net.ua
NNTP-Posting-Host: ums.online.kharkov.com
NNTP-Posting-Date: 6 Apr 2000 02:02:11 GMT
Xref: news.medlux.ru medlux.trade.optik904
Заголовок сообщения №2:
From: a@b.c
Subject: ammivit
Reply-To: korzina@windoms.sitek.net
Message-ID: <xjfEiY4l$GA.192@mailserver.corvis.ru>
Newsgroups:ural.commerce
Date: Mon, 27 Mar 2000 04:48:14 +0400
Lines: 25
Path: news.medlux.ru!mailserver.corvis.ru
NNTP-Posting-Host: t1-55.sitek.net 212.34.32.118
Xref: news.medlux.ru relcom.medicine.blood-service:2982
Поразительно, но эти два сообщения открывают семь восемь NNTP-серверов (и это еще не самый лучший результат)! Все они, перечислены ниже:
nntp://news.medlux.ru (бесплатный)
nntp://Melt.RU (хост не найден)
nntp://carrier.kiev.ua (бесплатный)
nntp://news.kharkiv.net (приватный)
nntp://ums.online.kharkov.com (хост не найден)
nntp://mailserver.corvis.ru (бесплатный)
nntp://t1-55.sitek.net (хост не найден)
И хотя часть узлов по непонятой причине не отвечает, результатами "улова" трудно оставаться недовольным. Анализом всего двух сообщений найдено три бесплатных сервера, разрешающих не только чтение, но и отправку сообщений!
А если проанализировать все сообщения, находящиеся на каждом из этих серверов, и все сообщения на каждом из вновь найденных серверов, подобным рекурсивным спуском можно найти едва ли не все NNTP-сервера, существующие в сети!
Узкое место такой операции - пропускная способность канала, соединяющего ищущего с Интернет. Получать гигабайты сообщений через модемную линию нереально. Поэтому, эту задачу лучше переложить на плечи автономной программки, работающей на узле с быстрым каналом, или различными способами оптимизировать алгоритм (так, например, ни к чему получать от одного и того же адресата более одного сообщения, а количество уникальных отправителей в сети велико, но конечно).
Впрочем, глубокое сканирование сети бессмысленно. Достаточно найти один (ну, с учетом запаса максимум два-три) быстрых и надежных NNTP-сервера, которые ввиду своей распространенности наверняка попадаются оченьпопадутся очень
быстро.
На этом секреты поиска бесплатных NNTP-серверов заканчиваются. Конечно, описанные выше операции вручную выполнять было бы затруднительно, но они легко поддаются автоматизации и уже реализованы в десятках различных программ. Большой популярностью пользуется "News Hunter" (http://www.slip.net/~rain/nh/), который помимо всего прочего генерирует весьма элегантные отчеты и измеряет скорость соединения с каждым узлом, что помогает выбрать наибыстрейший лучший из них.
К сожалению, даже последняя на момент написания книги, четвертая версия News Hunter'a, не снабжена сканером IP-адресов и хотя бы один NTTP-сервер пользователь должен найти самостоятельно.
Для этого пригодиться методика, описанная в начале главы. Достаточно найти любой сервер, предоставляющий доступ хотя бы на чтение к одной-двум конференциям. Анализируя заголовки сообщений, "News Hunter" найдет все остальные.
Рисунок 36 Рисунок 14 Результат работы News Hunter
Используя бесплатный сервер, приходится всегда быть готовым к тому, что в любой момент политика администрирования может измениться, вследствие чего свободный доступ на некоторое время (или навсегда) закроют. Единственный способ этого избежать - пользоваться платными, надежными ресурсами.
Родственные вопросы:
Разное à.
Что такое telnet и как с ним работать?
Интернет. Общие вопросы à Можно ли увидеть карту всего Internet, связи, каналы, структура?
