Отправляет email-рассылки с помощью сервиса Sendsay

Интернет - грамотный подход

Рассылка закрыта

При закрытии подписчики были переданы в рассылку "Левитас: Почему Ваш бизнес-сайт не работает?" на которую и рекомендуем вам подписаться.

Вы можете найти рассылки сходной тематики в Каталоге рассылок.

←   Июль 2006   →
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
Автор
Александр Левитас

Статистика

1.492 подписчиков
-1 за неделю
←   Все выпуски   →

Интернет - грамотный подход. Offline-браузеры.


Качаем сайты целиком

Работая над предыдущим выпуском рассылки и невольно проводя сравнение возможностей и особенностей FlashGet и Download Master я заметил, что если с помощью последнего скачивать HTML-страницы, то он автоматически предлагает скачать все дополнительные файлы, необходимые для корректного отображения страницы. Если Вам нужно скачать одну или две страницы, то этого вполне достаточно, но вот когда нужно скачать сайт целиком, то возможностей Download Master явно не хватает. В этом выпуске мы как раз и затронем тему о скачивании сайтов целиком.

Вообще программ для скачивания сайтов довольно много и выбор как всегда за Вами. Я сегодня подробно расскажу об одной из них и вскользь упомяну еще две. Итак, наши подопытные DISCo Pump, Offline Explorer и Teleport Pro. Основное назначение всех этих программ - скачивание сайтов с целью их просмотра после отключения от Интернета.

Начнем по порядку: DISCo Pump. ДИСКо Качалка - это программа фирмы ДИСКо для скачивания из Интернета группы страниц, ссылающихся друг на друга. По окончании работы Вы будете иметь "зеркало" страниц на своем диске и сможете просматривать их своим браузером после отключения от Интернета.

От других программ такого типа ДИСКо Качалка отличается в первую очередь ориентированностью на русский язык. Например, если среди полученных страниц есть страницы с разной кодировкой, ДИСКо Качалка автоматически выберет правильную кодировку для отображения страницы. При наличии на сервере меню по кодировкам ДИСКо Качалка будет считывать только страницы с указанной Вами кодировкой.

В общем-то это простая и интуитивно понятная программа. Каждая закачка в ней называется "миссией". Чтобы скачать сайт, нужно добавить новую миссию, для чего в меню Миссия нужно выбрать пункт Старт. В появившемся окне нужно ввести список ссылок, с которых необходимо производить закачку, указать глубину, ссылки, которые следует пропустить, а также путь, по которому скачанные страницы будут сохраняться на жестком диске.

Рассмотрим все это более подробно. В качестве стартовых нужно указывать ссылки, с которых скачивание начнется. Поскольку весь сайт скачивать нужно не всегда (да и некоторые разработчики неправильно организовывают навигацию по сайту, в результате чего отдельные разделы могут оказаться совсем недоступны если заходить с главной страницы), то можно указать несколько ссылок. В этом случае программа последовательно будет скачивать страницы, расположенные по этим адресам.

Теперь глубина. Разберем этот параметр на примере. Мы ввели в список стартовых ссылок ссылку на сайт. Программа по этой ссылке скачала главную страницу и проанализировала ее. Обнаружив на ней ссылки она последовательно скачает все страницы, на которые они указывают. Далее последовательно будут проанализированы эти страницы, в них найдены ссылки и по ним скачаны еще страницы. По идее это должно продолжаться до тех пор, пока ссылки не закончатся, но где Вы видели страницу без ссылок? Короче говоря мы бы запустили скачивание всего содержимого сети Интернета свой жесткий диск. Страшно, да? Вот для этого-то и существуют параметры глубины. Они указывают программе, насколько глубоко надо качать. Например при указании в качестве глубины единицы будут скачены все страницы, на которые есть ссылки на главной странице, а все ссылки на этих страницах будут проигнорированы.

Глубина есть двух видов: в пределах сервера, на котором расположен сайт, и в пределах прочих серверов. Первый случай мы разобрали, теперь перейдем ко второму. Здесь дело в том, что некоторые ссылки указывают на другие сайты, т.е. не страницы, расположенные на других серверах. Так вот глубина скачивания в пределах других серверов и определяет, будут ли скачиваться эти страницы, и если будут, то насколько глубоко.

На этом собственно все. Можно нажимать OK и начинать скачивание прямо сейчас. Правда там есть еще одна вкладка, но с этими дополнительными настройками Вы вполне сможете разобраться по справке, которая написана весьма толково и на русском языке.

Правда нет ничего идеального и временами Вы можете столкнуться с такой ситуацией, когда скачать тот или иной сайт по непонятным причинам не получается. На мой взгляд причина этого не только в том, что программа умеет скачивать сайты, сделанные с помощью стандартных приемов, но и в том, что некоторые авторы настолько замудряют свой сайт, что непонятно временами как они сами во всем этом разбираются.

Собственно по этой причине я и добавил в этот выпуск еще две программы, которые подробно рассматривать не буду, но опишу в общем и целом. Offline Explorer Pro имеет англоязычный интерфейс. С помощью этой программы мне удавалось скачать большинство из того, что DISCo Pump оказалось не по зубам. В принципе ничего особенного, кроме разве что продвинутого алгоритма анализа ссылок, а также возможности одновременного скачивания до 500 файлов.

Теперь Teleport Pro. Не подводил ни разу. Кроме основных функций есть куча всяких дополнительных примочек, которые неплохо помогают при анализе структуры сайта, но все это нужно скорее хакерам, чем рядовым пользователям.

На сегодня это все. Для связи с Павлом можно по-прежнему использовать его e-mail ezh-internet@mail.ru или internet@bloha.ru, ну а задать вопросы, высказать предложения или просто прокомментировать тот или иной выпуск под моим авторством можно по адресу ahp-h12@yandex.ru

.

С уважением,
Alex Nomand Onim.
В избранное