Получение информации о саите -> Форум на Исходниках.Ру

	Наши проекты: Журнал · Discuz!ML · Wiki · DRKB · Помощь проекту

Здравствуйте, Гость ! [3.144.10.130]

Следующие правила действуют в данном разделе в дополнение к общим Правилам Форума

1. Здесь обсуждается Java, а не JavaScript! Огромная просьба, по вопросам, связанным с JavaScript, SSI и им подобным обращаться в раздел WWW Masters или, на крайний случай, в Многошум.
2. В случае, если у вас возникают сомнения, в каком разделе следует задать свой вопрос, помещайте его в корневую ветку форума Java. В случае необходимости, он будет перемещен модераторами (с сохранением ссылки в корневом разделе).

3. Запрещается создавать темы с просьбой выполнить какую-то работу за автора темы. Форум является средством общения и общего поиска решения. Вашу работу за Вас никто выполнять не будет.
4. Не рекомендуется создавать несколько несвязанных вопросов в одной теме. Пожалуйста, создавайте по одной теме на вопрос.

Модераторы: dark_barker, wind

Новое голосование

Получение информации о саите

Крон	Сообщ. #1 , 15.10.07, 05:39
Senior Member Профиль · PM Рейтинг (т): 14	Для соединения с саитом можно просто создать обьект URL и URLConnection. А какие запросы надо реализовать, что бы получить список всех страниц(адреса) и их размер на этом саите?

batigoal

Сообщ. #2 , 15.10.07, 06:13

Master

Профиль · PM

Поощрения: 7 Dgm

Рейтинг (т): 189

Просто так этого не сделать. Полного списка страниц на сайтах обычно не выкладывают. Нужно писать бота-"паука", который будет закачивать страницу, искать на ней ссылки, анализировать их и рекурсивно переходить на новые страницы.

Крон	Сообщ. #3 , 15.10.07, 07:12
Senior Member Профиль · PM Рейтинг (т): 14	А для поиска ссылок, что всю страничку надо качать?

wind	Сообщ. #4 , 15.10.07, 07:26
Moderator Профиль · PM Рейтинг (т): 271	Цитата Крон @ 15.10.07, 07:12 А для поиска ссылок, что всю страничку надо качать? Да

Крон	Сообщ. #5 , 15.10.07, 07:28
Senior Member Профиль · PM Рейтинг (т): 14	это ж наверное получится долго и трафа много уйдет? Входной поток с помощью .getInputStream это и есть страничка? Сообщение отредактировано: Крон - 15.10.07, 07:31

wind	Сообщ. #6 , 15.10.07, 07:33
Moderator Профиль · PM Рейтинг (т): 271	Цитата Крон @ 15.10.07, 07:28 Входной поток с помощью .getInputStream это и есть страничка? Да.

batigoal	Сообщ. #7 , 15.10.07, 07:50
Master Профиль · PM Поощрения: 7 Dgm Рейтинг (т): 189	Цитата Крон @ 15.10.07, 07:28 это ж наверное получится долго и трафа много уйдет? Без сомнения. Я никогда и не видел быстрого веб-граббера.

Крон	Сообщ. #8 , 15.10.07, 07:51
Senior Member Профиль · PM Рейтинг (т): 14	а размер странички как получить? Сообщение отредактировано: Крон - 15.10.07, 07:55

wind	Сообщ. #9 , 15.10.07, 07:54
Moderator Профиль · PM Рейтинг (т): 271	url.openConnection().getContentLength() Поток потом получать из URLConnection. Но этот способ не всегда будет работать - некоторые сервера могут давать информации о размере.

batigoal

Сообщ. #10 , 15.10.07, 07:55

Master

Профиль · PM

Поощрения: 7 Dgm

Рейтинг (т): 189

Цитата Крон @ 15.10.07, 07:51

а размер странички как получить?
GetContentLength()?

Полагаю, что можно и из него, но надо учитывать, что этот метод возвращет значение HTTP-заголовка Content-Length, а не реальный размер. Поэтому может быть несовпадение.

Крон	Сообщ. #11 , 15.10.07, 07:59
Senior Member Профиль · PM Рейтинг (т): 14	Не если искать ссылки просто и рекурсивно в них входить, то получится переход и ина др. ресурс, ведь? А нодо вель только странички этого саита.

wind	Сообщ. #12 , 15.10.07, 08:29
Moderator Профиль · PM Рейтинг (т): 271	Цитата Крон @ 15.10.07, 07:59 А нодо вель только странички этого саита. Так вы проверяйте ссылки.

Крон	Сообщ. #13 , 15.10.07, 08:53
Senior Member Профиль · PM Рейтинг (т): 14	Вы не могли бы пример соединения написать и получения первой ссылки

batigoal	Сообщ. #14 , 15.10.07, 08:59
Master Профиль · PM Поощрения: 7 Dgm Рейтинг (т): 189	Пример чтения есть тут: http://java.sun.com/docs/books/tutorial/ne...ingWriting.html Парсинг на предмет ссылок можно либо выполнять вручную, либо поискать готовые библиотеки. Название не помню, но такие точно есть (что-то вроде HTMLParser).

Крон

Сообщ. #15 , 16.10.07, 05:56

Senior Member

Профиль · PM

Рейтинг (т): 14

А как можно проверить ссылки?
Т.е. есть массив УРЛэвов, и еще один УРЛ.
Что бы проверить ссылка ли это на внутрении ресурс надо проверить начинается ли каждый из элементов массива с главного УРЛ?
А как это реализовать можно? В строку же конвертировать нельзя?

1 пользователей читают эту тему (1 гостей и 0 скрытых пользователей)

0 пользователей:

Страницы: (2) [1] 2 все

[ Script execution time: 0,0303 ] [ 14 queries used ] [ Generated: 19.05.24, 06:33 GMT ]