Наши проекты:
Журнал · Discuz!ML · Wiki · DRKB · Помощь проекту |
||
ПРАВИЛА | FAQ | Помощь | Поиск | Участники | Календарь | Избранное | RSS |
[3.14.15.94] |
|
Сообщ.
#1
,
|
|
|
Хочу написать автоматический парсер цен на яндекс маркете. Сделал сокет, забиндил на порт 80, приконнектился к market.yandex.ru. Создал поток, записал в поток:
"GET http::market.yandex.ru/model.xml?modelid=7023271&hid=4954975 HTTP 1.1" "Host: market.yandex.ru" "Connection: keep-alive" "Cache-Control: max-age=0" "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8" "User-Agent: Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36" "Accept-Encoding: gzip, deflate, sdch" "Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4" "" Прочитал поток - получил страницу с ценами. Первый раз все пучком и все работает. Второй раз не работает, пока ип не сменишь(ип динамический у меня). Сниффер показывает что яндекс палит меня как бота и отправляет на страницу с капчей. Пробовал отправлять куки из реального браузера, не помогло. Да и куки в браузере постоянно меняются. На чем я палюсь? Как перехитрить яндекс? Как отправить правильный запрос? Я в этих запросах не ахти шарю, просто выдрал из браузера то что он там нафигачил. |
Сообщ.
#2
,
|
|
|
А ты уверен что запрос один только? Ты же не компилируешь ещё жс, который возвращает сервер
|
Сообщ.
#3
,
|
|
|
В смысле запрос от сервера один? И что такое жс? Я в http нуб...
|
Сообщ.
#4
,
|
|
|
Elazul, а что, апи никакого на этот случай нет у Яндекса? Подозреваю, что пытаться его обхитрить бессмысленно...
Добавлено Ну собственно вот: https://tech.yandex.ru/market/content/ Напрямую среднюю цену не выдает, но данных более чем достаточно, ИМХО, можно самому посчитать... |