На главную Наши проекты:
Журнал   ·   Discuz!ML   ·   Wiki   ·   DRKB   ·   Помощь проекту
ПРАВИЛА FAQ Помощь Участники Календарь Избранное RSS
Дорогие друзья! Поздравляем вас с днём Победы!
msm.ru
Модераторы: Vasya2000, Serafim, fatalist
  
> Получить html страницу используя запрос через сокет
    Хочу написать автоматический парсер цен на яндекс маркете. Сделал сокет, забиндил на порт 80, приконнектился к market.yandex.ru. Создал поток, записал в поток:
    "GET http::market.yandex.ru/model.xml?modelid=7023271&hid=4954975 HTTP 1.1"
    "Host: market.yandex.ru"
    "Connection: keep-alive"
    "Cache-Control: max-age=0"
    "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8"
    "User-Agent: Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36"
    "Accept-Encoding: gzip, deflate, sdch"
    "Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4"
    ""
    Прочитал поток - получил страницу с ценами.

    Первый раз все пучком и все работает. Второй раз не работает, пока ип не сменишь(ип динамический у меня).
    Сниффер показывает что яндекс палит меня как бота и отправляет на страницу с капчей. Пробовал отправлять куки из реального браузера, не помогло. Да и куки в браузере постоянно меняются. На чем я палюсь? Как перехитрить яндекс? Как отправить правильный запрос? Я в этих запросах не ахти шарю, просто выдрал из браузера то что он там нафигачил.
      А ты уверен что запрос один только? Ты же не компилируешь ещё жс, который возвращает сервер ;)
        В смысле запрос от сервера один? И что такое жс? Я в http нуб...
          Elazul, а что, апи никакого на этот случай нет у Яндекса? Подозреваю, что пытаться его обхитрить бессмысленно...

          Добавлено
          Ну собственно вот: https://tech.yandex.ru/market/content/
          Напрямую среднюю цену не выдает, но данных более чем достаточно, ИМХО, можно самому посчитать...
          0 пользователей читают эту тему (0 гостей и 0 скрытых пользователей)
          0 пользователей:


          Рейтинг@Mail.ru
          [ Script execution time: 0,0195 ]   [ 15 queries used ]   [ Generated: 10.05.24, 08:21 GMT ]