Дополнительные параметры в ThreadPool(threads).imap_unordered -> Форум на Исходниках.Ру

	Наши проекты: Журнал · Discuz!ML · Wiki · DRKB · Помощь проекту

Здравствуйте, Гость ! [18.222.209.142]

Дорогие девчонки! Поздравляем вас с праздником 8 Марта!

Модераторы: RaD

Дополнительные параметры в ThreadPool(threads).imap_unordered

diel

Сообщ. #1 , 01.09.16, 03:15

Junior

Профиль · PM

Рейтинг (т): 1

Подскажите пожалуйста, как можно расширить код, чтобы была поддержка добавить во многопоточное приложение дополнительных параметров так, чтобы все они так же учитывались.

То есть например, есть просто параметр:
urls = {
список ссылок
}

Программа в многопоточном режиме обходит каждую ссылку.
Я же хочу

urls = {
список ссылок
}

data = {
список данных
}

Количество ссылок умножаются на количество данных.

Приведу свой новичковый код, может намекнете.
С меня плюсики за любые наводки

#!/usr/bin/env python

from multiprocessing.pool import ThreadPool

from time import time as timer

import urllib

import urllib2

threads = 50

timeout = 5

urls = open("urls.txt").read().splitlines()

# TODO: добавить дополнительный параметр

data = open("data.txt").read().splitlines()

def check_urls(url):

try:

values = {

# здесь будут передаваться данные

# TODO: в идеале и третий параметр это рандомный юзерагент

}

headers = {

"Content-Type": "application/x-www-form-urlencoded",

"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36 OPR/37.0.2178.43"

}

tstart = timer()

post = urllib.urlencode(values)

request = urllib2.Request(url, post, headers)

response = urllib2.urlopen(request, timeout=timeout)

return url, response, None, tstart

except Exception as e:

return url, None, e

start = timer()

results = ThreadPool(threads).imap_unordered(check_url, urls)

for url, body, error, tstart in results:

if error is None:

status = body.read()

# ...

#else:

#print("error")

print("Elapsed time: %s" % (timer() - start))

Сообщение отредактировано: diel - 01.09.16, 03:17

0 пользователей читают эту тему (0 гостей и 0 скрытых пользователей)

0 пользователей:

[ Script execution time: 0,0215 ] [ 15 queries used ] [ Generated: 14.03.25, 06:16 GMT ]