Programmes

http://bfy.tw/KT3o

tokį panaudojau ir veikia -> from multiprocessing.pool import ThreadPool

ačiū tau, viską pasidariau, dabar eina kaip bitutė, dabar tikrai išnaudoja mano visą interneto greitį.

Galima rakinti temą, pagalba suteikta.

def processing(login)
username = login[0]
password = login[1]
requests.get(...)
...
end

logins = [('username1', 'password1'), ('username2', 'password2'), ('username3', 'password3') ]
pool = ThreadPool(10) # 10 - thread'ų skaičius 
pool.map(processing, logins)
pool.close()
pool.join()

importint bandau multiprocessing bet gaunu errorą. Command "python setup.py egg_info" failed with error code 1 in C:\Users\ferne\AppData\Local\Temp\pip-install-oj6m7zpo\multiprocessing\

Tai padaryk multi-threading'ą - pradžioj sukuri mysql connection'ą, retrievini loginus, paskirstai juos į dalis

(kodo pavyzdys iš SO

def chunks(l, n):
   """Yield successive n-sized chunks from l."""
   for i in range(0, len(l), n):
       yield l[i:i + n]

sukuri thread'ų pool'ą ir kiekvienam duodi chunką su funkcija, kuri varytų per tą chunką. Reikės greičiau - padidinsi threadų skaičių; pritrūks resursų - sumažinsi

 

 

Kartais geriau patylėt

o plačiau apie patį threads sukūrimą?

Labai neaiškus klausimas - ką tu skenuoji iš .txt, ką gauni iš mysql, ką requestini iš svetainės, ką tavo scriptas apskritai daro ir t.t.

Paprastas sprendimas nesigilinant į tavo problemą - skirstyt input set'ą į kelias dalis (pvz. jeigu nori nuscrapinti daug puslapių, splitini 100 svetainių po 25) ir kiekvienai daliai pajungti atskirą procesą

vyksta while ciklas, cikle yra funkcijos naudojimas į kurią siunčia login ir password, funkcijoje jungiasi per requests su POST į svetainę ir žiūri cookies, jei užsettina, updatina duomenų bazėj tą įrašą, jei ne ištrina. Ir taip sukasi.

Aš pats galvoju, kad reik dalint while į kelias dalis, bet kaip man sudėt tuos while ciklus į atskirus procesus?

Sveiki, reikia pagalbos su python, esu susikūręs botą, bei norėčiau, jog jis dirbtų greičiau. Skenuojant iš .txt failo jungdavau 10 threads ir taip skenuodavo greitai, bet perėjus ant mysql, užduotį vykdo while ciklas, kaip galima paspartinti darbą? pajungus 2x programas, duomenys tikrinami tie patys. Procesoriaus, bei interneto neišnaudoja. Kaip galima paspartinti? Skriptas jungiasi į svetainę ir išgauna duomenis su requests.

direct admin pati geriausia valdymo panelė, nenorėčiau jos pakeist.

Sveiki, kur galima parduoti el. parduotuvę? Ne tik šitas forumas :)