Python vs PHP

Spravil som a staram sa uz asi rok o dataminer? neviem ako sa takemu cosi nadava, to je jedno. Z x velkych webov automaticky stahuje, testuje zmeny uz na stiahnute podstranky a nasledne spravi aj aktualizacie, data su dalej spracovana v inej aplikacii a ta je v php, cize tam nic neriesim. Cele to mam spravene aktualne v php (tusim tam je php 7 aleob 7.1) a spustene to je cez php cli, spusta sa to pravidelne pomocou cronu. Na stahovanie tam pouzivam curl kedze pracujem aj s hlavickami, vsetko to je ulozene v sql. Skusil som zo srandy spravit v pythone pripojene do db, aj podobny velmi jednoduchy parser z nejakej stranky a pride mi to celkom rychlejsie. Otazka je ci ma vyznam riesit taketo veci cez python, alebo to nema az taky vplyv na vykon? Neviem ako sa to bude chovat ked bude bezat paralelne cez 10-20 spustenych skriptov a mozno nejaky pythonak sa tu najde co bude vediet. Nechce sa mi s tym moc babrat ak to nebude mat zmysel. Tiez by som potreboval, ale aj moznost zistovat hlavicky ktore dostanem z danej url, alebo pri odoslani na nejaku url moznost nastavit hlavicky s ktorymi sa ma poslat poziadavka, tak ci sa to vobec v pythone da. Nikdy som nic s pythonom nerobil, dnes prvy krat, pride mi to celkom jednoduche co sa syntaxy tyka. Popripade ak ma niekto skusenost co by bolo vykonnejsie ako php co by sluzilo ako parser z par stoviek tisic url.


//hlavicky uz su pase, zistil som ze sa to da

import urllib2
opener = urllib2.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
opener.open('http://www.example.com/') takze to ma uz nezaujima, uz len to ci to ma zmysel co sa vykonu tyka

Ak by mi šlo o rýchlosť, osobne by som šiel do Node.js. Napísať v tom stiahnutie stránky, vyparsovanie čohosi a uloženie do databázi je ľahké. Problém u týchto parserov je, že úzke hrdlo je práve to stiahnutie stránky a všetko ostatné okolo je oproti tomu zanedbateľne rýchle. Takže nejaké mega zrýchlenie by som od toho aj tak nečakal. Iba ak je to parsovanie nejako náročné a robíš tam ešte niečo naviac s reťazcami a poľami... tam vie javascript pomôcť.

Ok diky, aj som si myslel ze najdolezitejsie je prave to stiahnutie stranky a ten balast okolo nie je az tak narocny. Parsovanie ani nie je moc narocne, vytahujem odtial len par dat, ulozim a skript ide dalej, len ma zaujimalo ze ci by to cez python neslo rychlejsie...nevedel som ze ci sa oplati kvoli tomu studovat python, aj ked by som chcel okolo neho trochu zajst a skusit nieco spravit, asi to aj skusim spravit aj v pythone a porovnam to tak ze co bude rychlejsie na nejakej tej istej vzorke.