[ Príspevkov: 3 ] 
AutorSpráva
Offline

Užívateľ
Užívateľ
Obrázok užívateľa

Registrovaný: 17.02.14
Prihlásený: 15.11.18
Príspevky: 355
Témy: 131 | 131

Ahoj, už niekoľko krát som narazil nato, že niekto potrebuje stiahnuť údaje z nejakého webu, bazáru. Najčastejšie išlo o e-mailové adresy, či nejaký špecifický obsah.
Zaujímalo by ma, ako to presne funguje. Na internete o tom až tak veľa nie je. Najobľúbenejší jazyk pre získavanie dát z webom je Python, ale neviem prečo, v čom sa odlišuje a aká je jeho výhoda práve pre tento účel?

Vedel by mi to niekto prakticky polopate vysvetliť? V čom spočíva a ako funguje získanie tých dát, keďže nie sú prístupné všetky pokope inde ako v databáze. Je to niečo ako preliezanie webu po odkazoch, z predchádzajúcich stránok?
Ďakujem.


Online

Užívateľ
Užívateľ
Ako funguje stiahnutie údajov z webu?

Registrovaný: 19.05.08
Prihlásený: 16.11.18
Príspevky: 617
Témy: 27 | 27
Bydlisko: Slovensko

V podstate je to preliezanie odkazmi, napr. ked chces tahat clanky nejakych e-novin, vzdy si najdes prehlad clankov kde je strankovanie, casto zacina na roznych url lebo si vies pozriet napr. iba zoznam clankov spoetu, ekonomiky, ... separatne.
Potom v podstate napises logiku nech ide vzdy na dalsiu stranku dokym nejaka je.

Python a ruby sa pouzivaju z viacerych dovodov, mas tam na to dobre kniznice a su to skriptovacie jazyky, v ktorych sa vsetko berie ako objekt. Osobne som mal radsej pisanie takychto veci v ruby a to vdaka pry, kedy som si napisal nejaky zakladny corpus a za to hodil binding.pry, v tom bode ti spusti live konzolu kde som si uz presne pozrel co sa nachadza v doslich datach a ako ich odtial vytiahnut, tymto sposobom som napr. voci jave usetril tonu casu kedze tam si sice hodis BP, ale tym zistis 1krok, pri pry to dopises rovno zabehu cele :)

P.S. vzdy si udrziavaj casy posledneho zaznamu, ktory si ziskal aby si zbytocne netahal 2x to iste,
Vzdy respektuj error 429, a davaj bud vacsie timeouty medzi req./menej vlakien.
Ak existuje mobilna verzia stranky s potrebnym obsahom vyuzivaj tu, obsahuje menej balastu okolo.


Offline

Užívateľ
Užívateľ
Obrázok užívateľa

Registrovaný: 17.02.14
Prihlásený: 15.11.18
Príspevky: 355
Témy: 131 | 131
Napísal autor témyOffline : 14.09.2018 11:41 | Ako funguje stiahnutie údajov z webu?

Znie to jednoducho. Ved toto by zvládlo snáď i Arduino, respektíve niektoré z ESP dosiek. No, trebars to, že sa to stiahne 2x, by som mohol riešiť už na strane webu, napr doska odošle to isté, čo už bude na mojom webe v databáze, takže to sa nezapíše. Vďaka za tip s mobilnou verziou.


 [ Príspevkov: 3 ] 


Ako funguje stiahnutie údajov z webu?



Podobné témy

 Témy  Odpovede  Zobrazenia  Posledný príspevok 
V tomto fóre nie sú ďalšie neprečítané témy.

stiahnutie obrazkov z webu

v HTML, XHTML, XML, CSS

4

193

11.04.2014 19:14

walther

V tomto fóre nie sú ďalšie neprečítané témy.

Stiahnutie obrazkov z webu photofile.name

v Sieťové a internetové programy

0

495

20.11.2009 7:44

martinnovotny

V tomto fóre nie sú ďalšie neprečítané témy.

stiahnutie videa z webu vo WMP

v Služby a webstránky

3

448

11.07.2010 22:27

KocuR

V tomto fóre nie sú ďalšie neprečítané témy.

Extrahovanie údajov z webu

v Sieťové a internetové programy

4

176

04.11.2016 16:31

Lessik

V tomto fóre nie sú ďalšie neprečítané témy.

Stiahnutie vsetkych obrazkov z webu 1 prikazom

v PHP, ASP

4

798

11.01.2012 23:57

shaggy

V tomto fóre nie sú ďalšie neprečítané témy.

Ako to funguje?

[ Choď na stránku:Choď na stránku: 1 ... 38, 39, 40 ]

v Vesmír, veda a technika

1199

38583

12.01.2017 21:16

Daron

V tomto fóre nie sú ďalšie neprečítané témy.

ako to funguje?

v Modifikácie, návody a projekty

5

778

30.05.2011 13:58

melania

V tomto fóre nie sú ďalšie neprečítané témy.

Ako funguje LucidLogix® Virtu?

v Intel čipové sady

3

437

24.02.2012 12:17

KocuR

V tomto fóre nie sú ďalšie neprečítané témy.

Ako funguje jQuery slideDown()?

v JavaScript, VBScript, Ajax

5

328

18.03.2011 22:35

camo

V tomto fóre nie sú ďalšie neprečítané témy.

Otázka - ako to funguje?

v HTML, XHTML, XML, CSS

14

604

04.03.2009 19:27

sillyounguy

V tomto fóre nie sú ďalšie neprečítané témy.

Ako to cele funguje ?

v Webdesign

18

768

25.06.2014 6:53

hatto13

V tomto fóre nie sú ďalšie neprečítané témy.

Speedfan - ako vlastne funguje

v Ostatné programy

1

181

24.12.2013 13:14

mirom

V tomto fóre nie sú ďalšie neprečítané témy.

Ako funguje DSL? (VDSL)

v Poskytovatelia internetu

1

310

30.01.2016 14:21

ac.milan

V tomto fóre nie sú ďalšie neprečítané témy.

Ako zistim, ci CUDA funguje?

v nVidia grafické karty

2

468

15.06.2009 23:39

OmeGa

V tomto fóre nie sú ďalšie neprečítané témy.

Ako funguje 4K v hrách?

[ Choď na stránku:Choď na stránku: 1, 2 ]

v Novinky

36

721

23.01.2013 10:04

Johnnny

V tomto fóre nie sú ďalšie neprečítané témy.

Ako funguje zobrazenie vytazenia CPU?

v Intel - Integrated Electronics

1

201

22.10.2012 18:14

MTK



© 2005 - 2018 PCforum, edited by JanoF