Ako funguje stiahnutie údajov z webu?

Ahoj, už niekoľko krát som narazil nato, že niekto potrebuje stiahnuť údaje z nejakého webu, bazáru. Najčastejšie išlo o e-mailové adresy, či nejaký špecifický obsah.
Zaujímalo by ma, ako to presne funguje. Na internete o tom až tak veľa nie je. Najobľúbenejší jazyk pre získavanie dát z webom je Python, ale neviem prečo, v čom sa odlišuje a aká je jeho výhoda práve pre tento účel?

Vedel by mi to niekto prakticky polopate vysvetliť? V čom spočíva a ako funguje získanie tých dát, keďže nie sú prístupné všetky pokope inde ako v databáze. Je to niečo ako preliezanie webu po odkazoch, z predchádzajúcich stránok?
Ďakujem.

V podstate je to preliezanie odkazmi, napr. ked chces tahat clanky nejakych e-novin, vzdy si najdes prehlad clankov kde je strankovanie, casto zacina na roznych url lebo si vies pozriet napr. iba zoznam clankov spoetu, ekonomiky, ... separatne.
Potom v podstate napises logiku nech ide vzdy na dalsiu stranku dokym nejaka je.

Python a ruby sa pouzivaju z viacerych dovodov, mas tam na to dobre kniznice a su to skriptovacie jazyky, v ktorych sa vsetko berie ako objekt. Osobne som mal radsej pisanie takychto veci v ruby a to vdaka pry, kedy som si napisal nejaky zakladny corpus a za to hodil binding.pry, v tom bode ti spusti live konzolu kde som si uz presne pozrel co sa nachadza v doslich datach a ako ich odtial vytiahnut, tymto sposobom som napr. voci jave usetril tonu casu kedze tam si sice hodis BP, ale tym zistis 1krok, pri pry to dopises rovno zabehu cele

P.S. vzdy si udrziavaj casy posledneho zaznamu, ktory si ziskal aby si zbytocne netahal 2x to iste,
Vzdy respektuj error 429, a davaj bud vacsie timeouty medzi req./menej vlakien.
Ak existuje mobilna verzia stranky s potrebnym obsahom vyuzivaj tu, obsahuje menej balastu okolo.

Znie to jednoducho. Ved toto by zvládlo snáď i Arduino, respektíve niektoré z ESP dosiek. No, trebars to, že sa to stiahne 2x, by som mohol riešiť už na strane webu, napr doska odošle to isté, čo už bude na mojom webe v databáze, takže to sa nezapíše. Vďaka za tip s mobilnou verziou.