V podstate je to preliezanie odkazmi, napr. ked chces tahat clanky nejakych e-novin, vzdy si najdes prehlad clankov kde je strankovanie, casto zacina na roznych url lebo si vies pozriet napr. iba zoznam clankov spoetu, ekonomiky, ... separatne.
Potom v podstate napises logiku nech ide vzdy na dalsiu stranku dokym nejaka je.
Python a ruby sa pouzivaju z viacerych dovodov, mas tam na to dobre kniznice a su to skriptovacie jazyky, v ktorych sa vsetko berie ako objekt. Osobne som mal radsej pisanie takychto veci v ruby a to vdaka pry, kedy som si napisal nejaky zakladny corpus a za to hodil binding.pry, v tom bode ti spusti live konzolu kde som si uz presne pozrel co sa nachadza v doslich datach a ako ich odtial vytiahnut, tymto sposobom som napr. voci jave usetril tonu casu kedze tam si sice hodis BP, ale tym zistis 1krok, pri pry to dopises rovno zabehu cele

P.S. vzdy si udrziavaj casy posledneho zaznamu, ktory si ziskal aby si zbytocne netahal 2x to iste,
Vzdy respektuj error 429, a davaj bud vacsie timeouty medzi req./menej vlakien.
Ak existuje mobilna verzia stranky s potrebnym obsahom vyuzivaj tu, obsahuje menej balastu okolo.