Sťahovanie údajov z CRZ
Úrad vlády SR pristúpil v novembri 2015 k obmedzeniu prístupu robotov ku grafickému rozhraniu portálu CRZ. Dôvodom obmedzenia bol mimoriadny nárast vyťaženia serverov spôsobený nesystémovým masívnym sťahovaním údajov z portálu veľkým množstvom robotov a to aj cez deň. Tento nárast využívania robotmi spôsobil výrazné obmedzenie služieb (dostupnosti portálu) pre bežných používateľov (občanov, podnikateľov ale aj organizácie verejnej správy, ktoré na portáli CRZ zmluvy povinne zverejňujú). Zároveň sme pre zrýchlenie vyhľadávania nasadili Elastic Search.
Aktuálne nastavené ochranné parametre:
V čase od 06:00 do 20:00
- 50 prístupov za 5 sekúnd (10 req/s po dobu 5 sekúnd) => blok 1 hodina
- 30 prístupov za 10 sekúnd (3 req/s po dobu 10 sekúnd) => blok 1 hodina
- 60 prístupov za 60 sekúnd (1 req/s po dobu 1 minúty) => blok 20 minút
- 80 prístupov za 2 minúty (0.6 req/s po dobu 2 minút) => blok 5 minút
V čase od 20:00 do 06:00
- 50 prístupov za 5 sekúnd (10 req/s po dobu 5 sekúnd) => blok 5 minút
- 30 prístupov za 10 sekúnd (3 req/s po dobu 10 sekúnd) => blok 1 minúta
Odporúčaný spôsob pre sťahovanie údajov z CRZ pre ďalšie strojové spracovávanie
1) Pre sťahovanie údajov z CRZ odporúčame namiesto prechádzania jednotlivých stránok s výsledkami vyhľadávania robotmi (čo zaťažuje servre výrazným spôsobom) downloadovať len rozdielový .ZIP súbor. Systém CRZ každú noc okolo 02.00 vytvorí nový .ZIP súbor za predchádzajúci deň s rozdielovou informáciou, ktorý je prístupný komukoľvek na stiahnutie. Adresa všetkých rozdieľových .ZIP súborov je
Rozdielový súbor je vo formáte .XML s metadátami o všetkých zmenách za predchádzajúci deň. Obsahuje zároveň aj názvy súborov a príloh na priame stiahnutie.
2) Rýchlosť strojového sťahovania je nutné obmedziť na 1 dopyt za 2 sekundy cez deň (medzi 6:00 a 20:00) a menej ako 3 prístupy za sekundu v noci (medzi 20:00 a 6:00).
Úrad Vlády SR si vyhradzuje právo tieto parametre upravovať na základe reálne zistenej prevádzky tak, aby bol schopný zabezpečiť riadny chod portálu crz.gov.sk. V prípade, že nastavené parametre nevyhovujú Vašim požiadavkám resp. nie ste schopní stiahnuť požadované údaje, kontaktujte prosím našu technickú podporu na adrese crz-techsupport@vlada.gov.sk.