Crawler - ili masovno pretrazivanje sajtova za odredjene rijeci

**siraj** · 29-11-15, 21:35

Ne znam kako se zove softver koji radi ovo ili da li uopste postoji. Uglavnom trazim program sa kojim mogu da otvaram po 500-1000 stranica odjednom i da trazi specificnu rijec i da mi kaze na koji link je to nadjen ? Isti je sajt u pitanju, samo ima na hiljade pod linkova koje ja imam .Dakle ne treba mi struktura sajta.

**siux** · 29-11-15, 21:44

Ne znam kakav ti output treba, ali ako sam shvatio dobro moze ti i ovo pomoci, samo kucaj na google pretrazi: site:www.tvojsajt.com kljucnarijec

Takodje yahoo ima dobar api, moze se dosta lako neka skripta uraditi

**siraj** · 29-11-15, 21:56

Ne, ne treba mi to, ovi sajtovi nisu na google, ne indexuju se nigdje, u pitanju je www.sajt.com/1 , pa treba da pretrazi npr od recimo 1 do 10.000 ili i vise. Evo gledam nesto preko pythona i scrapija da vidim, ako ima neko nesto lakse i bolje neka mi javi. Ili komandu koju da dodam kako bi mi otvarao 500strana, onda cekao 30sekundi i otvarao opet 500 drugih i tako ..

**siraj** · 02-12-15, 01:13

Konacno sastavih kod za ovo. Moze lock.

**Djoks** · 02-12-15, 13:04

Kasno viđeh post ...

Uglavnom, možda je ova metoda jednostavnija:

wget --mirror --random-wait -A htm,html -e robots=off http://www.tvojsajt.com

kako bi napravio mirror ignorišući pri tome robots.txt (što može biti zgodno) i poštujući strukturu Web sajta. Potom sljedeća komanda kako bi pretražio gdje se nalazi određeni zapis:

findstr /spin /m /c:"odredjenizapis" *.*