Potrzebuję web crawlera, którego zadaniami będą:
- identyfikacja CMS'a(wordpress i joomla początkowo wystarczą, fajnie gdy było napisane to tak, aby z łatwością dodawać kolejne skrypty),
- sprawdzenie czy na domenie istnieje/istnieją wcześniej zdefiniowane pliki oraz również wcześniej zdefiniowane słowa kluczowe w źródle strony
- zapisanie wyników do bazy danych, z kolumnami [login to view URL] domena; ip; skrypt(cms), czy znaleziono plik(jaki?), czy znaleziono fraze(jaką?); data i godzina
- mile widziany python oraz wielowątkowść, program ma być docelowo uruchamiany na Raspberry Pi 2, nie potrzebuję tych danych tak szybko, aby odpalać to na jakimś super komputerze