Crawler do zbierania ofert

Zlece wykonanie crawlera do zbierania ofert nieruchomosci. Zalozenia logiki: * crawler dodaje oferty do bazy danych * crawler nie dubluje ofert - rozpoznaje juz dodane * crawler normalizuje dane z oferty w zakresie -- podzial administracyjny (wojewodztwo, powiat, gmina, miasto) -- adres -- typ nieruchomosci - dom/mieszkanie/dzialka (rolna, budowlana, lesna etc) -- typ ogloszenia (sprzedaz, wynajem) -- rodzaj ogloszenia (prywatne, posrednik) -- link do strony -- zdjecia -- data utworzenia ogloszenia -- Identyfikator ogloszenia -- cena -- powierzchnia -- dane dodatkowe (liczba pokoi, pieter) -- opis * crawler dotyczy 2 stron (slownie: dwóch stron) z ogloszeniami (strony do uzgodnienia podczas nawiazania kontaktu) * crawler wykrywa blokade stron lub blad serwera Zalozenia techniczne: * crawler posiada implementacje page object pattern * crawler jest uruchamiany w ramach pipelines (azure lub aws) * crawler jest uruchamiany 2x dziennie - dziala przez okres 1 miesiaca * crawler wrzuca informacje do bazy danych * crawler posiada implementacje repository pattern Prosba o informacje o: * wycene w ramach opisu * orientacyjna wycenevkolejnych implementacji dla innych stron