Парсер сайта про пиво с использованием рендеринга и API сайта. Данный парсер был разбит на два более мелких парсера, чтобы выжить максимум из этого сайта.
Это бесплатный скраппер прокси из бесплатных источников. С обходом блокировок при помощи всё тех же прокси и ротации пользовательских агентов в многопоточном режиме. С возможностью фильтровать и группировать прокси по странам и протоколу.
Его суть в том что он может проверять прокси по различнмы URL, и присваивать им определённый вес, реализован ввиде python скрипта. Вес зависит от того насколько часто удавалось связаться с целевым сайтом через прокси. Реализован в многопоточном режиме на python.
Не забудь поделиться, лайкнуть и оставить комментарий)
Отзывы
(0)