Описание
Парсер как расширение. Собирает объявления на сайте и собирает их общие данные (ссылку, название, описание, цену) в один большой JSON файл.
Так же возможно скачивать собранные данные как постранично, так и все разом.
Парсит страницы пагинации используя MutationObserver. Сделано это было с той целью, чтобы не приходилось каждый раз вручную запускать парсинг. Но, прошу заметить, парсер автоматически не запускается, чтобы запустить его потребуется соответствующее нажатие.
Он работает таким образом, что если пользователь находится на соответствующем сайте - avito.ru, то он активируется. А если на любом другом сайте, то его невозможно запустить. Это реализуется при помощи записи в манифесте:
Активируется он, путём вставки скрипта на страницу, которая и собирает необходимые объявления.
Дальше эти объявления отправляются в другую часть расширения - control.js. Да, это просто очередной JS-скрипт. Общение происходит на постоянной основе, при помощи специального chrome API. Эти объявления, после собираются и отправляются на скачивание пользователю.
Все необходимые исходники и примеры можно посмотреть в репозитории расширения.
Отзывы
(0)