Парсер финансовой статистики с Yahoo

Основное
Цели
Решение
Результат

Будь в курсе последних курсов

Это многоцелевой, настраиваемый парсер.

В нём присутствует следующий функционал.

  • Выбор категорий для парсинга

  • Выбор варианта вывода результата

Данный парсер собирает данные с Yahoo Finance через предоставляемый API сайта.

Принцип работы основан на разделении работы на этапы.

Первый этап, предварительный. Сохранение всех инструментов.

Второй этап, парсинг. Обработка полученных данных и компиляция их в в файлы результатов.

Цели

  • Создать интерфейс управления парсером

  • парсить только необходимые категории с сайта

Решение

В самом начале был определён функционал парсера. То есть, выбор категории для парсинга и выбор формата файла результата.

Выполняя работу, для облегчения поддержки данного парсера, он был поделён на две неформальные части. Первая собирает и сохраняет все данные с Yahoo, а вторая их парсит и сохраняет результат.

Результаты было решено хранить в data/results/

А все промежуточные результаты в data/tools/

Результат

Имеем парсер, который может спарсить все финансовые инструменты с Yahoo Finance и сохранить в нужном формате.

Наличие командного интерфейса для управления поведения парсера.

Исходники можно посмотреть тут.

Репозиторий

Скачать скрипт можно тут.

Архив

Дополнительные материалы


сердце 0
3 соединённые точки 0