Серия статей об SearchResultParser навигация по ним
Общие данные
Это статья-вступление и статья-навигатор по проекту/веб-инструменту SearchResultParser.
В этой серии статей будет расмотренно пошаговое создание данного инструмента.
Основная суть SearchResultParser это парсинг данных из результатов поиска ( не только Google). Вообще, данный инструмент будет поддерживать следующие поисковые системы и машины:
- Yahoo
- Bing
- DuckDuckGo
- Baidu
- Yandex
- Aol
- StackOverflow
- GitHub
- Ask
- YouTube
- MyAnimeList
- GoogleScholar
- GoogleNews
- Coursera
Данную возможностью парсинга данных сайтов/сервисов/поисковиков предоставит нам python-библиотека search-engine-parser.
Структура/стек технологий
В качестве фронтенда будут использованы такие фреймворки как React и TailwindCSS .
Для бэкенда Django .
Хостинг провайдером будет Timeweb .
В качестве приёма и осуществления платежей будет использована Robokassa
Весь код проекта будет открытым и поделён на ветки в соответствии с пройденными главами/статьями. Весь исходный код ты найдёшь здесь https://github.com/DmRafaule/SearchResultParser
Что ты узнаешь из этой серии статей
- Как соединять django и React
- Как соединять djnago и TailwindCSS
- Как разворачивать сайт на хостинге от Timeweb
- Как в один клик синхронизировать боевой сервер и сервер разработки
- Как использовать proxy сервера для своих парсеров
- Как реализовать свопинг пользовательских агентов
- Как эффективно распараллеливать типичный парсер на python
- Как обезопасить твой сайт, лучшие практики.
- Как соединить django и Robokassa
- Как работать с рекламными сетями от Яндекса и Google
Навигация по серии
- Новость о новом проекте
- Интеграция React приложения в Django проект
- Вёрстка базового интерфейса сайта (фронтенд)
- Статья о создании интерактивного туториала для сайта
- Статья о добавлении аутентификации пользователей
- Статья о добавлении поддержки многоязычности
- Создание моделей, базы данны и основной функционал сайта (бэкенд)
- Как разворачивать сайт на хостинге от Timeweb
- Как в один клик синхронизировать боевой сервер и сервер разработки
- Как использовать proxy сервера для своих парсеров
- Как реализовать свопинг пользовательских агентов
- Как эффективно распараллеливать типичный парсер на python
- Как обезопасить твой сайт, лучшие практики.
- Как сделать key-based аутентификацию пользователей
- Как соединить django и Robokassa
- Как запускать рекламу на Яндекс.Директ
Похожие статьи
0
Использованные термины
- Джанго фреймворк ⟶ Это высокоуровневый веб-фреймворк на языке программирования Python, который позволяет разработчикам создавать веб-приложения быстрее и с меньшими затратами на время благодаря своим мощным инструментам и встроенным функциям. Он был разработан для упрощения разработки сложных веб-сайтов и предоставляет множество «из коробки» функций
- Питон или Python ⟶ Интерпретируеммый, объектно ориентированный, с динамической семантикой и высокоуровневый язы программирования. Активно используется для быстрой разработки, созданию скриптов и соединению существующих компонентов программы.
Релевантные вопросы
- Мое приложение некорректно отображается на сервере? Если это не работает, в 99% случаев это проблема конфигурации. Отсутствующее свойство, неправильный порядок вызовов или отсутствующий компонент — серверный рендеринг строго относится к конфигурации. Лучший способ выяснить, что не так, — сравнить свой проект с уже работающей настройкой. Ознакомьтесь с эталонными реализациями по частям.
- Как сделать переменную доступной для всех моих шаблонов? Иногда всем вашим шаблонам нужно одно и то же. Типичным примером являются динамически генерируемые меню. На первый взгляд кажется логичным добавить общий словарь в контекст шаблона. Лучший способ сделать это в Django — использовать RequestContext
- Если я внесу изменения в модель, как мне обновить базу данных? Взгляните на поддержку Django для миграции схем. Если вы не против очистки данных, утилита manage.py вашего проекта имеет опцию сброса, чтобы сбросить базу данных в состояние, в котором она была сразу после выполнения миграции.