Вступление
Это статья-вступление и статья-навигатор по проекту/веб-инструменту SearchResultParser. В этой серии статей будет рассмотрено пошаговое создание данного инструмента.
Основная суть проекта SearchResultParser это парсинг данных из результатов поиска ( не только Google). Вообще, данный инструмент будет поддерживать следующие поисковые системы и машины, не сразу, но всё же:
- Yahoo
- Bing
- DuckDuckGo
- Baidu
- Yandex
- Aol
- StackOverflow
- GitHub
- Ask
- YouTube
- MyAnimeList
- GoogleScholar
- GoogleNews
- Coursera
Основную работу по парсингу я возложу на эту python-библиотеку - search-engine-parser. Основную, да не всю. Парсер гугла и всё что не будет работать я напишу сам. Весь исходный код будет доступен на GitHub. Ещё, по возможности буду пользоваться официальными API, которые предоставляют различные поисковые движки.
Стек используемых технологий в проекте
В качестве фронтенда я выбрал ReactJS + MaterialUI библиотеку. Почему их? А почему нет. React считается самым популярным JS фреймворком и было бы грехом с моей стороны не пощупать его. Так же, в качестве дополнительной гибкости в стилизации и тюнинга вида сайта я буду использовать TailwindCSS.
Для бэкенда у меня всегда один ответ - Django. Мне нравится этот фреймворк, мне нравится его идеология и логика. Плюс только его я и знаю (^///^)
В качестве хостинг провайдера у меня будет выступать reg.ru. Я хотел бы изучить других хостинг провайдеров, кроме beget.
Модель монетизации сайта будет основана на так называемом freemium + рекламные сети. Все платежи я собираюсь проводить через робокассу. А рекламная сеть будет от Яндекса, Директ.
Что ты можешь узнать из этой серии статей
Этот цикл статей подразумевает, что я напишу данный сайт с нуля и до конца и опишу весь процесс подробно. И если быть более точным то в этом цикле ты сможешь узнать такие вещи как:
- Как соединять Django и React
- Как использовать TailwindCSS в связке c React
- Как разворачивать сайт на хостинге от Reg.ru
- Как в один клик синхронизировать боевой сервер и сервер разработки
- Как использовать proxy сервера для своих парсеров
- Как реализовать свопинг пользовательских агентов
- Как эффективно распараллеливать типичный парсер на python
- Как обезопасить твой сайт, лучшие практики.
Навигация по серии
- Новость о новом проекте
- Интеграция React приложения в Django проект
- Вёрстка базового интерфейса сайта (фронтенд)
- Статья о создании интерактивного туториала для сайта
- Статья о добавлении аутентификации пользователей
- Статья о добавлении поддержки многоязычности
- Как настроить и использовать REST framework с Django
- Как развернуть сайт на хостинге от Reg.ru
- Как в один клик синхронизировать боевой сервер и сервер разработки
Заключение
Заключение напишу, когда закончу проект (∪.∪ )...zzz