Серия статей об SearchResultParser навигация по ним

16.07.2024

15.04.2025

2 минуты

138

0

0

0

0

Вступление

Это статья-вступление и статья-навигатор по проекту/веб-инструменту SearchResultParser. В этой серии статей будет рассмотрено пошаговое создание данного инструмента.

Основная суть проекта SearchResultParser это парсинг данных из результатов поиска ( не только Google). Вообще, данный инструмент будет поддерживать следующие поисковые системы и машины, не сразу, но всё же:

1. Google
2. Yahoo
3. Bing
4. DuckDuckGo
5. Baidu
6. Yandex
7. Aol
8. StackOverflow
9. GitHub
10. Ask
11. YouTube
12. MyAnimeList
13. GoogleScholar
14. GoogleNews
15. Coursera

Основную работу по парсингу я возложу на эту python-библиотеку - search-engine-parser. Основную, да не всю. Парсер гугла и всё что не будет работать я напишу сам. Весь исходный код будет доступен на GitHub. Ещё, по возможности буду пользоваться официальными API, которые предоставляют различные поисковые движки.

Стек используемых технологий в проекте

В качестве фронтенда я выбрал ReactJS + MaterialUI библиотеку. Почему их? А почему нет. React считается самым популярным JS фреймворком и было бы грехом с моей стороны не пощупать его. Так же, в качестве дополнительной гибкости в стилизации и тюнинга вида сайта я буду использовать TailwindCSS.

Для бэкенда у меня всегда один ответ - Django. Мне нравится этот фреймворк, мне нравится его идеология и логика. Плюс только его я и знаю (^///^)

В качестве хостинг провайдера у меня будет выступать reg.ru. Я хотел бы изучить других хостинг провайдеров, кроме beget.

Модель монетизации сайта будет основана на так называемом freemium + рекламные сети. Все платежи я собираюсь проводить через робокассу. А рекламная сеть будет от Яндекса, Директ.

Freemium - бизнес-модель, которая заключается в предложении воспользоваться компьютерной игрой, программой или онлайн-сервисом бесплатно, в то время как расширенная версия продукта или его дополнительный контент предлагаются за дополнительную плату, на основе популярности бесплатной версии. Wiki

Что ты можешь узнать из этой серии статей

Этот цикл статей подразумевает, что я напишу данный сайт с нуля и до конца и опишу весь процесс подробно. И если быть более точным то в этом цикле ты сможешь узнать такие вещи как:

1. Как соединять Django и React
2. Как использовать TailwindCSS в связке c React
3. Как разворачивать сайт на хостинге от Reg.ru
4. Как в один клик синхронизировать боевой сервер и сервер разработки
5. Как использовать proxy сервера для своих парсеров
6. Как реализовать свопинг пользовательских агентов
7. Как эффективно распараллеливать типичный парсер на python
8. Как обезопасить твой сайт, лучшие практики.

Навигация по серии

1. Новость о новом проекте
2. Интеграция React приложения в Django проект
3. Вёрстка базового интерфейса сайта (фронтенд)
4. Статья о создании интерактивного туториала для сайта
5. Статья о добавлении аутентификации пользователей
6. Статья о добавлении поддержки многоязычности
7. Как настроить и использовать REST framework с Django
8. Как развернуть сайт на хостинге от Reg.ru
9. Как в один клик синхронизировать боевой сервер и сервер разработки

Заключение

Заключение напишу, когда закончу проект (∪.∪ )...zzz

Форма обратной связи

---

---

Подписка на рассылку

---

---

Отправить

Другое

Похожие статьи

Интерактивный туториал для сайта | Серия SearchResultParser ч. 3

29.08.2024

180

0

0

0

0

В этой статье ты узнаешь как добавить туториал для новоприбывших пользователей используя React, с возможностью указывать к каким элементам относятся подсказки и количество этих подсказок, последовательно

Django + allauth на реакте. Системе аутентификации пользователей ч. 4

31.01.2025

96

0

0

0

0

В этой статье я опишу процесс подключения и настройки allauth приложения к django проекту, где фронтендом занимается react. Это базовая настройка с подтверждением почты и возможностью восстановления пароля. С исходным …

Как разместить django сайт на хостинг от reg.ru Полная инструкция

16.03.2025

316

0

0

1

0

В этой статье я расскажу и покажу как можно развернуть сайт написанный на Django на серверах от хостинг провайдера Reg.ru. Так же из этой статьи ты узнаешь как настраивать и …

Использованные термины

• VPS (Виртуальный частный сервер) ⟶ Это услуга суть которой заключается в том что предоставляется доступ к выделеному серверу на определённой машине. Таких выделенных серверов на одной машине может быть тысячи. Обычно управление таким сервером не отличается от управления обычным, физическим.
• Django шаблон ⟶ Это текстовый документ, который размечен специальным ситнаксисом для вставки кода в него.
• TailwindCSS фреймворк ⟶ Это CSS-фреймворк с открытым исходным кодом, созданный Адамом Уэтеном и поддерживаемый Tailwind Labs. Особенность этой библиотеки в том, что, она не предопределяет CSS-классы отдельных элементов. Вместо этого она предоставляет служебные классы, которые можно объединять для стилизации каждого элемента
• Джанго фреймворк ⟶ Это высокоуровневый веб-фреймворк на языке программирования Python, который позволяет разработчикам создавать веб-приложения быстрее и с меньшими затратами на время благодаря своим мощным инструментам и встроенным функциям. Он был разработан для упрощения разработки сложных веб-сайтов и предоставляет множество «из коробки» функций
• Фреймворк ⟶ Это предварительно определённая структура или основа, которая упрощает процесс разработки программного обеспечения. Фреймворки предоставляют разработчикам набор инструментов, библиотек и практик, позволяя создавать приложения более эффективно и организованно.

Релевантные вопросы

• Когда следует использовать встроенный стиль, а когда CSS? Используйте встроенные стили для динамических свойств стилей. Альтернатива CSS обеспечивает больше преимуществ, таких как автоматическое добавление префиксов, улучшенная отладка, медиа-запросы, ключевые кадры.
• Мое приложение некорректно отображается на сервере? Если это не работает, в 99% случаев это проблема конфигурации. Отсутствующее свойство, неправильный порядок вызовов или отсутствующий компонент — серверный рендеринг строго относится к конфигурации. Лучший способ выяснить, что не так, — сравнить свой проект с уже работающей настройкой. Ознакомьтесь с эталонными реализациями по частям.
• Я не переношу язык шаблонов Django. Мне обязательно его использовать? Я думаю, что этот шаблонизатор — лучшее, что когда-либо было, но я знаю, что выбор языка шаблонов — это почти религия. В Django нет ничего, что требовало бы использования языка шаблонов, так что если вы привязаны к Jinja2, Mako или чему-то еще, то это нормально.