Скрапинг вакансий с открытых источников по заданным параметрам. Сохранение, рассылка и отображение этих вакансий.?
Чему вы научитесь Научитесь анализировать сайты для их дальнейшего скрапинга, а также создавать простые приложения на Django
Что входит в курс? 21,5 часа видео
Материалы курса 70 лекций - 21:41:59
– Введение - 13:25 Введение - 02:10 Инструменты и библиотеки, которые будут использоваться в проекте - 05:07 Виртуальное окружение. Что это такое и зачем оно нужно - 06:08
– Скрапинг данных с сайтов - 03:26:30 Сбор данных с сайтов ( скрапинг). Две разные категории сайтов для скрапинга - 13:00 Скрапинг данных с помощью requests и beautifulsoup - 11:28 Анализ страницы сайта work.ua . Как и какие данные можно получить - 09:58 Сбор данных по одной вакансии - 21:46 Анализ пагинации для получения ссылок на другие страницы с вакансиями - 30:30 Получения данных со всех страниц с вакансиями по выбранной категории - 18:24 Анализ сайта djinni.co - 24:40 Сбор данных со второй страницы сайта djinni.co - 11:27 Скрапинг страницы сайта dou.ua - 21:02 Скрапинг страницы сайта rabota.ua - 24:21 Скрапинг данных со второй страницы с вакансиями на rabota.ua - 19:54
– Django - 07:56:43 Установка Django - 22:31 Как Django работает изнутри. Подключаем html-страницу - 15:17 Создание первой модели в Django - 20:33 Создание модели для сохранения данных по вакансиям - 24:55 Создание модели для специальностей. Что такое shell? - 19:35 Создание функции по интеграции функции скрапинга и сохранению данных в БД - 21:53 Продолжение по функции для сохранения данных в БД - 17:46 Финализируем функцию по сохранению данных - 06:03 Добавление остальных функций по скрапингу. Обработка исключений - 19:17 Расширение функционала. Добавление возможности поиска по другим параметрам - 20:06 Автоматизация получения входных данных для скрапинга - 23:09 Bootstrap. Немного сведений об этом фреймворке - 20:12 Шаблонные тэги в Django — block и extends - 23:36 Отображение данных из БД на странице - 14:24 Добавление логики в функцию отображения данных - 08:56 Формы. Создание формы с выбором городаспециальности для сортировки отображения - 31:55 Создание нового приложения для подписчиков - 25:25 Форма регистрации и добавление нового пользователя - 34:30 Функция добавления нового пользователя - 23:00 Форма авторизации пользователя - 21:54 Функция входа и форма для редактирования данных пользователя - 21:11 Функция редактирования данных пользователя - 24:34 Создание адресов и страниц для входа и редактирования - 16:01
– PostgreSQL - 02:53:44 Установка PostgreSQL - 11:06 Миграции, новый суперюзер, загрузка данных в новую БД - 06:06 psycopg2 модуль по работе с БД PostgreSQL. Скрипт по работе БД - 26:28 Скрипт по работе с БД. Словарь с городами и специальностями - 13:38 Скрипт по работе с БД. Словарь с сайтами и урлами для скрапинга - 21:35 Скрипт по работе с БД. Получение данных по результату работы скрапинга сайтов - 21:34 Скрипт по работе с БД. Запись данных в БД. Удаление старых записей из БД - 26:54 Работа с моделаями вне Django-проекта - 23:22 Финализируем скрипт по работе с моделаями вне Django-проекта - 23:01
– Улучшения внешнего вида и функционала - 01:36:03 Создание стартовой страницы — адрес, функция, шаблон - 19:26 Небольшие изменения для лучшего отображения страницы - 18:42 Форма обратной связи - 27:18 Отправка писем админу по отсутствующим урлам для пар город-специальность - 30:37
– Heroku - 01:54:47 Подготавка файла с настройками - 15:19 Устанавка необходимых библиотек - 20:14 Деплой проекта - 22:39 Создание необходимых переменных окружения - 24:49 Запуск проекта - 19:55 Выполнение функций по расписанию - 08:00 Создание проекта с помощью CLI - 03:51
– Улучшаем функционал сервиса - 02:52:10 Редактирование внешнего вида страниц сайта - 19:56 Переход с Django 1.11 на Django 2. Что нужно сделать? - 25:32 Логирование ошибок. Создание модели - 22:05 Логирование ошибок. Изменения в логике работы функций - 34:19 Логирование ошибок. Отправка писем администратору - 19:53 Логирование ошибок. Отправка писем администратору, дополнение - 05:30 Страницы ошибок 400.html, 404.html, 500.html - 08:21 Дополнения и изменения - 33:42 Решение с многократной отправкой писем - 02:52
– Финал - 01:27 Финал - 01:27
Требования Базовые знания Python и html
Описание Django - бесплатный и свободно распространяемый фреймворк для веб-приложений, написанный на Python. Каждый раз при разработке веб-сайтов требуются похожие компоненты: способ аутентифицировать пользователей (вход, выход, регистрация), панель управления сайтом, формы, инструменты для загрузки файлов и т.д. И чтобы это все не повторять, был создан Django. Django отлично работает в сочетании с любыми библиотеками, инструментами и скриптами, написанными на Python.
Шаг за шагом, Вы пройдете весь процесс по построению сервиса, который собирает вакансии с сайтов по поиску работы и рассылает их своим подписчикам. Вы узнаете, каким образом скрапить данные с сайтов , как их сохранять в БД, как создать веб-приложение на основе Django и многое другое. А после того, как приложение уже будет готово, Вы узнаете, как его можно разместить в интернете так, чтобы оно было доступно для всех.
Основная целевая аудитория курса - студенты, желающие получить знания по скрапингу данных и по Django, а также разработчики, которые уже знают Python и хотят побольше узнать о веб- разработке и скрапингу.
Некоторые темы курса: ·Virtualenv – зачем нужно и как его использовать ·Парсинг сайтов с использованием библиотек requests и Beautifulsoup ·База данных PostgreSQL и работа с ней используя модуль psycopg2 ·Создание приложения на основе Django ·Оформление сайта с помощью Bootstrap 4 ·Деплой приложения на сервис Heroku ·и многое другое!
Какова целевая аудитория? Для начинающих разработчиков на Python, кому интересно как парсить сайты и сохранять данные скрапинга в Django
О преподавателе Oleg Novikov PythonDjango Developer Здравствуйте! Меня зовут Новиков Олег. Занимаюсь тем, что пишу приложения на Python Django и преподаю курс по основам программирования на Python в офлайн. Когда то, я сам обучался программированию и все что с ним могло быть связано, а теперь я готов поделиться полученными знаниями с Вами. И это очень здорово, когда ты делишься тем, что знаешь сам! Я не знаю всё, да и это невозможно, поэтому постоянно изучаю какие-то новые технологии. И мой Вам совет – делайте тоже самое! Читайте, изучайте, пишите код! Чем больше Вы применяете полученные знания на практике, тем лучше они усваиваются! Если у Вас будут возникать вопросы - пишите, я обязательно отвечу на них!
Вариант 1: Электронная доставка на email
После оплаты заказа на сайте, вам приходит ссылка на курс/тренинг/материалы на почту указанную в заказе.
Стоимость доставки: 0рублей
Политика конфиденциальности
Общие положения
Некоторые объекты, размещенные на сайте, являются интеллектуальной собственностью компании "Все онлайн курсы и тренинги vsekursi24.ru". Использование таких объектов установлено действующим законодательством РФ.
На сайте "Все онлайн курсы и тренинги vsekursi24.ru" имеются ссылки, позволяющие перейти на другие сайты. Компания "Все онлайн курсы и тренинги vsekursi24.ru" не несет ответственности за сведения, публикуемые на этих сайтах и предоставляет ссылки на них только в целях обеспечения удобства для посетителей своего сайта.
Личные сведения и безопасность
Компания "Все онлайн курсы и тренинги vsekursi24.ru" гарантирует, что никакая полученная от Вас информация никогда и ни при каких условиях не будет предоставлена третьим лицам, за исключением случаев, предусмотренных действующим законодательством Российской Федерации.
В определенных обстоятельствах компания "Все онлайн курсы и тренинги vsekursi24.ru" может попросить Вас зарегистрироваться и предоставить личные сведения. Предоставленная информация используется исключительно в служебных целях, а также для предоставления доступа к специальной информации.
Личные сведения можно изменить, обновить или удалить в любое время в разделе "Аккаунт" > "Профиль".
Чтобы обеспечить Вас информацией определенного рода, компания "Все онлайн курсы и тренинги vsekursi24.ru" с Вашего явного согласия может присылать на указанный при регистрации адрес электронный почты информационные сообщения. В любой момент Вы можете изменить тематику такой рассылки или отказаться от нее.
Как и многие другие сайты, "Все онлайн курсы и тренинги vsekursi24.ru" использует технологию cookie, которая может быть использована для продвижения нашего продукта и измерения эффективности рекламы. Кроме того, с помощь этой технологии "Все онлайн курсы и тренинги vsekursi24.ru" настраивается на работу лично с Вами. В частности без этой технологии невозможна работа с авторизацией в панели управления.
Сведения на данном сайте имеют чисто информативный характер, в них могут быть внесены любые изменения без какого-либо предварительного уведомления.
Чтобы отказаться от дальнейших коммуникаций с нашей компанией, изменить или удалить свою личную информацию, напишите нам через форму обратной связи