Парсинг и анализ данных на Python: от азов до автоматизации. Научимся работать с pandas, импортировать и майнить данные из Сети, строить графики и картограммы, создавать отчеты.
Язык: Русский Автор: Центр digital-профессий ITtensive Лекций: 48 Продолжительность: 8 часов
Чему вы научитесь Работа с данными с помощью pandas и numpy Получение наборов данных из множества источников Преобразование данных и предсказание последовательностей Работа с HTTP, JSON, API, SOAP Парсинг и скрепинг HTML сайтов Визуализация данных: тренды и зависимости Гео-данные м фоновые картограммы Генерация PDF отчетов HTML документы и шаблонизация Отправка email и автоматизация работы Описание Центр digital-профессий ITtensive предлагает персонализированные программы с индивидуальными наставниками для освоения актуальных профессий будущего: аналитик данных на Python и программист больших данных.
Курс состоит из 4 больших частей. Программа 1. Анализ данных Вы изучите работу с импортом, объединением, преобразованием, фильтрацией данных на pandas, а также научитесь предсказывать тренды. Вы сможете самостоятельно загружать данные в формате CSV, TSV, Excel, извлекать из них значения, находить взаимосвязи между разными наборами данных, преобразовывать и усекать наборы данных. В заключении вы освоите математический аппарат линейной регрессии для поиска линейной связи между данными и эффективно примените его для предсказания значений в будущем.
2. Парсинг данных Вы изучите получение данных в Python, используя библиотеку requests API и форматы JSON и XML (включая SOAP). Научитесь работать с неструктурированными данными в HTML, собирать их и преобразовывать в фреймы данных. Научитесь собирать данные целиком с сайта в несколько потоков: создадим мультипроцессного робота-паука. В завершении установите SQLite и загрузите все собранные данные в базу, а также научитесь выбирать из базы данных непосредственно в фреймы данных.
3. Визуализация данных Вы изучите анатомию matplotlib и типы визуализации различных данных: линии, области, столбцы, круговые диаграммы. Научитесь визуализировать зависимости между данными и линейную регрессию с помощью seaborn: построите ящичковые и парные диаграммы, диаграммы распределения. Изучите визуализацию временных (хронологических) данных: ряды, скользящие средние, отклонения и 'японские свечи'. В завершении разберете работу с гео-данными и построение фоновых картограмм по нескольким наборам данных, используя geopandas.
4. Генерация отчетов и автоматизация В этом курсе вы научитесь создавать и преобразовывать PDF документы, генерировать их из HTML кода, используя шаблонизатор, отправлять отчеты по e-mail и автоматизировать работу.
В курсе используются библиотеки reportlab, pypdf2, pdfkit, jinja2, smtplib, email, binascii, io, а также бинарный файл wkhtmltopdf. Решаем задачи по созданию PDF документа через холст, разбору PDF документа, объединению PDF документов, созданию HTML и PDF документов из HTML, шаблонизации HTML через jinja2, преобразованию бинарных данных в base64-кодировку. В заключении разберем отправку e-mail, включая HTML-письма и вложенные PDF отчеты.
Для кого этот курс: Начинающие разработчики Python с интересом к анализу данных Веб-программисты, изучающие Python для получения и разбора данных Менеджеры, планирующие использовать Python для автоматизации работы
Содержание складчины (файлы и папки) 01 numpy и pandas 001 Работа с numpy.mp4 [24m 905k 187] 002 Фреймы данных.mp4 [44m 219k 187] 003 Получение данных из Excel.mp4 [36m 927k 983]
02 Индексы и объединение фреймов 004 Индексы данных.mp4 [50m 675k 560] 005 Мультиндексы.mp4 [77m 706k 421] 006 Объединение фреймов.mp4 [30m 290k 248]
03 Фильтрация и изменение данных 007 Фильтрация данных.mp4 [68m 945k 191] 008 Изменение фреймов.mp4 [59m 394k 177] 009 Лямбда-функции.mp4 [77m 499k 475]
08 Работа с SQL 022 Установка SQLite и создание базы.mp4 [25m 969k 420] 023 Создание таблиц и загрузка данных.mp4 [57m 516k 922] 024 Сохранение результатов.mp4 [85m 669k 728]
11 Временные ряды 031 Серии данных.mp4 [36m 624k 423] 032 Скользящие средние и отклонения.mp4 [48m 976k 445] 033 Свечные графики.mp4 [36m 582k 491]
12 Гео-данные и картограммы 034 Использование карт.mp4 [31m 96k 100] 035 Картограмма с подписями.mp4 [53m 304k 89] 036 Фоновая картограмма.mp4 [66m 279k 483]
13 Работа с PDF 037 Базовый PDF документ.mp4 [36m 53k 883] 038 Добавление информации в PDF.mp4 [37m 492k 820] 039 Преобразование PDF.mp4 [57m 995k 750]
14 Базовые отчеты 040 Структура HTML документа.mp4 [28m 681k 612] 041 Оформление отчета в HTML.mp4 [25m 748k 893] 042 Страницы и колонтитулы.mp4 [47m 621k 635]
15 Генерация отчетов 043 HTML шаблоны с jinja.mp4 [45m 898k 24] 044 Циклы и условия в шаблонах.mp4 [48m 512k 434] 045 Вывод таблиц и изображений.mp4 [67m 244k 492]
16 Отправка email и интеграция 046 Работа с почтой.mp4 [21m 444k 662] 047 Отправка вложений.mp4 [39m 368k 2] 048 Запуск по расписанию в Windows.mp4 [25m 281k 977]
Объем: 2.43ГБ
Вариант 1: Электронная доставка на email
После оплаты заказа на сайте, вам приходит ссылка на курс/тренинг/материалы на почту указанную в заказе.
Стоимость доставки: 0рублей
Политика конфиденциальности
Общие положения
Некоторые объекты, размещенные на сайте, являются интеллектуальной собственностью компании "Все онлайн курсы и тренинги vsekursi24.ru". Использование таких объектов установлено действующим законодательством РФ.
На сайте "Все онлайн курсы и тренинги vsekursi24.ru" имеются ссылки, позволяющие перейти на другие сайты. Компания "Все онлайн курсы и тренинги vsekursi24.ru" не несет ответственности за сведения, публикуемые на этих сайтах и предоставляет ссылки на них только в целях обеспечения удобства для посетителей своего сайта.
Личные сведения и безопасность
Компания "Все онлайн курсы и тренинги vsekursi24.ru" гарантирует, что никакая полученная от Вас информация никогда и ни при каких условиях не будет предоставлена третьим лицам, за исключением случаев, предусмотренных действующим законодательством Российской Федерации.
В определенных обстоятельствах компания "Все онлайн курсы и тренинги vsekursi24.ru" может попросить Вас зарегистрироваться и предоставить личные сведения. Предоставленная информация используется исключительно в служебных целях, а также для предоставления доступа к специальной информации.
Личные сведения можно изменить, обновить или удалить в любое время в разделе "Аккаунт" > "Профиль".
Чтобы обеспечить Вас информацией определенного рода, компания "Все онлайн курсы и тренинги vsekursi24.ru" с Вашего явного согласия может присылать на указанный при регистрации адрес электронный почты информационные сообщения. В любой момент Вы можете изменить тематику такой рассылки или отказаться от нее.
Как и многие другие сайты, "Все онлайн курсы и тренинги vsekursi24.ru" использует технологию cookie, которая может быть использована для продвижения нашего продукта и измерения эффективности рекламы. Кроме того, с помощь этой технологии "Все онлайн курсы и тренинги vsekursi24.ru" настраивается на работу лично с Вами. В частности без этой технологии невозможна работа с авторизацией в панели управления.
Сведения на данном сайте имеют чисто информативный характер, в них могут быть внесены любые изменения без какого-либо предварительного уведомления.
Чтобы отказаться от дальнейших коммуникаций с нашей компанией, изменить или удалить свою личную информацию, напишите нам через форму обратной связи