Программирование и анализ данных: часть 1

К проекту

Описание проекта

Файл с описанием.

Проект (файл с кодом, файл с документацией) необходимо загрузить на Dropbox до 5 апреля 23:59 по ссылке.
Дедлайн жесткий.

Примеры проектов

Примеры ниже достаточно минималистичны. В проекте необходимо показать владение методами pandas и средствами визуализации, плюс, обеспечить взаимодействие с пользователем через обработку заданной им информации. Все этапы предварительной обработки также должны быть отражены в коде (описание проектов ниже подразумевает наличие готовых данных).

Есть данные по кафе и ресторанам Москвы (датафрейм). Пользователю предлагается набор виджетов (выпадающие меню, поля для ввода текста, меню с множественным выбором), где он может выбрать ближайшую станцию метро и выставить границы значений для среднего чека. Далее введенные пользователем данные обрабатываются и на экран выводятся кафе и рестораны, удовлетворяющие критериям, отсортированные по возрастанию среднего чека. Далее строится гистограмма, которая показывает распределение цен, чтобы пользователь мог оценить, что дорого, а что нет. Пользователь указывает, какие кафе и рестораны его устраивают, соответствующие строки датафрейма выгружаются в файл.
Есть данные по странам за 2018 год – различные социально-экономические показатели и индексы. Пользователю предлагается набор виджетов (выпадающие меню, поля для ввода текста, меню с множественным выбором), где он выбирает интересующие показатели. Далее, в зависимости от типов данных, производится из анализ (выявление связей, сравнение групп) и визуализация. По результатам анализа пользователю формируется текстовый отчет о том, какие выводы можно сделать на основе полученных статистических показателей и p-value.
Есть данные по новостям: текст новости, время публикации, тематика, имя автора. Пользователю с помощью виджета предлагается выбрать интересующий его период, затем на основе соответствующих этому периоду новостей строятся облака слов и графики для наиболее частотных слов. Далее пользователю предлагается изменить настройки графиков (выбрать палитру и размер слов, добавить стоп-слова), после изменений график сохраняется в файл.

Исполняемые файлы

Создание и запуск файла с расширением .py (видео).

Дизайн и интерактив

Оформление виджетов Jupyter Notebook.
Тьюториалы по веб-дизайну от w3schools.
Документация библиотеки dash для интерактивных дэшбордов.
Обзор работы с dash (видео), файл dash1.py.
Редактирование шаблонного кода для виджета с графиками (видео), обновленный файл dash1.py.
Dashboard со своими данными (видео), файл dash2.py.
Dashboard со своими данными и меню для пользователя (видео), файл dash3.py.

Выгрузка данных

Введение в HTML: lect-html.ipynb.
Работа с html-файлами: web-scrape.ipynb.
Управление браузером с Selenium: lect-selenium-1.ipynb, lect-selenium-2.ipynb, selenium-books.ipynb.
Работа с API ВКонтакте: инструкция по получению доступа, lect-vk-api.ipynb, vk-add.ipynb.
Работа с API mos.ru: mos-API.ipynb