5 Расширенных возможностей Pandas и как ими пользоваться
Pandas — это золотой стандарт в обработке данных. А функциональные возможности библиотеки по загрузке, фильтрации, обработке и изучению данных быстро сделали ее излюбленным инструментом аналитиков.
Конечно же, большинство из нас работает с самыми примитивными возможностями: загрузка данных из CSV -файла, фильтр нескольких столбцов и переход к визуализации данных. Однако в Pandas есть и малоизвестные, но от того не менее полезные функции, которые значительно упрощают обработку данных.
В данной статье мы рассмотрим 5 продвинутых функций, узнаем, для чего они нужны, и как ими пользоваться. Теперь обработка данных станет еще веселее!
(1) Настройка опций и параметров
Pandas идет в комплекте с набором настраиваемых опций и параметров. Они отлично повышают продуктивность аналитиков, поскольку позволяют им настроить Pandas-среду под себя.
Например, в настройках отображения можно задать количество показываемых строк и столбцов, а также настроить количество знаков после запятой.
В коде выше показывается, что Pandas может отображать не более 10 строк и 10 столбцов, а максимально допустимое количество знаков после запятой — 2. Таким образом, при добавлении большого DataFrame в терминал или Jupyter Notebook, он не превратится в мешанину из данных.
Это лишь базовый пример. Существует куда больше полезных возможностей Pandas. Почитать о других опциях можно в официальной документации.
(2) Объединение DataFrame
Мало кто знает, что DataFrame в Pandas можно объединить несколькими способами. Каждый из этих способов выдает разный результат, поэтому при выборе руководствуйтесь собственными целями. Кроме того, в оба способа заложены наборы параметров для более глубокой настройки слияния. Давайте поговорим о них подробнее.
Конкатенация
Конкатенация относится к самым известным методам объединения фреймов данных; ее можно рассматривать, как «стекинг». И этот самый стекинг бывает вертикальным или горизонтальным.
К примеру, у вас есть огромный набор данных в CSV -формате, и для упрощения обработки имеет смысл разделить его на несколько файлов. Это весьма распространенная практика для огромных наборов данных и довольно часто она называется «фрагментацией» или «шардингом».
При загрузке данных в Pandas вы можете создать единый DataFrame с помощью вертикальной пристыковки фрейма данных из каждого CSV -файла. Предположим, у нас есть 3 фрагмента по 5 миллионов строк в каждом. Тогда после вертикального стекинга наш итоговый фрейм данных будет содержать 15 миллионов строк.
В коде ниже показана вертикальная конкатенация DataFrame в Pandas.
Похожий результат можно получить при разделении набора данных не по строкам, а по столбцам. В таком случае, из каждого CSV -файла берется по нескольку столбцов со всеми строками. Это чем-то похоже на фрагментацию наборов данных по признакам. Далее выполняется горизонтальный стекинг для объединения столбцов/признаков.
Слияние
Слияние — это более сложный и мощный тип объединения DataFrame в стиле SQL . Фреймы данных объединяются по какому-то общему атрибуту.
Допустим, у вас есть два DataFrame с описанием YouTube-канала. Один из фреймов — это список ID пользователей и общее количество времени, которое каждый пользователь провел на канале. Другой фрейм содержит тот же список с ID и количество просмотренных роликов по каждому пользователю. Благодаря слиянию мы сможем объединить два фрейма данных в один по ID пользователя, а затем добавим туда единой строкой ID, затраченное время и количество просмотренных роликов.
Слияние двух DataFrame в Pandas делается через функцию merge . Пример ее использования можно найти ниже. Параметры left и right задают два DataFrame для объединения, а в on отмечается столбец для сопоставления данных.
Чтобы еще качественнее имитировать SQL -объединение, воспользуйтесь параметром how . Он позволяет выбрать тип SQL -объединения: внутреннее, внешнее, слева или справа. Подробнее об SQL -объединениях читайте на W3Schools.
(3) Изменение формы DataFrame
Существует несколько способов изменения формы и структуры фреймов данных в Pandas. От простых и легких до мощных и сложных. Давайте рассмотрим три наиболее популярные разновидности. Во всех примерах мы будем работать с набором данных о супергероях.
Транспонирование
Простейший способ. Здесь мы заменяем строки DataFrame на столбцы. Если у вас есть 5 000 строк и 10 столбцов, то после транспонирования вы получите 10 строк и 5 000 столбцов.
Groupby
Основное назначение Groupby — это разделение фреймов данных на части по определенным ключам. После разделения DataFrame вы сможете пройтись циклом по каждой из частей или выполнить дополнительные действия.
Например, в коде ниже мы создали фрейм данных по игрокам с их стажем ( Years ) и количеством очков ( Points ). Затем с помощью groupby мы разделили DataFrame на несколько частей по полю «игрок» ( Player ). Таким образом, каждый игрок оказался в собственной группе, показывающей, сколько очков данный игрок набрал за каждый год активности.
Стекинг
Стекинг в Pandas— это способ преобразования фреймов данных, при котором в DataFrame появляется многоуровневый индекс, т.е. каждая строка разбивается на несколько частей. Эти части создаются из столбцов DataFrame с дальнейшим сжатием их в мультииндекс. В общем и целом, стекинг можно рассматривать как сжатие столбцов в строки с мультииндексом.
Лучше всего все это показано в коде ниже.
(4) Работа с данными о дате и времени
Библиотека Datetime — это неотъемлемая часть Python. Всякий раз, встретив данные о дате или времени, вы обращаетесь к Datetime . К счастью для нас, Pandas придумала собственные возможности для использования объектов Datetime .
Давайте рассмотрим их на примере. В коде ниже мы создаем DataFrame с 4 столбцами (день, месяц, год, нужные данные), а затем сортируем их по году и месяцу. Как видите, получается слишком громоздко: для хранения данных используется целых 3 столбца, тогда как по факту календарная дата — это всего лишь одно значение.
Навести здесь порядок нам поможет datetime .
Pandas придумала отличную функцию to_datetime() , которая сжимает несколько столбцов DataFrame и преобразует их в единый объект Datetime . Сразу при задании нужного формата нам становятся доступны все гибкие возможности библиотеки Datetime .
Чтобы воспользоваться функцией to_datetime() , передадим ей все данные о дате из соответствующих столбцов ( Day , Month , Year ). После преобразования этих данных в формат Datetime , остальные столбцы нам больше не потребуются. Если хотите, можете от них избавиться. Вот, как все работает:
(5) Классификация элементов по группам
Классификация — это хитрый прием для организации категориальных данных. Предположим, что у нас есть огромный фрейм данных с тысячами строк, а один из столбцов содержит нужный нам элемент для классификации. Такое действие упростило бы процесс машинного обучения моделей и визуализации данных.
Взгляните на код ниже. Здесь приводится список продуктов, которые хотелось бы классифицировать:
Здесь мы выносим наш список в Series и создаем словарь с нужной нам классификацией Protein или Carbs . Это простейший пример. Но если бы эта Series была достаточно крупной (например, в 1 000 000 элементов длиной), то прохождение по ней циклом оказалось бы совершенно не разумным решением.
В таком случае, вместо обычного цикла for , лучше написать отдельную функцию, которая будет использовать встроенную Pandas-функцию map() для оптимизации процесса. В коде ниже все подробно расписано.
В этой функции мы проходимся циклом по всему словарю и создаем новый словарь, в котором ключами служат все вариации элементов из Series , а значениями являются признаки Protein или Carbs . Далее мы просто применяем встроенную функцию map() и классифицируем все значения из Series .
Вот, что у нас получается:
Заключение
Вот и все. Теперь вы узнали о 5 продвинутых возможностях Pandas и вариантах их применения.
как в DataFrame записать большое количество строк
Имеется list df , в нем содрежится 193270 строк, есть ли быстрый способ записать их в DataFrame?
Запись идет, но чем больше строк в DataFrame, тем медленнее запись
Как видно сейчас показывает 4 часа записи, и это значение растет.
Если df — это список, как написано у вас в вопросе, то DataFrame можно создать так:
В любом случае добавлять 193270 строк в DataFrame по одной — самый медленный и неэффективный способ.
Вызывая pd.concat([s,df[i]]) 193270 раз, вы 193270 раз создаете новый DataFrame и копируете в него все данные из s , по мере работы цикла число строк в s постоянно растёт — как следствие цикл будет работать все медленнее.
Дизайн сайта / логотип © 2023 Stack Exchange Inc; пользовательские материалы лицензированы в соответствии с CC BY-SA . rev 2023.3.11.43304
Нажимая «Принять все файлы cookie» вы соглашаетесь, что Stack Exchange может хранить файлы cookie на вашем устройстве и раскрывать информацию в соответствии с нашей Политикой в отношении файлов cookie.
Как вывести всю таблицу в Pandas?
Как вывести всю таблицу в Pandas (со всеми рядами и строками, без сокращения данных).
Многоточие в таблице для программиста, как закрытые двери в квартире для кота: может быть скрытая информация и не пригодится, но взглянуть-то хочется! Очень часто такой подход позволяет достичь хороших результатов: коту найти сосиску, ну а нам, любителям табличных данных — выявить возможную закономерность, найти новый признак или возможный баг в данных. Давайте же разберемся, что мешает нам взглянуть на данные без ограничений и вывести всю таблицу в Pandas целиком.
Как выглядит таблица в сокращенном варианте?
Для начала смоделируем эту неприятную ситуацию: загрузим таблицу с данными в переменную data и попробуем вывести ее на экран. В качестве демонстративной таблицы, я загружу данные о ТОП-550 литературных бестселлерах за 2009-2019 годы, набравших наибольшее число продаж на сайте Amazon. Данные выложены на сайте Kaggle, скачать их можно на странице: https://www.kaggle.com/sootersaalu/amazon-top-50-bestselling-books-2009-2019, либо с моего сайта по ссылке «Топ-550 литературных бестселлеров».
Итак, загружаю данные и вывожу таблицу на экран:
Согласитесь, не очень удобный для восприятия формат вывода: не смотря на то, что под таблицей гордо располагается информация о том, что таблица содержит 550 рядов и 7 столбцов, нам для обзора доступна лишь небольшая часть из них. Остальное содержимое скрыто за многоточием. Кроме этого, некоторые данные в столбце «Name», похоже, усечены. Давайте исправим это!
Корректируем вывод табличных данных с помощью функции set_option() в Pandas
Для начала небольшой спойлер:
При установке значений опций ‘display.max_rows’, ‘display.max_columns’, ‘display.max_colwidth’ как None, можно сбросить ограничения на число выводимых рядов, столбцов таблицы, а также на длину записи в таблице:
А теперь подробности!
В Pandas существует служебная функция set_option(), позволяющая настроить формат вывода таблицы по своему желанию. Рассмотрим наиболее полезные для работы с таблицами параметры функции set_option():
1. display.max_rows
При установке значения для параметра ‘display.max_rows’ Вы можете ограничить количество выведенных строк с данными значением типа int. Рассмотрим пример:
В данном случае на экран будут выведены 7 строк: 3 первых и 3 последних записи таблицы, разделенные строкой с многоточием.
Для того, чтобы сбросить ограничения на число строк, нужно определить значение опции ‘display.max_rows’ как None:
2. display.max_columns
Настройка этой опции позволяет регулировать число выводимых столбцов. Если параметр ‘display.max_columns’ определен значением типа int, меньшим, чем действительное число столбцов в таблице, то при выводе таблицы, мы увидим столбец из многоточий, как на приведенном в начале статьи «Рис.1».
Чтобы снять ограничения на количество столбцов, нужно для опции ‘display.max_columns’ установить значение None:
3. display.max_colwidth
Эта опция может быть задана числовым значением типа int или определена, как None. Числовое значение позволяет ограничить количество символов в столбце таблицы. Рассмотрим пример:
Приведенная выше в качестве примера строка, ограничит все записи в таблице 10-ю символами.
Для вывода всех символов в записях, нужно определить значение опции ‘display.max_colwidth’ как None:
Результат сброса ограничений на вывод табличных данных
Протестируем работу функции set_option() на рассмотренном в начале статьи примере. Сбросим ограничения на количество отображаемых данных перед выводом таблицы на экран:
Ограничения сняты! На изображении выше видно, что многоточия пропали, появилась полоса прокрутки, количество записей увеличилось, а в столбце Name выводится полная информация.
Мы достигли желаемой цели благодаря верным значениям опций в функции set_option()!
Шаблон новичка на пути PANDAS в искусстве анализа данных
Доброго времени суток! Меня зовут Алексей. Сейчас я обучаюсь на аналитика данных в «Яндекс Практикум». Дело для меня непривычное, совершенно не связанное с моей предыдущей деятельностью (пока что работаю врачом, иногда пишу рассказы и повести), так что порой некоторые темы даются с большим трудом.
Начинающий аналитик данных с первых дней учёбы сталкивается с необходимостью освоить одну из наиболее важных в его будущей работе библиотек python — pandas. По себе знаю: порой здесь возникает такая путаница в голове, что первые простые задания вызывают ступор. Пройдя множество учебных заданий и успешно сдав несколько проектов, хочу поделиться с такими же новичками, как я сам, парой советов, которые, надеюсь, смогут упростить учебный процесс и первые шаги в новой профессии.
И мой главный совет: «сделайте себе шаблон«!
Не важно, в чём вы пишете код: «Google colaboratory», «Jupiter notebook» или в какой-то иной среде. Не важно, сколько вы пока знаете: если осваиваете профессию с нуля, вносите в шаблон всё, что уже умеете — позже всегда можно удалить лишнее. Шаблон поможет вам быстро сориентироваться в любой новой задаче, напомнит о необходимых манипуляциях.
Постарайтесь найти баланс между общими правилами оформления работы, которые от вас требуют (преподаватели, ревью, заказчики), логикой программирования и вашими личными предпочтениями в ведении документации.
Лично я большую часть учебных проектов выполнил в «Google colaboratory» (далее по тексту просто «колаб»), где предпочитаю следующую структуру шаблона.
Шапка
Название шапки напишем в отдельной текстовой ячейке с ### — там мы создаём раздел, который в колаб можно свернуть, спрятав ячейки текста и кода. Плюс: если кто-то будет просматривать вашу работу в «Jupiter notebook», текст сформирует заголовок и пункт оглавления, что будет удобно и вам, и просматривающим вашу работу.
Ниже вставьте хотя бы одну пустую ячейку под описание, вводной части или какого-то предварительного пояснения.
Подготовка к работе
Новый раздел. Также стоит название раздела записать в пустой ячейки, начав с ### .
В этом разделе стоит загрузить библиотеки и добавить некоторые предварительные настройки.
Отдельно по колаб. Если вы, как и я, предпочитаете работу в колаб, в первую очередь необходимо подключить возможность использовать доступный вам виртуальный диск «Google drive». Чтобы избежать конфликта при ревью в другой среде, заключите код в конструкцию «try — except». Если вы планируете скачивать из вашей работы какие-либо файлы, добавьте в этот же блок функцию колаб для загрузки файлов.
from google.colab import drive
# загрузка файлов из колаб
from google.colab import files
print(‘Подключение к google-drive не выполнено. Вы просматриваете проект в другой среде. Код запущен далее.’)
Здесь же можно добавить скрытие предупреждений, которые колаб щедро раздаёт при работе:
# colab часто выдаёт предупреждения — скроем их
Далее поставим ячейку кода загрузки библиотек. Конечно, для анализа данных основной вашей библиотекой будет pandas (запишите её сразу со стандартным псевдонимом pd):
import pandas as pd
В зависимости от целей вашей работы на этом этапе может возникнуть необходимость загрузки и других библиотек. При изготовлении шаблона оставьте себе максимальное количество полезных библиотек, добавьте комментарии, какие библиотеки и для чего вам необходимы. К примеру, мой шаблон в этом разделе пестрит обилием следующих библиотек:
# для работы с показателями времени
from datetime import datetime
# для «красоты» (графики и оформление)
import matplotlib.pyplot as plt
from pandas.plotting import register_matplotlib_converters
# конвертеры, которые позволяют использовать типы pandas в matplotlib
import seaborn as sns
import plotly.express as px
from plotly import graph_objects as go
# для математических и статистических операций
import numpy as np
import math as mth
from scipy import stats as st
# библиотеки для работы с дашбордами
from sqlalchemy import create_engine
# для создания двойного пути к базе данных — об этом чуть позже
Далее заранее организуйте для себя наиболее удобный и приемлемый в рамках вашей работы вид выводимых пандами данных. Для этого добавьте код редактирования опций. Подробнее об опциях можно почитать в официальной документации по ссылке.
Лично я предпочитаю такие скромные вводные:
# количество строк в таблице не больше 5, чтобы не писать head() за каждым фреймом
# при необходимости раскрыть из комментария полный вывод данных в колонке
# оставим всего три знака после запятой у чисел с плавающей точкой
Даже, если вы ещё только учитесь, очень рано вам понадобится использовать графики. Вам, вашим преподавателям или заказчикам будет комфортно просматривать графики и диаграммы, если они будут выполнены в общей стилистике. Редактируя параметры matplotlib.pyplot можно заранее задать размер шрифта заголовков и осей, цветовую гамму и стиль. Подробнее о параметрах можно почитать в официальной документации по ссылке.
Вот пример параметров моего основного шаблона:
large = 16; med = 12; small = 10
‘figure.figsize’: (12, 8),
# на мой взгляд лучше всего подходит палитра deep
# она не пёстрая, относительно контрастная
# однако в реальном заказе я предпочёл бы принятые у заказчика цвета для подобной работы
Ознакомление с данными
Когда всё готово для работы, можно приступить к загрузке данных и ознакомлению.
Как я уже говорил, я прохожу обучение в “Яндекс Практикум”. При работе над учебными проектами студентам даётся выбор: работать данными в “Jupiter notebook” на платформе или скачать файл и работать локально в удобной для обучающегося среде. Если работать локально, то перед отправкой на ревью потребуется исправить часть кода с загрузкой данных, чтобы они подгружались из того же ресурса, что и у преподавателя… Или вы можете задать двойной путь к файлу данных: один ваш локальный, второй — ссылка преподавателя. Для этого воспользуемся техникой создания двойного пути с помощью библиотеки os:
df = pd.read_csv(pth1, delimiter=’\t’)
df = pd.read_csv(pth2, delimiter=’\t’)
print(‘Проверьте правильность пути к датасету’)
Этот приём пригодится вам также при ситуации, когда один и тот же код вы используете на разных машинах, средах и так далее (к примеру, часть работы делаете на стареньком домашнем компьютере без интернета, часть — непосредственно на рабочем месте, может быть, даже в гостях у любимой бабушки). При работе с несколькими файлами данных прописывайте им соответствующие пути (1 файл — pth1, pth2; 2 файл — pth3, pth4 и т.д.) с последующей конструкцией if-else.
Когда данные загружены, можно посмотреть сформированные датафреймы. Если вы, как и я, указали в опциях (‘max_rows’, 5), то ставить head() уже не потребуется — датафрейм автоматически выведет только 5 строк (две первых, пустую — обозначает прочие строки, две последних). Если вам нужно больше строк, используйте head() или отредактируйте опции и перезапустите код. Для большого числа строк можно добавить функцию подсветки строк при наведении курсора мыши:
# добавим подсветку строки при наведении — просто для красоты
Далее, если необходимо, пройдите по датафрейму стандартными функциями оценки. Некоторые педагоги “Практикума” требуют применения максимального числа функций на этапе ознакомления с данными. Возможно, в вашей учёбе или работе вам потребуется проделать аналогичную работу. Так что не поленитесь добавить себе в шаблон:
-оценку общих данных о датафреме
-поиск пропущенных значений
-поиск абсолютных дубликатов
Предобработка
Предобработка данных зависит от качества первоначальных данных и стоящих перед вами задач. Тем не менее, стоит внести себе в шаблон хотя бы в качестве напоминания того, что вы можете сделать с датафреймом прежде, чем приступите к анализу.
Приведите имена колонок в стилистически правильные или удобные вам, если это необходимо. К примеру, таким способом:
df.columns = [‘имена колонок через запятую’]
Обработайте дубликаты. В зависимости от данных и поставленных задач, с абсолютными дубликатами возможны разные варианты работы. Если задача допускает удаление дубликатов, то сделайте это здесь всего одной строкой, не забыв при этом обновить индекс фрейма:
Если ваш датафрейм содержит колонку исключительно уникальных значений (к примеру, id пользователей), а поставленная задача требует максимального разнообразия данных, вы также можете провести очистку датафрейма от дубликатов без учёта колонки уникальных значений:
df = df.drop_duplicates(subset=[‘колонки, по которым идёт очистка’], keep=False)
Используйте этот метод аккуратно: без учёта уникальных значений вы можете потерять очень много данных, хотя и добьетесь максимального разнообразия.
Вот пожалуй и всё, что стоит по минимуму иметь в пригодным для учёбы и работы шаблоне. Всё остальное вы можете внести сами по вашим желаниям и необходимости.