Create a New DataFrame From an Existing DataFrame in Pandas?
Sometimes, we need to copy the existing DataFrame with data and indices. However, copying the whole DataFrame is also another way for there to be a direct relationship created between the old DataFrame and the new DataFrame. If we make any changes in the old DataFrame, it will also affect the new DataFrame or vice-versa.
In this article, we are going to see pandas.DataFrame.copy () method, which is used for copy () dataframe.
If we want to create a new DataFrame from an existing DataFrame, then we can use the copy()method. So, in this article, we are going to see how we can use the Pandas DataFrame.copy() method to create another DataFrame from an existing DataFrame.
The Syntax Is Given Below:
In the syntax above, we can see that there is deep either false and true.
These two values are very important to use the copy() method. Let’s see in the details about these two values.
Deep (True): Whenever we use the copy () method, the deep is true by default. This true value indicates that we have to copy all the data and indices from the existing DataFrame and create a new object. Suppose we do any manipulation to the new DataFrame, it will not affect the old DataFrame or vice-versa, which means there will be no relationship connection between the old and new DataFrame, and both can work independently.
Deep (False): When we keep the value of the deep false, then the copy () creates a new object without the data and index. It will create a reference to the data and index of the original DataFrame. If any manipulation to the original DataFrame, it will also affect the shallow copy DataFrame or vice-versa.
Example 1:
Copy the DataFrame using the deep=True:
Line 2: We import the library Pandas as pd. Here, pd means we are importing the Pandas library with the new namespace name called pd. We can use the pd instead of using the pandas full name.
Line 3 to 10: We created a dict with some keys and values, wherein the values are in the list. After creating the dictionary, we convert that dict to a DataFrame (df) using the DataFrame.from_dict () method.
Line 11 to 12: We are printing our dataframe (df), which shows in the output below.
Line 14: We are creating a copy of the df (DataFrame) from the existing df (DataFrame). Here, we are not using any deep=True because that is by default. And, as shown in deep=True, it will create a new object with all data and indices of the existing DataFrame, and there will be no direct relationship between the copy DataFrame and the old DataFrame.
Line 15 to 16: We are printing our copied DataFrame (dfCopy), and the output is shown below:
Output:
Original DataFrame
TV_Show_name TV_Streaming_name show_Season Main Actor
0 The Walking Dead Netflix 4 Rick Grimes
1 Merlin Fx 10 Mordred
2 little evil Disney Plus 4 Karl C. Miller
3 Money Heist Amazon Prime 5 Sergio Marquina
_________________________________________________________
Copied DataFrame
TV_Show_name TV_Streaming_name show_Season Main Actor
0 The Walking Dead Netflix 4 Rick Grimes
1 Merlin Fx 10 Mordred
2 little evil Disney Plus 4 Karl C. Miller
3 Money Heist Amazon Prime 5 Sergio Marquina
Process finished with exit code 0
Example 2:
In this example, we are going to manipulate the old DataFrame and check whether it will affect the dfCopy DataFrame or not. Here, we are using the deep=True to copy the DataFrame:
# python example_2.py
import pandas as pd
data = { ‘TV_Show_name’ : [ ‘The Walking Dead’ , ‘Merlin’ , ‘little evil’ ,
‘Money Heist’ ] ,
‘TV_Streaming_name’ : [ ‘Netflix’ , ‘Fx’ , ‘Disney Plus’ ,
‘Amazon Prime’ ] ,
‘show_Season’ : [ 4 , 10 , 4 , 5 ] ,
‘Main Actor’ : [ ‘Rick Grimes’ , ‘Mordred’ , ‘Karl C. Miller’ ,
‘Sergio Marquina’ ] }
df = pd.DataFrame.from_dict ( data )
print ( ‘Original DataFrame’ )
print ( df )
print ( ‘_________________________________________________________’ )
dfCopy = df.copy ( )
print ( ‘Copied DataFrame’ )
print ( dfCopy )
print ( ‘_________________________________________________________’ )
print ( "************Manipulation done in the original df***************" )
# Now, we are doing data manipulation in the original dataframe
# we are changing the column (‘TV_Show_name’) values to A,B,C,D
# now, we will see this will affect to the dfCopy dataframe or not
df [ ‘TV_Show_name’ ] = df [ ‘TV_Show_name’ ] .replace ( [ ‘The Walking Dead’ ,
‘Merlin’ , ‘little evil’ , ‘Money Heist’ ] , [ ‘A’ , ‘B’ , ‘C’ , ‘D’ ] )
#Now printing both dfCopy(deep=True) and df (original) dataframe
print ( ‘Original DataFrame’ )
print ( df )
print ( ‘Copied DataFrame’ )
print ( dfCopy )
Line 1 to 18: Explanations are already given in the previous program in Example 1.
Line 23: We replace the original df (dataframe) column ([‘TV_Show_name’]) values into [‘A’,’B’,’C’,’D’]. Now, we will check if this manipulation in the original df (dataframe) will affect the dfCopy (deep=True) or not. As we know already, there is no direct relationship between when we use the deep=True.
Line 27 to 30: We print the original df and copy (dataframe) as shown in the output below. From the output, we can confirm that the changes done in the original DataFrame (df) have no effect on the copy (DataFrame):
Output:
From the above example 2, we can confirm that deep=True value when set, the newly created DataFrame from the existing DataFrame has no direct relationship and can perform manipulation without affecting each other.
Example 3:
In this example, we are going to manipulate the old DataFrame and check whether it will affect the dfCopy DataFrame or not. Here, we are using the deep=False to copy the DataFrame:
# python example_3.py
import pandas as pd
data = { ‘TV_Show_name’ : [ ‘The Walking Dead’ , ‘Merlin’ , ‘little evil’ ,
‘Money Heist’ ] ,
‘TV_Streaming_name’ : [ ‘Netflix’ , ‘Fx’ , ‘Disney Plus’ ,
‘Amazon Prime’ ] ,
‘show_Season’ : [ 4 , 10 , 4 , 5 ] ,
‘Main Actor’ : [ ‘Rick Grimes’ , ‘Mordred’ , ‘Karl C. Miller’ ,
‘Sergio Marquina’ ] }
df = pd.DataFrame.from_dict ( data )
print ( ‘Original DataFrame’ )
print ( df )
print ( ‘_________________________________________________________’ )
dfCopy = df.copy ( deep =False )
print ( ‘Copied DataFrame’ )
print ( dfCopy )
print ( ‘_________________________________________________________’ )
# Now, we are doing data manipulation in the original dataframe
# we are changing the column (‘TV_Show_name’) values to A,B,C,D
# now, we will see this will affect to the dfCopy dataframe or not
df [ ‘TV_Show_name’ ] = df [ ‘TV_Show_name’ ] .replace ( [ ‘The Walking Dead’ ,
‘Merlin’ , ‘little evil’ , ‘Money Heist’ ] , [ ‘A’ , ‘B’ , ‘C’ , ‘D’ ] )
#Now printing both dfCopy(deep=False) and df (original) dataframe
print ( ‘_________________________________________________________’ )
print ( ‘Copied DataFrame’ )
print ( dfCopy )
print ( ‘Original DataFrame’ )
print ( df )
Line 1 to 18: Explanations are already given in the program of Example 1. The one change was done at line no. 15. Now, we are using the deep=False instead deep=True.
Line 23: We replace the original df (DataFrame) column ([‘TV_Show_name’]) values into [‘A’,’B’,’C’,’D’]. Now, we will check if this manipulation in the original df (dataframe) will affect the dfCopy (deep=False) or not. As we know already, there is a direct relationship between when we use the deep=False.
Line 27 to 30: We print the original df and copy (DataFrame) as shown in the output below. From the output, we can confirm that the changes done in the original DataFrame (df) have an effect on the copy (DataFrame). The values of the column ([‘TV_Show_name’]) also change in the copy DataFrame.
Output:
Example_4:
Copy the existing DataFrame using assignment operator, which has same direct relationship issue like deep=False:
# python example_4.py
import pandas as pd
data = { ‘TV_Show_name’ : [ ‘The Walking Dead’ , ‘Merlin’ , ‘little evil’ ,
‘Money Heist’ ] ,
‘TV_Streaming_name’ : [ ‘Netflix’ , ‘Fx’ , ‘Disney Plus’ ,
‘Amazon Prime’ ] ,
‘show_Season’ : [ 4 , 10 , 4 , 5 ] ,
‘Main Actor’ : [ ‘Rick Grimes’ , ‘Mordred’ , ‘Karl C. Miller’ ,
‘Sergio Marquina’ ] }
df = pd.DataFrame.from_dict ( data )
print ( ‘Original DataFrame’ )
print ( df )
print ( ‘_________________________________________________________’ )
dfCopy = df
print ( ‘Copied DataFrame’ )
print ( dfCopy )
print ( ‘_________________________________________________________’ )
# Now, we are doing data manipulation in the original dataframe
# we are changing the column (‘TV_Show_name’) values to A,B,C,D
# now, we will see this will affect to the dfCopy dataframe or not
df [ ‘TV_Show_name’ ] = df [ ‘TV_Show_name’ ] .replace ( [ ‘The Walking Dead’ ,
‘Merlin’ , ‘little evil’ , ‘Money Heist’ ] , [ ‘A’ , ‘B’ , ‘C’ , ‘D’ ] )
#Now printing both dfCopy and df (original) dataframe
print ( ‘_________________________________________________________’ )
print ( ‘Copied DataFrame’ )
print ( dfCopy )
print ( ‘Original DataFrame’ )
print ( df )
Line 15: In the above program Example 4, we direct the Dataframe to another variable without using the copy () method. But this also creates a direct relationship between the original DataFrame and the copied DataFrame like the deep=False. The following output shows that if we change anything in the original DataFrame, then it will also affect the copied DataFrame or vice-versa:
Output:
Conclusion:
In this article, we have seen the correct way to copy the existing DataFrame, and doing this will create a new object with data and indices. As we have seen, when we keep the deep value False, it will create a reference to the data and indices to the new copy DataFrame. So, copy using the assignment operator also works in the same way (deep=False), as we have already seen in this article with the help of an example.
Sometimes we need only some of the columns to copy from the existing DataFrame, not the whole. Then we can use the following method, which is similar to the copy (deep=True) but with the name of the columns:
Be careful. If you have only one column, then you must use double square brackets. Otherwise, it will create a series, not a DataFrame.
pandas.DataFrame.copy#
When deep=True (default), a new object will be created with a copy of the calling object’s data and indices. Modifications to the data or indices of the copy will not be reflected in the original object (see notes below).
When deep=False , a new object will be created without copying the calling object’s data or index (only references to the data and index are copied). Any changes to the data of the original will be reflected in the shallow copy (and vice versa).
Parameters deep bool, default True
Make a deep copy, including a copy of the data and the indices. With deep=False neither the indices nor the data are copied.
Returns copy Series or DataFrame
Object type matches caller.
When deep=True , data is copied but actual Python objects will not be copied recursively, only the reference to the object. This is in contrast to copy.deepcopy in the Standard Library, which recursively copies object data (see examples below).
While Index objects are copied when deep=True , the underlying numpy array is not copied for performance reasons. Since Index is immutable, the underlying data can be safely shared and a copy is not needed.
Since pandas is not thread safe, see the gotchas when copying in a threading environment.
How to create a new dataframe using the another dataframe
I have created and worked on a DataFrame for a project. It looks like the following:
Critics Items Ratings
My DataFrame has 1M+ rows and 8 columns.
I want to create a new DataFrame where the rows are the unique critics, the columns are the unique items, and the individual cells are the rating a critic has given for the particular item. If the critic has not reviewed the item then I want to add an NA over there.
I tried doing the following for the rows:
For the columns, I saw a lot of answers involving people using
But this doesn’t help me since I can’t list down all the unique item names.
Edit: I fixed the issues by using pivot tables. I am new to pandas and was not aware of something like this existing. The exact syntax I used was
Моя шпаргалка по pandas
Один преподаватель как-то сказал мне, что если поискать аналог программиста в мире книг, то окажется, что программисты похожи не на учебники, а на оглавления учебников: они не помнят всего, но знают, как быстро найти то, что им нужно.
Возможность быстро находить описания функций позволяет программистам продуктивно работать, не теряя состояния потока. Поэтому я и создал представленную здесь шпаргалку по pandas и включил в неё то, чем пользуюсь каждый день, создавая веб-приложения и модели машинного обучения.
Нельзя сказать, что это — исчерпывающий список возможностей pandas , но сюда входят функции, которыми я пользуюсь чаще всего, примеры и мои пояснения по поводу ситуаций, в которых эти функции особенно полезны.
1. Подготовка к работе
Если вы хотите самостоятельно опробовать то, о чём тут пойдёт речь, загрузите набор данных Anime Recommendations Database с Kaggle. Распакуйте его и поместите в ту же папку, где находится ваш Jupyter Notebook (далее — блокнот).
Теперь выполните следующие команды.
После этого у вас должна появиться возможность воспроизвести то, что я покажу в следующих разделах этого материала.
2. Импорт данных
▍Загрузка CSV-данных
Здесь я хочу рассказать о преобразовании CSV-данных непосредственно в датафреймы (в объекты Dataframe). Иногда при загрузке данных формата CSV нужно указывать их кодировку (например, это может выглядеть как encoding=’ISO-8859–1′ ). Это — первое, что стоит попробовать сделать в том случае, если оказывается, что после загрузки данных датафрейм содержит нечитаемые символы.
Загруженные CSV-данные
Существует похожая функция для загрузки данных из Excel-файлов — pd.read_excel .
▍Создание датафрейма из данных, введённых вручную
Это может пригодиться тогда, когда нужно вручную ввести в программу простые данные. Например — если нужно оценить изменения, претерпеваемые данными, проходящими через конвейер обработки данных.
Данные, введённые вручную
▍Копирование датафрейма
Копирование датафреймов может пригодиться в ситуациях, когда требуется внести в данные изменения, но при этом надо и сохранить оригинал. Если датафреймы нужно копировать, то рекомендуется делать это сразу после их загрузки.
Копия датафрейма
3. Экспорт данных
▍Экспорт в формат CSV
При экспорте данных они сохраняются в той же папке, где находится блокнот. Ниже показан пример сохранения первых 10 строк датафрейма, но то, что именно сохранять, зависит от конкретной задачи.
Экспортировать данные в виде Excel-файлов можно с помощью функции df.to_excel .
4. Просмотр и исследование данных
▍Получение n записей из начала или конца датафрейма
Сначала поговорим о выводе первых n элементов датафрейма. Я часто вывожу некоторое количество элементов из начала датафрейма где-нибудь в блокноте. Это позволяет мне удобно обращаться к этим данным в том случае, если я забуду о том, что именно находится в датафрейме. Похожую роль играет и вывод нескольких последних элементов.
Данные из начала датафрейма
Данные из конца датафрейма
▍Подсчёт количества строк в датафрейме
Функция len(), которую я тут покажу, не входит в состав pandas . Но она хорошо подходит для подсчёта количества строк датафреймов. Результаты её работы можно сохранить в переменной и воспользоваться ими там, где они нужны.
▍Подсчёт количества уникальных значений в столбце
Для подсчёта количества уникальных значений в столбце можно воспользоваться такой конструкцией:
▍Получение сведений о датафрейме
В сведения о датафрейме входит общая информация о нём вроде заголовка, количества значений, типов данных столбцов.
Сведения о датафрейме
Есть ещё одна функция, похожая на df.info — df.dtypes . Она лишь выводит сведения о типах данных столбцов.
▍Вывод статистических сведений о датафрейме
Знание статистических сведений о датафрейме весьма полезно в ситуациях, когда он содержит множество числовых значений. Например, знание среднего, минимального и максимального значений столбца rating даёт нам некоторое понимание того, как, в целом, выглядит датафрейм. Вот соответствующая команда:
Статистические сведения о датафрейме
▍Подсчёт количества значений
Для того чтобы подсчитать количество значений в конкретном столбце, можно воспользоваться следующей конструкцией:
Подсчёт количества элементов в столбце
5. Извлечение информации из датафреймов
▍Создание списка или объекта Series на основе значений столбца
Это может пригодиться в тех случаях, когда требуется извлекать значения столбцов в переменные x и y для обучения модели. Здесь применимы следующие команды:
Результаты работы команды anime[‘genre’].tolist()
Результаты работы команды anime[‘genre’]
▍Получение списка значений из индекса
Поговорим о получении списков значений из индекса. Обратите внимание на то, что я здесь использовал датафрейм anime_modified , так как его индексные значения выглядят интереснее.
Результаты выполнения команды
▍Получение списка значений столбцов
Вот команда, которая позволяет получить список значений столбцов:
Результаты выполнения команды
6. Добавление данных в датафрейм и удаление их из него
▍Присоединение к датафрейму нового столбца с заданным значением
Иногда мне приходится добавлять в датафреймы новые столбцы. Например — в случаях, когда у меня есть тестовый и обучающий наборы в двух разных датафреймах, и мне, прежде чем их скомбинировать, нужно пометить их так, чтобы потом их можно было бы различить. Для этого используется такая конструкция:
▍Создание нового датафрейма из подмножества столбцов
Это может пригодиться в том случае, если требуется сохранить в новом датафрейме несколько столбцов огромного датафрейма, но при этом не хочется выписывать имена столбцов, которые нужно удалить.
Результат выполнения команды
▍Удаление заданных столбцов
Этот приём может оказаться полезным в том случае, если из датафрейма нужно удалить лишь несколько столбцов. Если удалять нужно много столбцов, то эта задача может оказаться довольно-таки утомительной, поэтому тут я предпочитаю пользоваться возможностью, описанной в предыдущем разделе.
Результаты выполнения команды
▍Добавление в датафрейм строки с суммой значений из других строк
Для демонстрации этого примера самостоятельно создадим небольшой датафрейм, с которым удобно работать. Самое интересное здесь — это конструкция df.sum(axis=0) , которая позволяет получать суммы значений из различных строк.
Результат выполнения команды
Команда вида df.sum(axis=1) позволяет суммировать значения в столбцах.
Похожий механизм применим и для расчёта средних значений. Например — df.mean(axis=0) .
7. Комбинирование датафреймов
▍Конкатенация двух датафреймов
Эта методика применима в ситуациях, когда имеются два датафрейма с одинаковыми столбцами, которые нужно скомбинировать.
В данном примере мы сначала разделяем датафрейм на две части, а потом снова объединяем эти части:
Датафрейм df1
Датафрейм df2
Датафрейм, объединяющий df1 и df2
▍Слияние датафреймов
Функция df.merge , которую мы тут рассмотрим, похожа на левое соединение SQL. Она применяется тогда, когда два датафрейма нужно объединить по некоему столбцу.
Результаты выполнения команды
8. Фильтрация
▍Получение строк с нужными индексными значениями
Индексными значениями датафрейма anime_modified являются названия аниме. Обратите внимание на то, как мы используем эти названия для выбора конкретных столбцов.
Результаты выполнения команды
▍Получение строк по числовым индексам
Эта методика отличается от той, которая описана в предыдущем разделе. При использовании функции df.iloc первой строке назначается индекс 0 , второй — индекс 1 , и так далее. Такие индексы назначаются строкам даже в том случае, если датафрейм был модифицирован и в его индексном столбце используются строковые значения.
Следующая конструкция позволяет выбрать три первых строки датафрейма:
Результаты выполнения команды
▍Получение строк по заданным значениям столбцов
Для получения строк датафрейма в ситуации, когда имеется список значений столбцов, можно воспользоваться следующей командой:
Результаты выполнения команды
Если нас интересует единственное значение — можно воспользоваться такой конструкцией:
▍Получение среза датафрейма
Эта техника напоминает получение среза списка. А именно, речь идёт о получении фрагмента датафрейма, содержащего строки, соответствующие заданной конфигурации индексов.
Результаты выполнения команды
▍Фильтрация по значению
Из датафреймов можно выбирать строки, соответствующие заданному условию. Обратите внимание на то, что при использовании этого метода сохраняются существующие индексные значения.
Результаты выполнения команды
9. Сортировка
Для сортировки датафреймов по значениям столбцов можно воспользоваться функцией df.sort_values :
Результаты выполнения команды
10. Агрегирование
▍Функция df.groupby и подсчёт количества записей
Вот как подсчитать количество записей с различными значениями в столбцах:
Результаты выполнения команды
▍Функция df.groupby и агрегирование столбцов различными способами
Обратите внимание на то, что здесь используется reset_index() . В противном случае столбец type становится индексным столбцом. В большинстве случаев я рекомендую делать то же самое.
▍Создание сводной таблицы
Для того чтобы извлечь из датафрейма некие данные, нет ничего лучше, чем сводная таблица. Обратите внимание на то, что здесь я серьёзно отфильтровал датафрейм, что ускорило создание сводной таблицы.
Результаты выполнения команды
11. Очистка данных
▍Запись в ячейки, содержащие значение NaN, какого-то другого значения
Здесь мы поговорим о записи значения 0 в ячейки, содержащие значение NaN . В этом примере мы создаём такую же сводную таблицу, как и ранее, но без использования fill_value=0 . А затем используем функцию fillna(0) для замены значений NaN на 0 .
Таблица, содержащая значения NaN
Результаты замены значений NaN на 0
12. Другие полезные возможности
▍Отбор случайных образцов из набора данных
Я использую функцию df.sample каждый раз, когда мне нужно получить небольшой случайный набор строк из большого датафрейма. Если используется параметр frac=1 , то функция позволяет получить аналог исходного датафрейма, строки которого будут перемешаны.
Результаты выполнения команды
▍Перебор строк датафрейма
Следующая конструкция позволяет перебирать строки датафрейма:
Результаты выполнения команды
▍Борьба с ошибкой IOPub data rate exceeded
Если вы сталкиваетесь с ошибкой IOPub data rate exceeded — попробуйте, при запуске Jupyter Notebook, воспользоваться следующей командой:
Итоги
Здесь я рассказал о некоторых полезных приёмах использования pandas в среде Jupyter Notebook. Надеюсь, моя шпаргалка вам пригодится.
Уважаемые читатели! Есть ли какие-нибудь возможности pandas , без которых вы не представляете своей повседневной работы?