Поиск уникальных и повторяющихся элементов в списке в Python
Чтобы найти уникальные элементы списка, вы можете воспользоваться набором в Python или использовать цикл for и перебирать, чтобы проверить, является ли элемент уникальным или нет.
Элемент считается уникальным, если он встречался в списке только один раз.
В этом руководстве мы напишем примеры программ, которые помогут нам найти уникальные элементы списка.
Пример 1: с помощью набора
Список в Python – это упорядоченный набор элементов, с разрешенными дубликатами.
Set – это набор уникальных элементов. Мы можем использовать это свойство, чтобы получить только уникальные элементы списка.
Передайте список в качестве аргумента конструктору набора, и он вернет набор уникальных элементов.
В следующей программе мы возьмем список чисел и создадим из него набор с помощью конструктора набора.
В получившийся набор попали только уникальные элементы.
Пример 2: с помощью цикла For Loop
Мы также можем использовать оператор цикла, например While Loop или For Loop, для перебора элементов списка и проверки того, появился ли элемент только один раз.
В следующей программе мы будем использовать вложенный цикл for, который предназначен для проверки уникальности каждого элемента. Внутренний цикл for предназначен для сравнения этого элемента с собранными уникальными элементами.
- Прочтите или возьмите список myList.
- Инициализируйте пустой список uniqueList.
- Для каждого элемента:
- Предположим, что этого элемента нет в myList – инициализировать itemExist значением False.
- Для каждого элемента x в uniqueList:
- Проверьте, равен ли элемент x. Если да, то этот элемент уже есть в вашем uniqueList. Установите для itemExist значение True и прервите цикл.
- Предположим, что этого элемента нет в myList – инициализировать itemExist значением False.
- Для каждого элемента x в uniqueList:
- Проверьте, равен ли элемент x. Если да, то этот элемент уже есть в вашем uniqueList. Установите для itemExist значение True и прервите цикл.
- Если itemExist имеет значение False, добавьте элемент в uniqueList.
- Проверьте, равен ли элемент x. Если да, то этот элемент уже есть в вашем uniqueList. Установите для itemExist значение True и прервите цикл.
Преимущество этого процесса в том, что порядок уникальных элементов не меняется.
Поиск повторяющихся элементов в списке
Чтобы найти только повторяющиеся элементы в списке в Python, вы можете проверить вхождения каждого элемента в списке и добавить его в дубликаты, если количество вхождений этого элемента больше одного.
Элемент считается дублированным, если он встречается в списке более одного раза.
В этом руководстве мы напишем примеры программ, которые помогут нам найти повторяющиеся элементы в списке.
Пример 1
В следующей программе мы возьмем список чисел и создадим из него набор с помощью конструктора набора.
Find Duplicates in a Python List
In this tutorial, you’ll learn how to find and work with duplicates in a Python list. Being able to work efficiently with Python lists is an important skill, given how widely used lists are. Because Python lists allow us to store duplicate values, being able to identify, remove, and understand duplicate values is a useful skill to master.
By the end of this tutorial, you’ll have learned how to:
- Find duplicates in a list, as well as how to count them
- Remove duplicates in Python lists
- Find duplicates in a list of dictionaries and lists
Let’s get started!
Table of Contents
How to Find Duplicates in a List in Python
Let’s start this tutorial by covering off how to find duplicates in a list in Python. We can do this by making use of both the set() function and the list.count() method.
The .count() method takes a single argument, the item you want to count, and returns the number of times that item appears in a list. Because of this, we can create a lists comprehension that only returns items that exist more than once. Let’s see how this works and then break it down a bit further:
Let’s break down what we did here:
- We used a list comprehension to include any item that existed more than once in the list
- We then converted this to a set to remove any duplicates from the filtered list
- Finally, we converted the set back to a list
In the next section, you’ll learn how to find duplicates in a Python list and count how often they occur.
How to Find Duplicates in a List and Count Them in Python
In this section, you’ll learn how to count duplicate items in Python lists. This allows you to turn a list of items into a dictionary where the key is the list item and the corresponding value is the number of times the item is duplicated.
In order to accomplish this, we’ll make use of the Counter class from the collections module. We’ll then filter our resulting dictionary using a dictionary comprehension. Let’s take a look at the code and then we’ll break down the steps line by line:
Let’s break this code down, as it’s a little more complex:
- We import the Counter class from the collections library
- We load our list of numbers
- We then create a Counter object of our list and convert it to a dictionary
- We then filter our dictionary to remove any key:value pairs where the key only exists a single time
In the next section, you’ll learn how to remove duplicates from a Python list.
How to Remove Duplicates from a List in Python
Removing duplicates in a Python list is made easy by using the set() function. Because sets in Python cannot have duplicate items, when we convert a list to a set, it removes any duplicates in that list. We can then turn the set back into a list, using the list() function.
Let’s see how we can do this in Python:
To learn about other ways you can remove duplicates from a list in Python, check out this tutorial covering many different ways to accomplish this! In the next section, you’ll learn how to find duplicates in a list of dictionaries.
How to Remove Duplicates in a List of Dictionaries in Python
Let’s take a look at how we can remove duplicates from a list of dictionaries in Python. You’ll often encounter data from the web in formats that resembles lists of dictionaries. Being able to remove the duplicates from these lists is an important skill to simplify your data.
Let’s see how we can do this in Python by making using a for a loop:
This method will only include complete duplicates. This means that if a dictionary had, say, an extra key-value pair it would be included.
How to Remove Duplicates in a List of Lists in Python
We can use the same approach to remove duplicates from a list of lists in Python. Again, this approach will require the list to be complete the same for it to be considered a duplicate. In this case, even different orders will be considered unique.
Let’s take a look at what this looks like:
What we do here is loop over each sublist in our list of lists and assess whether the item exists in our unique list. If it doesn’t already exist (i.e., it’s unique so far), then it’s added to our list. This ensures that an item is only added a single time to our list.
Conclusion
In this tutorial, you learned how to work with duplicate items in Python lists. First, you learned how to identify duplicate elements and how to count how often they occur. You then learned how to remove duplicate elements from a list using the set() function. From there, you learned how to remove duplicate items from a list of dictionaries as well as a list of lists in Python.
Being able to work with lists greatly improves your Python programming skills. Because these data structures are incredibly common, being able to work with them makes you a much more confident and capable developer.
To learn more about the Counter class from the collections library, check out the official documentation here.
Как найти все повторяющиеся элементы в списке и количество повторов?
Стоимость составления списка-счетчика: нужно n раз вставить в словарь значения. Вставка состоит из двух операций: сначала проверка, есть ли такой номер в словаре и, собственно, вставка — все вместе O(1) среднем или O(n) в худшем для редких случаев, когда у всех элементов одинаковый хеш. То есть стоимость составления счетчика — O(n) в среднем, O(n^2) в худшем.
Следущий шаг — отфильтровать только нужное. В худшем случае нужно пройти по всему счетчику — снова n операций по O(1) или в худшем O(n) — взять из словаря, сравнить с единицей, записать в новый словарь. В среднем O(n).
Итого O(n) в среднем или для специально подготовленных данных O(n^2) в худшем.
Результаты бенчмарков
Обновление с большим массивом: Минутка замеров:
Как видно из результатов, быстрее всех решение с Counter.
Почему такие результаты
Объяснение проигрыша наивного решения со словарем:
Для того, чтобы получить значение из словаря, необходим хеш переменной elem . Значение хеша необходимо дважды: для того, чтобы получить предыдущее значение и для того, чтобы установить новое. Очевидно, вычислять два хеша — производить двойную работу. Замеры:
Как видно, лишнее вычисление съедает 0.7 секунд или 30% от общего времени. К сожалению, нет стандартной возможности получить значение из словаря по значению хеша. В классе Counter функция подсчета написана на более низком уровне (https://github.com/python/cpython/blob/3.11/Modules/_collectionsmodule.c#L2284) и вызывает функции _PyDict_GetItem_KnownHash, _PyDict_SetItem_KnownHash, что значительно экономит время.
Также каждый раз при вызове метода get(elem, 0) вызывается инструкция LOAD_ATTR, которая должна найти нужный метод по имени. Так как метод не изменится, можно вынести его поиск за цикл. Трюк старый, надо с ним быть внимательнее в новых версиях интерпретатора, может это более не работает:
Удалось сэкономить еще 0.6 секунд.
Есть же уже готовый Counter в модуле collections.
захотелось сравнить производительность для массива состоящего из 1.000.000 элементов:
сам по себе Counter — достаточно быстрый, но нам еще надо будет отфильтровать результат .
Если список неотсортирован, то сортировка это O(n * log n) операция. На практике следует измерять производительность разных вариантов, если производительность этого кода имеет значение в вашем случае (так как для небольшого n , O(n * log n) операция может быть быстрее O(n) операции, такой как с использованием Counter() ).
Если скорость выполнения не важна, то можно сделать так:
Один из способов решения этой задачи — использовать словарь. Можно создать словарь, в котором каждому элементу списка соответствует количество его повторений, и в цикле перебрать элементы списка, добавляя их в словарь.
Вот пример такой функции:
Функция count_repeats принимает на вход список lst , перебирает его элементы и добавляет их в словарь repeats . Если элемент уже есть в словаре, то увеличивается значение соответствующей пары ключ-значение, если же элемента еще нет в словаре, то добавляется пара с ключом равным этому элементу и значением 1 .
Вы можете использовать эту функцию, чтобы найти повторяющиеся элементы в списке и количество их повторений.
Вы также можете использовать функцию Counter из модуля collections, чтобы посчитать количество повторений элементов списка. Эта функция возвращает словарь, в котором каждому элементу списка соответствует количество его повторений.
Вот пример кода, который использует функцию Counter:
В этом коде сначала импортируется модуль collections и функция Counter , а затем определяется функция count_repeats , которая принимает список lst и возвращает результат вызова функции Counter на этом списке.
Вы также можете использовать функцию most_common из модуля collections , чтобы найти топ-N самых часто встречающихся элементов в списке. Эта функция принимает список и число N, и возвращает список кортежей, каждый из которых содержит элемент и количество его повторений.
Вот пример кода, который использует функцию most_common :
В этом коде сначала импортируется модуль collections и функция Counter , а затем определяется функция find_top_repeats , которая принимает список lst и число n , и возвращает результат вызова функции most_common
Если вам нужно найти только уникальные элементы в списке, то можете использовать функцию set. Эта функция создает множество из элементов списка, удаляя повторяющиеся элементы. Множество не содержит повторяющихся элементов, поэтому вы можете использовать его, чтобы найти уникальные элементы в списке.
Вот пример кода, который использует функцию set :
В этом коде определяется функция find_unique , которая принимает список lst и возвращает список уникальных элементов. Для этого список преобразуется в множество
Если вам нужно найти только уникальные элементы в списке и посчитать их количество, то можете соединить два предыдущих подхода: сначала использовать функцию set для нахождения уникальных элементов, а затем функцию count_repeats для подсчета их количества.
Вот пример кода, который реализует этот подход:
В этом коде определяется функция count_unique , которая принимает список lst и возвращает словарь, в котором каждому уникальному элементу списка
How to effectively deal with bots on your site? The best protection against click fraud.
Вы также можете использовать встроенную функцию Python, то есть count (). Эта функция является результатом общего количества заданного элемента в списке. Функция count () считает строку, а также элементы, присутствующие в списке. Отличительной особенностью списка является то, что вы можете добавлять в него повторяющиеся значения. Он не только позволяет дублировать целочисленные значения, но также вы можете добавлять повторяющиеся элементы любого типа, такие как строка, число с плавающей запятой и т. Д. Разберем это на примерах. Мы используем компилятор Spyder, чтобы объяснить, как Python считает повторяющиеся элементы в списке.
Пример 1
В нашей первой иллюстрации мы используем простой метод для поиска повторяющихся элементов в списке Python. Теперь посмотрим, как работает программа. Чтобы запустить свой код, первое, что вам нужно сделать, это запустить Spyder IDE. Итак, в строке поиска ПК с Windows введите «Spyder» и нажмите «Открыть». Создайте новый файл, перейдя в меню «Файл» или просто воспользуйтесь сочетанием клавиш «Ctrl + Shift + N». После создания нового файла напишите код Python, чтобы уточнить, как Python считает дубликаты в списке.
Этот метод использует два цикла для прохождения списка элементов и проверки, соответствуют ли первый элемент и второй элемент каждого элемента любому другому кортежу. Наш первый шаг преобразует ListOfitem в строку. Затем мы инициализируем список, чтобы добавить в него одинаковые значения. Чтобы проверить дублирование элемента, мы используем операторы if-else. Если элементы дублируются, то он печатает элемент; в противном случае переходит к инструкции else. Наконец, мы используем две функции: печать и счет. Функция Count подсчитывает количество повторяющихся элементов, а функция печати отображает результат на экране консоли.
После написания кода на Python перейдите в меню «Файл» и сохраните файл кода с расширением «.py» ниже. На нашей иллюстрации имя файла — «CountDuplicate.py». Вы можете указать любое имя своему файлу.
Теперь запустите файл кода или просто используйте клавишу «F9», чтобы проверить вывод дубликата счетчика Python на экране консоли. Результат ожидаемый.
Пример 2
В нашем втором примере мы используем функцию сортировки и подсчета, чтобы найти повторяющийся элемент в списке Python. Давайте проверим, как работает код Python. Давайте перейдем к компилятору Spyder в Windows 10 и выберем новый пустой файл или воспользуемся тем же файлом. Мы использовали тот же файл кода Python на нашей следующей иллюстрации, «CountDuplicate.py», и внесли изменения. Это еще один способ продемонстрировать, как Python считает дубликаты в списке.
Сначала мы инициализируем список и используем функцию сортировки, которая сортирует исходные значения. Затем мы используем цикл for с вложенными операторами if, которые проходят по списку и подсчитывают повторяющиеся элементы. Если функция count считает любые повторяющиеся элементы, она сохраняется в «duplicates», как мы инициализировали выше. Если не удается найти повторяющиеся элементы, он вызывает функцию «добавить». Наконец, мы используем функцию печати, которая печатает результирующие повторяющиеся значения, хранящиеся в «duplicates».
Опять же, сохраните файл кода Python для дальнейшей реализации. Затем запустите код, чтобы проверить вывод повторяющегося количества Python. После реализации вышеуказанной программы вы получите результат. Результат можно проверить на прикрепленном изображении.
Заключение
В этом руководстве обсуждалось, как python считает дубликаты в списке с помощью компилятора Spyder в Windows 10. Мы обсудили два простейших метода его реализации. Чтобы лучше понять, рекомендуется реализовать их в вашей операционной системе. Надеюсь, вы сочтете это полезным.