Tqdm python что это

Tqdm python что это

tqdm means «progress» in Arabic (taqadum, تقدّم) and is an abbreviation for «I love you so much» in Spanish (te quiero demasiado).

Instantly make your loops show a smart progress meter — just wrap any iterable with tqdm(iterable) , and you’re done!

trange(N) can be also used as a convenient shortcut for tqdm(range(N)) .

It can also be executed as a module with pipes:

Overhead is low — about 60ns per iteration (80ns with tqdm_gui ), and is unit tested against performance regression. By comparison, the well-established ProgressBar has an 800ns/iter overhead.

In addition to its low overhead, tqdm uses smart algorithms to predict the remaining time and to skip unnecessary iteration displays, which allows for a negligible overhead in most cases.

tqdm works on any platform (Linux, Windows, Mac, FreeBSD, NetBSD, Solaris/SunOS), in any console or in a GUI, and is also friendly with IPython/Jupyter notebooks.

tqdm does not require any dependencies (not even curses !), just Python and an environment supporting carriage return \r and line feed \n control characters.

Отслеживаем прогресс выполнения в Python

Индикаторы прогресса (progress bar) — визуальное отображение процесса работы. Они избавляют нас от необходимости беспокоиться о том, не завис ли скрипт, дают интуитивное представление о скорости его выполнения и подсказывают, сколько времени осталось до завершения.

Человек ранее не использовавший индикаторы прогресса может предположить, что их внедрение может сильно усложнить код. К счастью, это не так. Небольшие примеры ниже покажут, как быстро и просто начать отслеживать прогресс в консоли или в интерфейсе быстро набирающей популярность графической библиотеки PySimpleGUI.

Используем Progress

Первым у нас идёт модуль Progress.

Всё, что от вас потребуется, это указать количество ожидаемых итераций, тип индикатора и вызывать функцию при каждой итерации:

Есть индикаторы на любой вкус:

Используем tqdm

Следующей на очереди идёт библиотека tqdm.

Быстрый и расширяемый индикатор прогресса для Python и CLI

Всего один вызов функции понадобится для получения результата аналогичного предыдущему:

Само собой, в комплекте идёт куча настроек и опций.

Используем alive-progress

Ещё один вариант синтаксиса, побольше дефолтных анимаций, чем в предыдущих примерах:

GUI индикатор прогресса для скрипта

Иногда возникает необходимость предоставить конечному пользователю графический индикатор.

Сколько кода нужно, чтобы достигнуть такого результата? Немного:

Индикатор в приложении PySimpleGUI

Рассмотрим реализацию индикатора в PySimpleGUI.

Вот как это сделать:

Заключение

Как видите, нет ничего сложного в добавлении информации о прогрессе выполнения: кода немного, а отзывчивость повышается очень сильно. Используйте индикаторы, чтобы больше никогда не гадать, завис ли процесс или нет!

Индикаторы выполнения для Python с tqdm

Вскоре после того, как я начал работать над проектами машинного обучения на Python, я столкнулся с ресурсоемкими задачами, выполнение которых требовало много времени. Обычно это было связано с каким-то повторяющимся процессом. Сразу приходит на ум пара (1) поиск по сетке по порядкам p, d и q, чтобы соответствовать моделям ARIMA на больших наборах данных, и (2) гиперпараметры поиска по сетке при обучении алгоритмов машинного обучения. В обоих случаях вы можете потратить часы (или больше!) На ожидание завершения работы вашего кода. Отчаявшись найти какой-то индикатор, показывающий ход выполнения этих задач, я нашел tqdm.

Что такое tqdm?

tqdm — это библиотека Python, которая позволяет выводить интеллектуальный индикатор выполнения, оборачивая любую итерацию. Индикатор выполнения tqdm не только показывает, сколько времени прошло, но также показывает примерное время, оставшееся для итерации.

Установка и импорт tqdm

Поскольку tqdm является частью индекса пакетов Python (PyPI), его можно установить с помощью команды pip install tqdm.

Я часто работаю с ноутбуками IPython / Jupyter, и tqdm предоставляет отличную поддержку для этого. Чтобы начать играть с tqdm в записной книжке, вы можете импортировать следующее:

Примеры

Для ясности я не буду вдаваться в подробный поиск по сетке в этом посте — вместо этого я воспользуюсь несколькими простыми примерами, чтобы продемонстрировать использование tqdm.

Ход выполнения цикла

Допустим, мы хотели смоделировать подбрасывание справедливой монеты 100000000 раз, отслеживая результаты, и мы также хотели посмотреть, сколько времени займет выполнение этих итераций в Python. Мы можем обернуть функцию tqdm вокруг итерируемого объекта (range (100000000)), который будет генерировать индикатор выполнения во время выполнения цикла for. Мы также можем присвоить имя индикатору выполнения, используя аргумент ключевого слова desc.

Получающийся в результате индикатор выполнения tqdm предоставляет нам информацию, которая включает в себя процент завершения задачи, количество выполненных итераций, прошедшее время, расчетное оставшееся время и количество итераций, выполненных за секунду.

В этом случае tqdm допускает дальнейшую оптимизацию, используя trange (100000000) вместо tqdm (range (100000000)).

Ход выполнения вложенного цикла

Если у вас есть ситуация, требующая вложенного цикла for, tqdm позволяет отслеживать ход выполнения этих циклов на нескольких уровнях. Например, возьмем наш пример с подбрасыванием монеты, но на этот раз мы хотим сыграть в три отдельные «игры» по 10 000 000 подбрасываний в каждой, отслеживая результаты. Мы можем создать индикатор выполнения tqdm для «общего прогресса», а также индикаторы выполнения для каждой из трех игр.

Интеграция Pandas

Немного другая реализация tqdm предполагает интеграцию с пандами. tqdm может предоставить дополнительные функции для метода .apply () фрейма данных pandas. Метод pandas .progress_apply () сначала необходимо зарегистрировать в tqdm с помощью приведенного ниже кода. Затем метод .progress_apply () используется вместо традиционного метода .apply () — разница в том, что теперь у нас есть интеллектуальный индикатор выполнения, включенный в вывод метода. .

Дополнительные интеграции tqdm

Помимо интеграции с IPython / Jupyter и pandas, tqdm предлагает интеграцию с Keras и экспериментальными модулями. для itertools, одновременно, Discord и Telegram. Этот пост лишь поверхностно описывает возможности tqdm, поэтому обязательно ознакомьтесь с документацией, чтобы узнать больше о том, как включить интеллектуальные индикаторы выполнения в ваш код Python!

Python Tqdm: Making Progress Bar Made Easy

It is a proven fact that we humans love visuals and understand them better than anything else. The same is the case when we are working with large datasets and doing processing jobs. If you know deep learning, you will agree with me how boring it gets when we don’t know how much time it will take for our model to build. But suppose if we have some progress bars that show us how much progress we have made and how much time it is left, wouldn’t that be great. Yes, that is possible. Possible if we use the tqdm library in python.

Using the tqdm library, we can make console line progress bars and progress bars with GUI. By utilizing these progress bars, we can see if we are getting stuck somewhere and work on that immediately. Also, when we know how much time it will take us to complete the task, we can give our clients actual time for delivery.

Installing and Using Python tqdm

It’s not like tqdm are the only way of making progress bars in python, there are many other methods too. But working with tqdm is a lot easier than many of them. To use it, we first need to install it.

To install it use- pip install tqdm

There are multiple parameters in a tqdm; let us understand them one by one.

Parameters in Python Tqdm

Iterable– It can be a range, a list whose progress we have to check.

The above output shows that a total of 200 iterations took place at a speed of 94.85 iterations per second. The total time was approx. 2 seconds.

desc: Using this parameter, we can specify the text we want to show before the progress bar.

The above output shows that 5000000 iterations have taken place at a speed of 4389678.95it/s.

Disable:- If we do not need to show the progress bar, we can set disable=True. By default, disable is set to False.

ncols: This parameter is used to specify the number of columns in which we want to display the output.

To better understand this parameter, we will try to give two different arguments to this parameter.

ascii: Using this parameter, we can give whatever value we want to in the progress bar. You will better understand this with an example.

Examples of Python tqdm Using List Comprehension

Python tqdm With GUI

You can also make the progress bar with GUI which can surely help you understand better about the progress. Python tqdm library has a separate function ‘tqdm_gui’ for this task with almost the same function just different names and Interface.

Tqdm With Map Python

Sometimes, we need to use Tqdm with the functions like map, reduce, or filter. Integrating the tqdm can be quite tricky on these functions can be tricky as the map function returns a generator rather than a list. The following example can help you to understand the implementation of tqdm with a map in python.

Code –

Output –

Explanation –

We first import the tqdm module which is expected to receive an iterable object in it. In this specific example, we’ve used the range() function to provide an iterable for tqdm. You can use any iterable according to your need. Then we mapped the tqdm object with an str() function to get the result.

Integrating Pandas Data Frame and Python tqdm

Must Read

Conclusion-

We have discussed almost everything you will need to make use of python tqdm in real life. We used it on ranges, lists, and data frames. Try to explore more by using it on Files.

Try to run the programs on your side and let us know if you have any queries.