Polars швидка обробка даних. Scan_csv для великих обсягів даних Pivot table. Стратегії злиття polars

  Рет қаралды 90

Ukraine Code

Ukraine Code

Күн бұрын

00:00:00 Що таке Polars. Основні переваги Polars. Як встановити Polars
00:04:20 read_csv. Завантаження дата фрейму локально та завантаження великого дата фрейму одразу з Github. Перевести Polars DataFrame в Pandas DataFrame. to_pandas
00:08:38 Працюємо з Series у Polars. Методи роботи з серіями у polars: get_column, to_series, gt,
00:12:04 Арифметичні операції: порівняння, додавання, віднімання, помноження. Функції sum, min, mean
00:14:38 Функція is_between.
00:15:04 Створити новый стовпець with_column. Видалити стовпчик drop.
00:17:20 Фільтрація серії Polars. Filter()
00:18:20 Складання двох серій у Polars
00:19:47 Робота з DataFrame Polars.Синтаксис індексів. Зріз. describe(). Передбачуваний розмір використання пам'яті - estimated_size(). is_duplicated, is_empty, is_unique, n_unique, null_count, count
00:24:19 Аналіз даних за допомогою функцій: mean_horizontal, min, max, product, var, std
00:26:59 Робота із структурою DataFrame: flags, columns, schema, width, glimpse, n_chunks
00:30:40 Перетворення датафрейму на різні формати: to_arrow, to_dict, to_dicts, to_init_repr, to_numpy, to_pandas, to_torch
00:33:50 Group_by method метод групування. map_groups (apply) функція. tail(), last(), first()
00:40:11 Стратегії злиття polars: inner, left, full, cross, semi, anti
00:43:41 Pivot table polars. зведена таблиця
00:45:57 Порівняння двох датафреймів equals()
00:47:08 Запис DataFrame у файл write_csv()
00:47:52 Режими Eager і Lazy в Polars (жадібний та лінивий режими у поларс): scan_csv. Магічна команда %%timeit для вимірювання часу завантаження наборів даних. Порівняння швидкості завантаження даних за допомогою Pandas та Polars. Хто швидший?
00:57:33 Вирішення ситуації з нестачею пам'яті у Pandas. Читання частинами
00:59:45 Магічна команда %memit для вимірювання памʼяті при завантаженні даних. memory profiler.
1:01:10 Scan_csv для великих обсягів даних. Лінива оцінка проти eager mode (звичайного режиму). Show_graph(). LazyFrame collect. Polars streaming - потокова обробка даних. Недоліки бібліотеки Polars
#Polars #DataProcessing #DataAnalysis #Python #DataFrames #PivotTable #BigData #Performance #DataVisualization #MachineLearning #DataScience #DataManagement #DataFrameComparison #ukrainecode

Пікірлер
когда повзрослела // EVA mash
00:40
EVA mash
Рет қаралды 2,8 МЛН
OMG😳 #tiktok #shorts #potapova_blog
00:58
Potapova_blog
Рет қаралды 3,9 МЛН
The day of the sea 🌊 🤣❤️ #demariki
00:22
Demariki
Рет қаралды 91 МЛН
# 7 Data Discovering| Step in Exploratory Data Analysis
13:59
DataScienceSphere
Рет қаралды 41
Redux + Redux Toolkit | Продвинутый полный курс | Часть 1
3:08:18
Евгений Паромов | Front-end
Рет қаралды 11 М.
Запросы в 1С за 3 часа. Часть 2
3:17:01
IRONSKILLS - Курсы по 1С
Рет қаралды 290 М.
Houdini Algorithmic Live #042 - Night Cityscape with Wave Function Collapse
3:57:55
Как проектировать HTTP API - ШБР 2024
2:15:46
Young&&Yandex
Рет қаралды 4,3 М.
когда повзрослела // EVA mash
00:40
EVA mash
Рет қаралды 2,8 МЛН