Вопросы с тегом «dask»

105
Заставить Pandas DataFrame apply () использовать все ядра?

По состоянию на август 2017 года Pandas DataFame.apply () , к сожалению, все еще ограничен работой с одним ядром, а это означает, что многоядерная машина будет тратить большую часть своего вычислительного времени при запуске df.apply(myfunc, axis=1). Как можно использовать все свои ядра для...

81
В какой ситуации я могу использовать Dask вместо Apache Spark? [закрыто]

Закрыто . Этот вопрос основан на мнении . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы на него можно было ответить с помощью фактов и цитат, отредактировав этот пост . Закрыт 4 года назад . Уточните этот вопрос В настоящее время я использую Pandas и...

9
Применение функции Python к сгруппированной в DataFrame группе Pandas - какой наиболее эффективный подход для ускорения вычислений?

Я имею дело с довольно большим Pandas DataFrame - мой набор данных похож на следующую dfнастройку: import pandas as pd import numpy as np #--------------------------------------------- SIZING PARAMETERS : R1 = 20 # .repeat( repeats = R1 ) R2 = 10 # .repeat( repeats = R2 ) R3 = 541680 # .repeat(...