Вопросы с тегом «big-data»

34
Оптимизация кода Python для больших данных

У меня есть код Python, который предназначен для принятия точечных шейп-файлов через следующий рабочий процесс: Точки слияния Объедините точки так, чтобы любые точки в пределах 1 м друг от друга становились одной точкой Создать векторный слой, где выбраны точки с z <10 Буферные очки Разрешение...

21
Как лучше всего импортировать большие наборы данных в PostGIS?

Мне нужно импортировать большие файлы шейп-файлов (> 1 миллион записей) в PostGIS, и я задумался о том, как лучше всего это сделать. В своем вопросе я специально использовал слово «хак» вместо инструмента, потому что я думаю, что дело не в том, какой инструмент, а в том, какой набор шагов или...

16
Как я могу использовать массивы NumPy для оптимизации геообработки больших данных?

Мне интересно узнать, как использовать массивы NumPy для оптимизации геообработки. Большая часть моей работы связана с «большими данными», где для геообработки часто требуются дни для выполнения определенных задач. Излишне говорить, что я очень заинтересован в оптимизации этих процедур. ArcGIS 10.1...

12
Методы оптимизации многоядерной обработки в ArcGIS

Я заинтересован в изучении методов, позволяющих использовать все возможности многоядерной обработки, доступные на настольном компьютере. Arc заявляет, что фоновая геообработка позволяет пользователю использовать несколько ядер, однако задачи по сути должны ждать в очереди, чтобы предыдущая задача...

9
Лучший способ обрезать большой растровый файл ECW?

Я пытаюсь обрезать большой ECW (подробности ниже), но растровый файл слишком велик для полной обработки. Некоторые детали ECW ниже Драйвер: ECW / ERDAS сжатые вейвлеты (SDK 5.0) размер файла: 50 ГБ Размер 450000, 565081 Размер пикселя: 0,15 0,15 COLORSPACE = RGB COMPRESSION_RATE_TARGET = 9 VERSION...