Вопросы с тегом «bigdata»

Какой самый эффективный способ вставить миллионы записей, скажем, 50 миллионов из фрейма данных Spark в таблицы Postgres. В прошлом я делал это от spark до MSSQL, используя опцию массового копирования и размера пакета, которая также была успешной. Есть ли что-то подобное, что может быть здесь для...

Я пытаюсь показать сыну, как можно использовать кодирование для решения проблемы, возникающей в игре, а также посмотреть, как R обрабатывает большие данные. Эта игра называется «Счастливчик 26». В этой игре числа (1-12 без дубликатов) расположены на 12 точках звезды Давида (6 вершин, 6...

Я исследую поведение Спарка, когда присоединяю стол к себе. Я использую Databricks. Мой глупый сценарий: Прочитать внешнюю таблицу как фрейм данных A (лежащие в основе файлы в дельта-формате) Определите фрейм данных B как фрейм данных A с выбранными только определенными столбцами Соедините кадры...