Вопросы с тегом «pyspark»

Недавно я начал получать кучу ошибок на ряде pysparkзаданий, работающих на кластерах EMR. Ошибки java.lang.IllegalArgumentException at java.nio.ByteBuffer.allocate(ByteBuffer.java:334) at org.apache.arrow.vector.ipc.message.MessageSerializer.readMessage(MessageSerializer.java:543) at...

Я исследую поведение Спарка, когда присоединяю стол к себе. Я использую Databricks. Мой глупый сценарий: Прочитать внешнюю таблицу как фрейм данных A (лежащие в основе файлы в дельта-формате) Определите фрейм данных B как фрейм данных A с выбранными только определенными столбцами Соедините кадры...