Вопросы с тегом «pyarrow»

89
В чем разница между пером и паркетом?

Оба являются колоночными (дисковыми) форматами хранения для использования в системах анализа данных. Оба интегрированы в Apache Arrow ( пакет pyarrow для python) и предназначены для соответствия со Arrow как столбцовым аналитическим слоем в памяти. Чем отличаются оба формата? Всегда ли вы...

12
pandasUDF и пиарроу 0.15.0

Недавно я начал получать кучу ошибок на ряде pysparkзаданий, работающих на кластерах EMR. Ошибки java.lang.IllegalArgumentException at java.nio.ByteBuffer.allocate(ByteBuffer.java:334) at org.apache.arrow.vector.ipc.message.MessageSerializer.readMessage(MessageSerializer.java:543) at...