Как экспортировать большую таблицу PostgreSQL с помощью Python

Простой экспорт большой таблицы может привести к сбою компьютера из-за использования всей доступной оперативной памяти, поэтому мы предлагаем метод с помощью Python.

При работе с большими наборами данных таблицы PostgreSQL обычно извлекаются в файлы CSV для анализа и совместного использования. Но простой экспорт большой таблицы может привести к сбою компьютера из-за использования всей доступной оперативной памяти. Рассказываем, как решить этот вопрос при помощи Python. Об этом пишет dev.to.

Потоковая передача данных частями с помощью psycopg2

Потоковая передача данных порционно, которая идет из базы данных непосредственно на диск. Модуль psycopg2 предоставляет удобный метод COPY, позволяющий сделать именно это.

Сначала подключитесь к базе данных и откройте выходной CSV:

import psycopg2

conn = psycopg2.connect("dbname=mydb user=postgres")

with open('out.csv', 'w') as f:

Затем используйте copy_expert() для потоковой передачи таблицы в файл частями:

cur = conn.cursor()

cur.copy_expert('COPY employees TO STDOUT WITH CSV HEADER', f)


Таблица передается в CSV без загрузки всего в память. Теперь собираем все вместе

import psycopg2

conn = psycopg2.connect("dbname=mydb user=postgres")

with open('out.csv', 'w') as f:

  cur = conn.cursor()

  cur.copy_expert('COPY employees TO STDOUT WITH CSV HEADER', f)
print("Table exported to CSV!")

Передавая данные частями непосредственно в файл, можно избежать проблем с оперативной памятью и эффективно экспортировать таблицу.

Читайте также
Цикл поддержки Vue 2 завершится в 2023 году
Цикл поддержки Vue 2 завершится в 2023 году
Цикл поддержки Vue 2 завершится в 2023 году

Цикл поддержки Vue 2 закончится 31 декабря 2023 года, рассказали в блоге Vue. Эта версия перестанет получать новые функции, исправления ошибок и обновления. В официальных каналах распространения прежняя версия останется.

Технологические прогнозы на 2024 год: ИИ, Mojo и блокчейн
Технологические прогнозы на 2024 год: ИИ, Mojo и блокчейн
Технологические прогнозы на 2024 год: ИИ, Mojo и блокчейн

Блокчейн, искусственный интеллект, антиконкурентная деятельность и новый язык программирования Mojo наверняка займут первые строчки в медиа в 2024 году. Предлагаем пять прогнозов о технологиях, которые, по нашему мнению, произойдут в предстоящем году:

В TypeScript 5.3 добавили ​​поддержку атрибутов импорта
В TypeScript 5.3 добавили ​​поддержку атрибутов импорта
В TypeScript 5.3 добавили ​​поддержку атрибутов импорта

TS теперь включает одну опцию для определенного редактора, прежде он добавлял модификатор типа, полагаясь на настройки разработчика

Dev новости: Инструменты и интеграции ИИ, Pull Requests Gone Wild
Dev новости: Инструменты и интеграции ИИ, Pull Requests Gone Wild
Dev новости: Инструменты и интеграции ИИ, Pull Requests Gone Wild

На этой неделе OpenAI привлекла внимание новостями о добавлении дополнительной памяти к ChatGPT и представлении Sora, новой модели текста в видео, но разработчиков могут заинтересовать и другие объявления компании.