В мире обработки данных обработка нескольких файлов CSV является распространенной задачей. К счастью, Python и мощная библиотека Pandas предоставляют нам несколько удобных методов для легкой загрузки и обработки этих файлов. В этой статье мы рассмотрим различные подходы к загрузке нескольких файлов CSV из папки с помощью Python и Pandas. Итак, хватайте шляпу программиста и приступим!

Метод 1: использование цикла for
Самый простой способ загрузить несколько файлов CSV — использовать цикл for. Начнем с импорта необходимых библиотек:

import os
import pandas as pd

Далее мы можем определить путь к папке, содержащей файлы CSV, и использовать модуль osдля перебора каждого файла:

folder_path = '/path/to/folder'
file_list = os.listdir(folder_path)
# Create an empty DataFrame to hold the combined data
combined_data = pd.DataFrame()
# Loop through each file and load it into the DataFrame
for file_name in file_list:
    if file_name.endswith('.csv'):
        file_path = os.path.join(folder_path, file_name)
        data = pd.read_csv(file_path)
        combined_data = combined_data.append(data, ignore_index=True)

Метод 2: использование модуля glob.
Еще один удобный подход — использование модуля glob, который позволяет нам получать все файлы CSV в папке, используя подстановочные знаки. персонажи. Сначала импортируем необходимые библиотеки:

import glob
import pandas as pd

Затем мы можем использовать функцию glob, чтобы найти все файлы CSV и загрузить их в DataFrame:

folder_path = '/path/to/folder'
file_pattern = '*.csv'
file_list = glob.glob(os.path.join(folder_path, file_pattern))
# Create an empty DataFrame to hold the combined data
combined_data = pd.concat((pd.read_csv(file) for file in file_list), ignore_index=True)

Метод 3: использование функции os.walk
Функция os.walkобеспечивает удобный способ перемещения по дереву каталогов и загрузки всех файлов CSV в нем. Импортируем необходимые библиотеки:

import os
import pandas as pd

Теперь мы можем использовать os.walkдля перебора папки и загрузки файлов CSV:

folder_path = '/path/to/folder'
combined_data = pd.DataFrame()
for root, dirs, files in os.walk(folder_path):
    for file_name in files:
        if file_name.endswith('.csv'):
            file_path = os.path.join(root, file_name)
            data = pd.read_csv(file_path)
            combined_data = combined_data.append(data, ignore_index=True)

В этой статье мы рассмотрели три различных метода загрузки нескольких файлов CSV в Python с использованием популярной библиотеки Pandas. Мы узнали, как выполнить эту задачу с помощью цикла for, модуля globи функции os.walk. Каждый метод обеспечивает гибкий и эффективный способ обработки нескольких файлов CSV в зависимости от вашего конкретного варианта использования. Имея в своем распоряжении эти методы, вы будете готовы с легкостью решать сложные задачи по обработке данных!