Чтобы использовать функцию s3.list_directoriesawswranglerс определенным размером страницы, вы можете выполнить следующие действия:
-
Импортировать необходимые модули:
import awswrangler as wr import boto3 -
Настройте учетные данные AWS:
session = boto3.Session( aws_access_key_id='YOUR_ACCESS_KEY', aws_secret_access_key='YOUR_SECRET_KEY', region_name='YOUR_REGION' )Замените
'YOUR_ACCESS_KEY','YOUR_SECRET_KEY'и'YOUR_REGION'своими учетными данными AWS и желаемым регионом. -
Используйте
list_directoriesс нужным размером страницы:s3_path = 's3://your-bucket-name' page_size = 1000 directories = wr.s3.list_directories(path=s3_path, page_size=page_size, boto3_session=session)Замените
'your-bucket-name'именем вашего корзины S3.
Параметр page_sizeопределяет количество результатов, возвращаемых за один вызов API. Отрегулируйте его в соответствии с вашими потребностями. Функция проведет постраничный просмотр каталогов S3 и вернет список имен каталогов.
s3.list_directoriesс пользовательским размером страницы”