Как использовать awwrangler

Чтобы использовать функцию s3.list_directoriesawswranglerс определенным размером страницы, вы можете выполнить следующие действия:

  1. Импортировать необходимые модули:

    import awswrangler as wr
    import boto3
  2. Настройте учетные данные AWS:

    session = boto3.Session(
    aws_access_key_id='YOUR_ACCESS_KEY',
    aws_secret_access_key='YOUR_SECRET_KEY',
    region_name='YOUR_REGION'
    )

    Замените 'YOUR_ACCESS_KEY', 'YOUR_SECRET_KEY'и 'YOUR_REGION'своими учетными данными AWS и желаемым регионом.

  3. Используйте list_directoriesс нужным размером страницы:

    s3_path = 's3://your-bucket-name'
    page_size = 1000
    directories = wr.s3.list_directories(path=s3_path, page_size=page_size, boto3_session=session)

    Замените 'your-bucket-name'именем вашего корзины S3.

Параметр page_sizeопределяет количество результатов, возвращаемых за один вызов API. Отрегулируйте его в соответствии с вашими потребностями. Функция проведет постраничный просмотр каталогов S3 и вернет список имен каталогов.

s3.list_directoriesс пользовательским размером страницы”