Amazon S3 (Simple Storage Service) – это популярная служба облачного хранения данных, предоставляемая Amazon Web Services (AWS). Хотя загрузка небольших файлов в S3 проста, обработка больших файлов (>100 МБ) требует особого внимания для обеспечения эффективной и надежной передачи. В этой статье мы рассмотрим несколько методов с примерами кода для загрузки файлов размером более 100 мегабайт в Amazon S3.

Метод 1: использование интерфейса командной строки (CLI) AWS
CLI AWS обеспечивает удобный способ взаимодействия с различными сервисами AWS, включая S3. Чтобы загрузить большой файл, вы можете использовать команду aws s3 cpс опцией --multipart-upload, которая автоматически разбивает файл на более мелкие части для параллельной загрузки. Вот пример команды:

aws s3 cp largefile.mp4 s3://bucket-name/largefile.mp4 --multipart-upload

Метод 2: AWS SDK (комплекты средств разработки программного обеспечения)
AWS предоставляет SDK для популярных языков программирования, таких как Python, Java и JavaScript. Эти SDK предлагают API и библиотеки, которые упрощают взаимодействие с S3. Чтобы загрузить большие файлы с помощью SDK, вы можете использовать функцию многочастной загрузки. Ниже приведен пример использования AWS SDK для Python (Boto3):

import boto3
s3 = boto3.client('s3')
# Initiate the multipart upload
response = s3.create_multipart_upload(
    Bucket='bucket-name',
    Key='largefile.mp4'
)
upload_id = response['UploadId']
# Upload each part
part_number = 1
with open('largefile.mp4', 'rb') as file:
    while True:
        data = file.read(5 * 1024 * 1024)  # Read 5MB chunks
        if not data:
            break
        response = s3.upload_part(
            Bucket='bucket-name',
            Key='largefile.mp4',
            UploadId=upload_id,
            PartNumber=part_number,
            Body=data
        )
        part_number += 1
# Complete the multipart upload
s3.complete_multipart_upload(
    Bucket='bucket-name',
    Key='largefile.mp4',
    UploadId=upload_id
)

Метод 3: AWS Transfer Acceleration
AWS Transfer Acceleration повышает скорость загрузки на S3 за счет использования глобально распределенных периферийных расположений Amazon CloudFront. Чтобы включить ускорение передачи, вы можете изменить настройки сегмента S3 или использовать параметр --endpoint-urlв интерфейсе командной строки AWS. Этот метод может значительно повысить производительность загрузки больших файлов.

Метод 4: API многочастной загрузки
Если вы предпочитаете более низкоуровневый подход, вы можете напрямую использовать API многочастной загрузки, предоставляемый S3. Этот метод позволяет вам иметь детальный контроль над процессом загрузки. Вот пример использования cURL:

# Initiate the multipart upload
upload_id=$(curl -X POST \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <your-access-token>" \
  -d '{"Bucket": "bucket-name", "Key": "largefile.mp4"}' \
  "https://s3.amazonaws.com/<your-bucket-endpoint>/largefile.mp4?uploads" | jq -r '.UploadId')
# Upload each part
part_number=1
while read -r data; do
  etag=$(curl -X PUT \
    -H "Authorization: Bearer <your-access-token>" \
    --upload-file "$data" \
    "https://s3.amazonaws.com/<your-bucket-endpoint>/largefile.mp4?partNumber=$part_number&uploadId=$upload_id" \
    -w "%{etag}")
  echo "Uploaded Part $part_number: $etag"
  part_number=$((part_number+1))
done < <(split -b 5M largefile.mp4)
# Complete the multipart upload
curl -X POST \
  -H "Authorization: Bearer <your-access-token>" \
  -H "Content-Type: application/json" \
  --data "{\"Parts\": $(jq -c '.parts' parts.json)}" \
  "https://s3.amazonaws.com/<your-bucket-endpoint>/largefile.mp4?uploadId=$upload_id"

Загрузка больших файлов в Amazon S3 — обычное требование во многих приложениях. Используя AWS CLI, AWS SDK, Transfer Acceleration или Multipart Upload API, вы можете эффективно и надежно загружать файлы размером более 100 мегабайт в S3. Поэкспериментируйте с этими методами, чтобы найти тот, который лучше всего подходит для вашего случая использования, принимая во внимание такие факторы, как производительность, простота реализации и масштабируемость.

Не забывайте контролировать процесс загрузки, обрабатывать потенциальные ошибки и учитывать такие аспекты безопасности, как контроль доступа и шифрование, чтобы обеспечить целостность и конфиденциальность ваших данных. Имея в своем распоряжении эти методы, вы сможете легко обрабатывать загрузки больших файлов в Amazon S3.