Импорт больших файлов базы данных в PHP может оказаться сложной задачей из-за ограничений памяти и проблем с производительностью. В этой статье мы рассмотрим различные методы эффективного импорта больших файлов базы данных в PHP. Мы предоставим примеры кода для каждого метода и обсудим стратегии оптимизации производительности. Давайте погрузимся!

Метод 1: использование командной строки MySQL
Пример кода:

mysql -u username -p database_name < file.sql

Метод 2: разделение файла базы данных
Пример кода:

$file = 'large_database.sql';
$splitSize = 1048576; // 1 MB
$handle = fopen($file, 'r');
$i = 1;
while (!feof($handle)) {
    $splitContent = fread($handle, $splitSize);
    $splitFile = 'split_' . $i . '.sql';
    file_put_contents($splitFile, $splitContent);
    $i++;
}
fclose($handle);

Метод 3: использование пакетной обработки
Пример кода:

$file = 'large_database.sql';
$batchSize = 1000;
$handle = fopen($file, 'r');
$query = '';
$counter = 0;
while (!feof($handle)) {
    $line = fgets($handle);
    $query .= $line;
    if (substr(trim($line), -1) === ';') {
        // Execute the query
        mysqli_query($connection, $query);
        // Reset the query and counter
        $query = '';
        $counter++;
        if ($counter === $batchSize) {
            // Pause execution to prevent memory overload
            sleep(1);
            $counter = 0;
        }
    }
}
fclose($handle);

Метод 4: использование дампа и восстановления базы данных
Пример кода:

mysqldump -u username -p database_name > dump.sql
mysql -u username -p new_database_name < dump.sql

Метод 5: использование инструмента миграции базы данных (например, Laravel’s Artisan)
Пример кода:

php artisan migrate

Оптимизация производительности:

• Увеличьте лимит памяти PHP: измените параметр memory_limitв файле конфигурации PHP (php.ini).
• Использовать индексирование: анализируйте структуру базы данных и создавайте соответствующие индексы для ускорения запросов.
• Отключить проверку внешнего ключа. Временно отключите проверку внешнего ключа во время процесса импорта.
• Используйте транзакционные запросы: оберните процесс импорта в транзакцию, чтобы повысить производительность и обеспечить целостность данных.
• Разделите процесс импорта: разделите файл импорта на более мелкие фрагменты и обработайте их последовательно.