laravelでcsv出力とか大量データを取得する場合にどうすれば良いのか試行錯誤した。

たまにはブログでも始めてみよう。

結果を先に言うとpdoで実行してしまうのがよさそう。

以下自分の辿った流れ。

get()で取得する

• 簡単だけどgetした場合すべてメモリ上に展開されるので大量データの処理には向いていない。

<?php
$results = List::get();
foreach($results as $row) {
  // 処理
}

chunk()で指定件数ずつ処理する

• 指定件数分取得してクロージャ内の処理を行ってくれて素敵。
• SQLで指定件数分取得 > 処理を繰り返すので大量のクエリを発行する可能性がある。
• SQLを複数回発行するのでソートしておかないと意図しない動作をする可能性がある。

<?php
List::orderBy('id')->chunk(1000, function ($results) {
  foreach ($results as $row) {
    // 処理
  }
});

pdoのコネクション取ってフェッチしていく

• SQLが一回で済む。
• fetchしてる分しかメモリ上に展開しないはず。

<?php
$query = List::query();
$statement = DB::Connection()->getPdo()->prepare($query->toSql());
$statement->execute($query->getBindings());
while ($row = $statement->fetch(PDO::FETCH_ASSOC)) {
  // 処理
}