読者です 読者をやめる 読者になる 読者になる

laravelでcsv出力とか大量データを取得する場合にどうすれば良いのか試行錯誤した。

たまにはブログでも始めてみよう。

結果を先に言うとpdoで実行してしまうのがよさそう。

以下自分の辿った流れ。

get()で取得する

  • 簡単だけどgetした場合すべてメモリ上に展開されるので大量データの処理には向いていない。
<?php
$results = List::get();
foreach($results as $row) {
  // 処理
}

chunk()で指定件数ずつ処理する

  • 指定件数分取得してクロージャ内の処理を行ってくれて素敵。
  • SQLで指定件数分取得 > 処理を繰り返すので大量のクエリを発行する可能性がある。
  • SQL複数回発行するのでソートしておかないと意図しない動作をする可能性がある。
<?php
List::orderBy('id')->chunk(1000, function ($results) {
  foreach ($results as $row) {
    // 処理
  }
});

pdoのコネクション取ってフェッチしていく

  • SQLが一回で済む。
  • fetchしてる分しかメモリ上に展開しないはず。
<?php
$query = List::query();
$statement = DB::Connection()->getPdo()->prepare($query->toSql());
$statement->execute($query->getBindings());
while ($row = $statement->fetch(PDO::FETCH_ASSOC)) {
  // 処理
}