PHP】CSVインポートの方法が知りたいんじゃ！【Laravel】

2021年1月9日 2021年1月9日

管理人

デスクワークの人なら誰もが知っていると思われる『CSVファイル』。

データが軽くてエクセルでも開け、プログラミングでも扱いやすいということで、

あらゆる業種で使われているファイル形式だと思います。

例えば数千件、数万件と大量のデータを扱おうとするとエクセルではなかなかしんどくなってくるので、

データベースの出番になります。

今回、CSVファイルをデータベースにインポートする機会があったので、

PHP(Laravel5.2)を使ってデータベースにCSVデータをインポートする方法をまとめました。

困った時はココを見ろ！

2020-11-14 10:10:58

【PHP】Laravel5.8→Laravel6系への更新手順

https://yoshi-sun.com/web/laravel/1963/

Laravel5.8→Laravel6系の更新手順。サーバーでPHP7.2以上が使える場合は、Laravel6に更新して作業を進めた方がいいかと思います。composer.jsonの更新バージョンの変更"php": "^7.2","jeroennoten/laravel-adminlte": "~2.0","kyslik/column-sortable": "^6.2","laravel/framework": "^6.0", 削除"xethron/migrations-generator": "^2.0"composer updateの実行2. routeの記述の修正route('admin.xxxxx.edit&...

困った時はココを見ろ！

2021-01-02 12:53:50

【Laravel】.env ファイルの更新内容が反映されない場合の対処方法が知りたいんじゃ！

https://yoshi-sun.com/web/php/2178/

.env ファイルの更新内容が反映されない場合の対処方法 Laravelを使っていて .env を書き換えても反映されないことがあったので対処方法ここに書き残しておきます。 .env が反映されない問題への対処Laravel では .env ファイルに環境設定を等を記述し、PHPから利用することになりますが、これを書き換えてもPHP側に反映されない場合があります。キャッシュに .env の内容を保持しているのが原因のようです。キャッシュをクリアすることで新しい内容が反映されるようになります。 php artisan config:cache ...

PHP(Laravel)でCSVインポートをする方法

『PHP』を使って『データベース』にCSVファイルをインポートする場合、

大きく2つの方法がります。

ライブラリを使う
PHP直書きで頑張る

1のライブラリ(便利ツール)は、Laravelの場合、

Laravel-Excel
fast-excel・・Laravel5.3以上

と2つのライブラリが用意されています。

PHP(Laravel)でCSVインポートする時のポイント

PHPでCSVインポートするポイントは大きく3つ。

SplFileObjectクラスを使う
連想配列にまとめて連想配列で操作する
大量データならバルクインサートを検討する

PHPでCSVファイルを使うなら定番のクラスのようです。

手順的には、

SplFileObjectでCSVファイルを取得して、
1行ずつ配列の箱に入れて、
データベースにインポート

になります。

PHP(Laravel)でCSVインポートするコード

ちょっと加工していますがほぼ実際のコードを載せておきます。

モデル・・データベース設定

//laravel/app/CSVimport.php
 
<?php
 
namespace App;
 
use Illuminate\Database\Eloquent\Model;
 
class CSVimport extends Model
{
    protected $fillable = ['name','reserved_date','checkin_date','total_price'];
}

２. マイグレーション・・データベースのテーブル構成

//laravel/database/migrations/create_csvimports_table.php
 
<?php
 
use Illuminate\Database\Schema\Blueprint;
use Illuminate\Database\Migrations\Migration;
 
class CreateCSVimportsTable extends Migration
{
    /**
     * Run the migrations.
     *
     * @return void
     */
    public function up()
    {
        Schema::create('csvimports', function (Blueprint $table) {
            //$table->increments('id');
            $table->string('name',50);
            $table->datetime('reserved_date')->nullable();
            $table->datetime('checkin_date')->nullable();
            $table->integer('total_price')->nullable();
        });
    }
 
    public function down()
    {
        Schema::drop('csvimports');
    }
}

マイグレーションはそのまんまです。

３. ルート・・クリックした後どの処理をするか

//laravel/Http/routes.php
 
<?php
 
Route::get('/', 'CSVimportsController@index')->name('csvimport_index');
 
Route::post('/import', 'CSVimportsController@import')->name('csvimport_import');

ルートもそのまんま。(Laravel5.3以上だとroute.phpの場所が変わるので注意)

４. ビュー・・見た目・フォーム

ポイントは、formの中の

//laravel/resources/views/welcome.blade.php
 
 
<!DOCTYPE html>
<html>
    <head>
        <title>BookingcurveTest</title>
 
        <link href="https://fonts.googleapis.com/css?family=Lato:100" rel="stylesheet" type="text/css">
 
        <style>
 
        </style>
    </head>
    <body>
        <div class="container">
            <div class="content">
    
                <div class="title">Bookingcurve</div>
 
                <h4>CSVファイルを選択してください</h4>
                <div class="row">
                    <div class="col-md-6">
                    ■手順
 
                    1. CSVで保存します。
 
                    2. ファイルを選択し読み込んでください。
 
                    </div>
                </div>
                
                <form role="form" method="post" action="import" enctype="multipart/form-data">
                    {{ csrf_field() }}
                    <input type="file" name="csv_file" id="csv_file">
                    <div class="form-group">
                        <button type="submit" class="btn btn-default btn-success">保存</button>
                    </div>
                </form>
 
            </div>
        </div>
    </body>
</html>

という箇所かと。CSVをインポートするなら必須と思われます。

続いて肝のコントローラー。

コメントでざっと解説してます。

５. コントローラー・・実際の処理

//laravel/Http/Controllers/CSVimportsController.php
 
 
<?php
 
namespace App\Http\Controllers;
 
use Illuminate\Http\Request;
 
use App\Http\Requests;
 
use App\CSVimport;
 
//useしないと 自動的にnamespaceのパスが付与されるのでuse
use SplFileObject;
 
class CSVimportsController extends Controller
{
 
    protected $csvimport = null;
 
     public function __construct(CSVimport $csvimport)
    {
        $this->csvimport = $csvimport;
    }
 
 
    public function index()
    {
        return view('welcome');
    }
 
    /**
     * CSVインポート
     *
     * @param  Request
     * @return \Illuminate\Http\Response
     */
    public function import(Request $request)
    {
 
    //全件削除
    CSVimport::truncate();
 
    // ロケールを設定(日本語に設定)
    setlocale(LC_ALL, 'ja_JP.UTF-8');
 
    // アップロードしたファイルを取得
    // 'csv_file' はビューの inputタグのname属性
    $uploaded_file = $request->file('csv_file');
 
    // アップロードしたファイルの絶対パスを取得
    $file_path = $request->file('csv_file')->path($uploaded_file);
 
    //SplFileObjectを生成
    $file = new SplFileObject($file_path);
 
    //SplFileObject::READ_CSV が最速らしい
    $file->setFlags(SplFileObject::READ_CSV);
 
 
    $row_count = 1;
    
    //取得したオブジェクトを読み込み
    foreach ($file as $row)
    {
        // 最終行の処理(最終行が空っぽの場合の対策
        if ($row === [null]) continue;
        
        // 1行目のヘッダーは取り込まない
        if ($row_count > 1)
        {
            // CSVの文字コードがSJISなのでUTF-8に変更
            $name = mb_convert_encoding($row[0], 'UTF-8', 'SJIS');
            $reserved_date = mb_convert_encoding($row[1], 'UTF-8', 'SJIS');
            $checkin_date = mb_convert_encoding($row[2], 'UTF-8', 'SJIS');
            $total_price = mb_convert_encoding($row[3], 'UTF-8', 'SJIS');
            
            //1件ずつインポート
                CSVimport::insert(array(
                    'name' => $name,
                    'reserved_date' => $reserved_date,
                    'checkin_date' => $checkin_date,
                    'total_price' => $total_price
                ));
        }
        $row_count++;
    }
    
    return view('welcome');
 
    }
}

大量データをインポートする場合(バルクインサート)

変更点だけコメントしてます。

//laravel/Http/Controllers/CSVimportsController.php
 
    public function import(Request $request)
    {
 
    CSVimport::truncate();
 
    setlocale(LC_ALL, 'ja_JP.UTF-8');
 
    $uploaded_file = $request->file('csv_file');
 
    $file_path = $request->file('csv_file')->path($uploaded_file);
 
    $file = new SplFileObject($file_path);
    $file->setFlags(SplFileObject::READ_CSV);
 
    //配列の箱を用意
    $array = [];
 
    $row_count = 1;
    
    foreach ($file as $row)
    {
 
        if ($row === [null]) continue; 
        
        if ($row_count > 1)
        {
        
            $name = mb_convert_encoding($row[0], 'UTF-8', 'SJIS');
            $reserved_date = mb_convert_encoding($row[1], 'UTF-8', 'SJIS');
            $checkin_date = mb_convert_encoding($row[2], 'UTF-8', 'SJIS');
            $total_price = mb_convert_encoding($row[3], 'UTF-8', 'SJIS');
        
            $csvimport_array = [
                'name' => $name, 
                'reserved_date' => $reserved_date, 
                'checkin_date' => $checkin_date, 
                'total_price' => $total_price
            ];
 
            // つくった配列の箱($array)に追加
            array_push($array, $csvimport_array);
 
                // 数が多いと処理重すぎなのでバルクインサートに切り替える
                // CSVimport::insert(array(
                //     'name' => $name, 
                //     'reserved_date' => $reserved_date, 
                //     'checkin_date' => $checkin_date, 
                //     'total_price' => $total_price
                // ));
        }
 
        $row_count++;
 
    }
    
    //追加した配列の数を数える
    $array_count = count($array);
 
    //もし配列の数が500未満なら
    if ($array_count < 500){
 
        //配列をまるっとインポート(バルクインサート)
        CSVimport::insert($array);
 
 
    } else {
        
        //追加した配列が500以上なら、array_chunkで500ずつ分割する
        $array_partial = array_chunk($array, 500); //配列分割
   
        //分割した数を数えて
        $array_partial_count = count($array_partial); //配列の数
 
        //分割した数の分だけインポートを繰り替えす
        for ($i = 0; $i <= $array_partial_count - 1; $i++){
        
            CSVimport::insert($array_partial[$i]);
        
        }
 
    }