【試行錯誤編③】億り人をおくりびとした話

新たな武器を手に入れたものの、「あれ、どうやって使うんだっけ？」となった私はググるわけです。でも調べて出てくるのはどれもMySQLに乗り込んだ後にLOAD DATAをしているケースだったり、同一サーバー上にあるMySQLにCLIベースでLOAD DATAをしているケースだったり、S3経由でAuroraにLOAD DATAしてるケースばかり・・・。

え、ワイ、JavaのプロセスからAuroraにLOAD DATAしたいんやけど

照英が泣きながら〇〇してる画像くださいばりに泣きながらググっていた私はとある記事を見つけます。そこに書いてあったのはMySQLの接続文字列のオプションを指定するという方法。あれ、これならJDBCの接続文字列（URL）で同じことすればいけんちゃうの？

application.yml

spring:
  datasource:
    url: jdbc:mysql://${DB_HOST}:${DB_PORT}/${DB_NAME}?allowLoadLocalInfile=true

allowLoadLocalInfile=true のオプションを追加してあげるだけです。これだけでOKです。号泣しました。

MyBatisでLOAD DATAをぶちかます

JavaのプロセスからLOAD DATAが可能になった今、もはや敵はいません。

変換処理でJavaのオブジェクトにしていた部分を適当なCSVファイルにするだけです。 OpenCSVのライブラリの依存関係は既に持っていたのであとはそれを使うだけ。

FetchAndDataConverter.java

@Component
@RequiredArgsConstructor
public class FetchAndDataConverter {

  private final SourceTableMapper sourceTableMapper;

  @Async("batchExecutor")
  public CompletableFuture<Path> execute(LocalDate targetDate) {
    var outputFile = Paths.get(System.getProperty("java.io.tmpdir"))
        .resolve("%s.csv".formatted(UUID.randomUUID().toString()));
    try (var cursor = sourceTableMapper.findByTargetDate(targetDate);
         var writer = new CSVWriterBuilder(Files.newBufferedWriter(outputFile, StandardCharsets.UTF_8, StandardOpenOption.CREATE))
        .withSeparator(',')
        .withLineEnd("\n")
        .build()
    ) {
      cursor.forEach(source -> {
    writer.writeNext(new String[] {
      // 変換処理
    }, true);
      });
      return CompletableFuture.completedFuture(outputFile);
    } catch (Exception e) {
      return CompletableFuture.failedFuture(e);
    }
  }
}

MapperでLOAD DATAをかます定義して、

TargetTableMapper.java

@Mapper
@Repository
public interface TargetTableMapper {

  Integer loadData(@Param("path") String path);
}

TargetTableMapper.xml

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="okuribito.domain.repository.TargetTableMapper">
  <insert
    id="loadData"
  >
    LOAD DATA LOCAL INFILE #{path}
    INTO TABLE target_table
    FIELDS
      TERMINATED BY ','
      ENCLOSED BY '"'
    LINES
      TERMINATED BY '\n'
  </insert>
</mapper>

Mapperを呼び出すだけです。

MigrateTask.java

@StepScope
@Component
@RequiredArgsConstructor
public class MigrateTask implements Tasklet {

  @Value("#{jobParameters['from']}")
  private LocalDate from;

  @Value("#{jobParameters['to']}")
  private LocalDate to;

  private final FetchAndDataConverter fetchAndDataConverter;

  private final TargetTableMapper targetTableMapper;

  @Override
  public RepeatStatus execute(StepContribution contribution, ChunkContext chunkContext) {
    var fetchAndConvertTasks = from.datesUntil(to.plusDays(1))
        .toList()
    .stream()
    .map(fetchAndDataConverter::execute)
    .toArray(CompletableFuture[]::new);
    
    CompletableFuture.allOf(fetchAndConvertTasks).join();
    
    var loadedCount = Arrays.stream(fetchAndConvertTasks)
        .map(this::take)
    .map(Path::toString)
    .mapToInt(targetTableMapper::loadData)
    .sum();
  }
  
  private Path take(CompletableFuture<Path> future) {
    try {
      return future.get();
    } catch (Exception e) {
      throw new RuntimeException(e);
    }
  }
}

注意点を挙げるとすれば、

NULLのデータの扱い
- CSVファイル上、ブランクのものはNULLではなくブランクとして挿入しようとします
- 明示的にNULLとしたい場合は、CSV上の文字列を "\\N" とするか、LOAD DATAのSET句で捻りましょう
BIT型のデータの扱い
- こちらもCSV上、 "0" や "1" としてもBITには綺麗に変換してくれません
- LOAD DATAのSET句でCASTして捻りましょう

ってくらいです。

いずれにせよ、LOAD DATAのSET句は割と何でも出来ます。

https://dev.mysql.com/doc/refman/8.0/ja/load-data.html