로그 수집 서비스 성능 개선하기(정제 서버 편)

이 글에서는 데이터 웨어하우스에 대량의 데이터를 insert 하는 정제 서버의 성능 개선에 대한 내용을 다룹니다.

• (1/4) 성능 테스트

• (2/4) Get started with k6

• (3/4) k6 with InfluxDB(& Prometheus)

성능 측정

성능 저하의 원인

insert into log_login (column1, column2, column3 ...) values ($1, $2, $3 ...);
insert into log_login (column1, column2, column3 ...) values ($1, $2, $3 ...);
insert into log_login (column1, column2, column3 ...) values ($1, $2, $3 ...);

서버의 구조

Writer

Bulk Insert

Multi-row Insert

// 원하던 것은 이런 쿼리 입니다.
insert into log_login (column1, column2, column3 ...) values 
($1, $2, $3 ...),
($1, $2, $3 ...), 
($1, $2, $3 ...); 

datasource.url: jdbc:mysql://localhost:3306/db?rewriteBatchedStatements=true
datasource.url: jdbc:postgresql://localhost:5432/db?rewriteBatchedInserts=true

// url에 설정하지 않고, properies로 설정할 수도 있다.
spring.datasource.hikari.data-source-properties.rewriteBatchedStatements: true
spring.datasource.hikari.data-source-properties.rewriteBatchedInserts: true

@Repository
@RequiredArgsConstructor
public class LogLoginRepository {

    private final JdbcTemplate jdbcTemplate;

    public void saveAll(List<LogLogin> logLogins) {
        String sql = "INSERT INTO log_login " +
                "(column1, column2, column3)" +
                "VALUES (?, ?, ?)";

        StringBuilder multiRowSql = new StringBuilder(sql);
        multiRowSql.append(", (?, ?, ?)".repeat(Math.max(0, logLogins.size() - 1)));

        jdbcTemplate.update(connection -> {
            PreparedStatement ps = connection.prepareStatement(multiRowSql.toString());
            int index = 1;
            for (LogLogin logLogin : logLogins) {
                ps.setLong(index++, logLogin.getColumn1());
                ps.setInt(index++, logLogin.getColumn2());
                ps.setString(index++, logLogin.getColumn3());
            }
            return ps;
        });
    }
}

Reader

Limit of the PostgreSQL JDBC driver

HikariPool-1 - Connection com.amazon.redshift.jdbc.RedshiftConnectionImpl@709e8a01 marked as broken because of SQLSTATE(08006), ErrorCode(0)
Caused by: java.io.IOException: Tried to send an out-of-range integer as a 2-byte value: 60000

멀티 스레드 스케줄링

@EnableAsync
@Configuration
public class AsyncConfig {

    @Bean(name = "asyncTaskExecutor")
    public ThreadPoolTaskExecutor asyncTaskExecutor() {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setCorePoolSize(5);
        executor.setMaxPoolSize(5);
        executor.setThreadNamePrefix("AsyncTask-");
        executor.initialize();
        return executor;
    }
}

@Async("asyncTaskExecutor")
@Scheduled(fixedDelay = 1000)
public void scheduler() {
	// 스케줄 동작
}

hikari.maximum-pool-size: 5

스레드 풀 사이즈 정하기

Data Parser

Parallel Stream

// 병렬 처리
logList.parallelStream().forEach(logStr -> {
	// 로그 파싱하여 List에 추가
}

Thread-Safe한 Collection

• 요청 데이터 : 299,291 건

• 저장 데이터 : 297,841 건

List<LogLogin> loginList = Collections.synchronizedList(new ArrayList<>());

• 요청 데이터 : 299,360 건

• 저장 데이터 : 299,360 건

List 구현 클래스는 LinkedList가 아닌 ArrayList를 사용해야합니다. parallelStream으로 병렬 작업 시 스레드가 데이터를 분할하여 처리해야 하는데 Array는 저렴하고 균등하게 분할 할 수 있는 반면, LinkedList는 그렇게 동작하지 않기 때문입니다.

List to HashMap

public enum LogGroup {
    LOGIN("인증", 3, Arrays.asList(LOG_ITEM_CODE_LOGIN)),
    PURCHASE("결제", 2, Arrays.asList(LOG_ITEM_CODE_PURCHASE_RECEIPT_COMPLETE, LOG_ITEM_CODE_PURCHASE_RECEIPT_VERIFY_FAIL, LOG_ITEM_CODE_PURCHASE_RECEIPT_ETC_FAIL));
}

private static final Map<Integer, LogGroup> CODE_TO_LOG_GROUP_MAP;

static {
    Map<Integer, LogGroup> tempMap = new HashMap<>();
    for (LogGroup logGroup : LogGroup.values()) {
        for (Integer logCode : logGroup.getLogItemList()) {
            tempMap.put(logCode, logGroup);
        }
    }
    CODE_TO_LOG_GROUP_MAP = Collections.unmodifiableMap(tempMap);
}
  
public static LogGroup findByItemCode(int itemCode) {
    return CODE_TO_LOG_GROUP_MAP.getOrDefault(itemCode, LogGroup.NOT_VALID);
}

HashMap을 사용한다고 해서 항상 O(1)의 시간 복잡도를 보장하는 것은 아닙니다. Java에서 HashMap은 키의 hashCode() 메서드를 사용하여 해시값을 계산합니다. 예를 들어, 키가 String 타입일 경우, String의 hashCode() 메서드는 내부적으로 문자열 길이에 비례하는 반복문을 사용합니다. 따라서 이 경우 HashMap의 실제 시간 복잡도는 O(1)이 아닌 O(n)이 될 수 있습니다. 따라서, 위의 예시에서는 Key로 Integer를 사용하였습니다.

결론