데이터 분석 보고서가 지연될 때, Spark Catalyst Optimizer는 어떤 마법을 부릴까?

Spark Catalyst Optimizer, Query Optimization, Data Processing

Spark Catalyst Optimizer는 복잡한 데이터 처리 쿼리를 효율적인 실행 계획으로 변환하여 데이터 엔지니어링 성능을 극대화합니다. 이 글은 그 내부 동작 원리를 논리적 계획 최적화부터 물리적 코드 생성까지 깊이 파헤칩니다. Spark,데이터엔지니어링,빅데이터,CatalystOptimizer,쿼리최적화,분산처리,SQL엔진,성능튜닝

데이터 엔지니어링 분야에서 Apache Spark는 대규모 데이터 처리의 핵심 도구로 자리매김했습니다. 하지만 때로는 복잡한 SQL 쿼리나 DataFrame 연산이 예상보다 느리게 실행되어 답답함을 느끼는 경우가 발생합니다. 이처럼 쿼리 성능 문제가 발생했을 때, 우리는 종종 보이지 않는 곳에서 쿼리를 최적화하는 Spark Catalyst Optimizer의 역할에 주목해야 합니다. Catalyst Optimizer는 마치 요리사가 레시피(쿼리)를 받아 가장 효율적인 조리법(실행 계획)을 찾아내고, 심지어 재료를 손질(코드 생성)하는 과정까지 담당하는 것과 유사합니다.

이 글에서는 Spark Catalyst Optimizer가 어떻게 사용자의 쿼리를 받아 최적의 실행 계획을 찾아내고, 이를 실제 실행 가능한 코드로 변환하는지 그 내부 동작 원리를 깊이 파헤쳐 봅니다. 프로그래밍을 배우기 시작한 입문자도 쉽게 이해할 수 있도록 전문 용어를 풀어서 설명하며, 실무에서 쿼리 성능을 점검할 수 있는 체크리스트 형태로 구성되어 있습니다.

📑 목차

• Spark 쿼리 최적화 점검 1: 논리적 계획은 효율적인가?
• 체크 항목: 불필요한 연산은 없는가?
• Spark 쿼리 최적화 점검 2: 물리적 실행 계획은 최적인가?
• 체크 항목: 데이터 크기와 분포에 맞는 조인 전략을 사용하는가?
• Spark 쿼리 최적화 점검 3: 코드는 빠르고 간결하게 생성되었나?
• 체크 항목: 전체 스테이지 코드 생성(Whole-stage Code Generation)이 활성화되었는가?
• 결론 및 요약

Image by Pexels on Pixabay

Spark 쿼리 최적화 점검 1: 논리적 계획은 효율적인가?

사용자가 Spark에 SQL 쿼리나 DataFrame API를 통해 데이터 처리 요청을 보내면, Catalyst Optimizer는 가장 먼저 이 요청을 논리적 계획(Logical Plan)으로 변환합니다. 논리적 계획은 '어떤 데이터를 어떻게 처리할 것인가'에 대한 추상적인 설명이며, 아직 실제 데이터가 어떻게 저장되어 있는지나 어떤 알고리즘을 사용할지에 대한 정보는 포함하지 않습니다.

체크 항목: 불필요한 연산은 없는가?

• 점검 사항: 쿼리 내에 중복되거나 불필요한 필터링, 조인, 정렬 연산이 존재하는지 확인합니다.
• 이유: Catalyst Optimizer는 규칙 기반 최적화(Rule-based Optimization)를 통해 논리적 계획을 변형합니다. 예를 들어, 필터 푸시다운(Filter Pushdown) 규칙은 필터 연산을 최대한 데이터 소스에 가깝게 이동시켜, 불필요한 데이터를 미리 걸러내어 전체 처리량을 줄입니다. 또한, 프로젝션 푸시다운(Projection Pushdown)은 필요한 열(컬럼)만 미리 선택하여 읽는 과정을 최적화합니다.

예를 들어, 다음 Spark SQL 쿼리를 살펴보겠습니다.

SELECT id, name
FROM users
WHERE age > 30 AND status = 'active'
ORDER BY name;

Catalyst Optimizer는 이 쿼리를 다음과 같은 논리적 계획으로 해석하고 최적화할 수 있습니다.

• 사용자 테이블(users)에서 데이터를 읽는다.
• 나이가 30보다 크고(age > 30) 상태가 'active'인(status = 'active') 행만 필터링한다.
• id와 name 열만 선택한다.
• name 열을 기준으로 정렬한다.

여기서 Catalyst는 필터링 연산을 데이터 읽기 직후로 이동시켜, 처음부터 조건을 만족하는 최소한의 데이터만 처리하도록 논리적 계획을 재구성합니다. 이는 네트워크 I/O와 메모리 사용량을 크게 줄이는 효과를 가져옵니다.

Spark 쿼리 최적화 점검 2: 물리적 실행 계획은 최적인가?

최적화된 논리적 계획이 준비되면, Catalyst Optimizer는 이를 실제 Spark 클러스터에서 실행할 수 있는 물리적 계획(Physical Plan)으로 변환합니다. 물리적 계획은 '어떤 알고리즘과 어떤 방식으로 데이터를 처리할 것인가'에 대한 구체적인 지침을 포함합니다. 이 단계에서는 여러 가지 가능한 물리적 계획 중에서 가장 효율적인 것을 선택하는 과정이 중요합니다.

체크 항목: 데이터 크기와 분포에 맞는 조인 전략을 사용하는가?

• 점검 사항: 조인 연산 시 사용되는 조인 전략(예: Broadcast Hash Join, Sort Merge Join)이 데이터의 크기 및 분포에 적합한지 확인합니다.
• 이유: Catalyst Optimizer는 비용 기반 최적화(Cost-based Optimization, CBO)를 통해 최적의 물리적 계획을 선택합니다. CBO는 각 물리적 계획의 실행 비용(예: CPU 사용량, 메모리 사용량, 네트워크 I/O)을 예측하여 가장 낮은 비용을 가진 계획을 선택합니다. 특히 조인 연산의 경우, 작은 테이블을 브로드캐스트하여 네트워크 통신을 최소화하는 Broadcast Hash Join이 유리할 수 있고, 대규모 테이블 간 조인에는 Sort Merge Join이 적합할 수 있습니다.

다음은 논리적 계획과 물리적 계획의 주요 차이점을 비교한 표입니다.

구분	논리적 계획 (Logical Plan)	물리적 계획 (Physical Plan)
역할	무엇을 할 것인가 (What to do)	어떻게 할 것인가 (How to do)
내용	추상적인 데이터 변환 정의	구체적인 실행 알고리즘 및 전략
최적화	규칙 기반 최적화 (Rule-based Optimization)	비용 기반 최적화 (Cost-based Optimization)
예시	'두 테이블을 조인한다'	'Broadcast Hash Join을 사용해 두 테이블을 조인한다'

Spark UI의 SQL 탭에서 실행된 쿼리의 물리적 계획을 시각적으로 확인할 수 있습니다. 여기서 각 연산자(Operator)가 어떤 조인 전략이나 필터링 방식을 사용했는지 확인하고, 이를 통해 쿼리 성능 병목 지점을 파악할 수 있습니다.

Image by AS_Photography on Pixabay

Spark 쿼리 최적화 점검 3: 코드는 빠르고 간결하게 생성되었나?

최적의 물리적 계획이 결정되면, Catalyst Optimizer는 마지막 단계로 이 계획을 실제 CPU에서 실행 가능한 코드로 변환합니다. 이 과정을 코드 생성(Code Generation)이라고 하며, Spark의 성능을 극대화하는 핵심 요소 중 하나입니다.

체크 항목: 전체 스테이지 코드 생성(Whole-stage Code Generation)이 활성화되었는가?

• 점검 사항: Spark 설정에서 Whole-stage Code Generation (WSCG)이 활성화되어 있는지 확인합니다. (기본적으로 활성화되어 있습니다.)
• 이유: Whole-stage Code Generation은 여러 물리적 연산자(예: 필터, 프로젝션)를 하나의 함수로 컴파일하여 실행 오버헤드를 최소화합니다. 이는 마치 여러 개의 작은 도구를 사용하는 대신, 하나의 통합된 다목적 도구를 사용하는 것과 같습니다. 이 과정을 통해 가상 함수 호출 및 데이터 복사 비용을 줄이고, CPU 캐시 효율을 높여 쿼리 실행 속도를 비약적으로 향상시킵니다. Spark의 Tungsten 엔진은 이러한 코드 생성을 적극적으로 활용하여 메모리 관리와 CPU 효율성을 극대화합니다.

예를 들어, 간단한 필터링 및 컬럼 선택 쿼리의 경우, WSCG는 아래와 유사한 형태의 자바 바이트코드를 생성합니다 (실제 코드는 훨씬 복잡합니다). 이 코드는 데이터 레코드 하나를 처리하기 위해 여러 연산자를 개별적으로 호출하는 대신, 모든 로직을 하나의 루프 안에서 처리하여 효율성을 높입니다.

// 가상 코드 예시 (실제 생성되는 코드와 다름)
public void processRow(InternalRow inputRow, OutputWriter writer) {
    boolean condition1 = inputRow.getInt(0) > 30; // age > 30
    boolean condition2 = inputRow.getString(1).equals("active"); // status = 'active'

    if (condition1 && condition2) {
        int id = inputRow.getInt(2);
        String name = inputRow.getString(3);
        writer.write(id, name);
    }
}

이처럼 Catalyst Optimizer는 쿼리 계획의 각 단계를 철저히 최적화하여 Spark가 대규모 데이터를 빠르고 효율적으로 처리할 수 있도록 돕습니다. 쿼리 성능 문제가 발생했을 때, 위에서 제시된 점검 항목들을 통해 Catalyst Optimizer가 최적의 결정을 내렸는지 확인하는 것은 문제 해결에 큰 도움이 될 것입니다.

결론 및 요약

Spark Catalyst Optimizer는 사용자의 데이터 처리 요청을 받아 논리적 계획 최적화, 물리적 계획 선택, 그리고 물리적 코드 생성이라는 세 가지 핵심 단계를 거쳐 최적의 실행 계획을 찾아냅니다. 논리적 계획 단계에서는 규칙 기반 최적화를 통해 불필요한 연산을 제거하고, 물리적 계획 단계에서는 비용 기반 최적화를 통해 데이터 특성에 맞는 최적의 실행 알고리즘을 선택합니다. 마지막으로, Whole-stage Code Generation을 통해 이 계획을 고성능의 실행 코드로 변환하여 CPU 효율성을 극대화합니다.

이러한 내부 동작 원리를 이해하면, Spark 쿼리 성능 문제를 진단하고 개선하는 데 필요한 통찰력을 얻을 수 있습니다. 이제 여러분의 Spark 쿼리가 왜 느린지, 그리고 어떻게 하면 더 빠르게 만들 수 있을지에 대한 해답을 찾을 수 있을 것입니다. Spark Catalyst Optimizer에 대한 더 깊은 질문이나 여러분의 경험이 있다면 댓글로 공유해 주세요!

📌 함께 읽으면 좋은 글

• [보안] Kubernetes NetworkPolicy, 왜 적용해도 통신이 막히는 거죠?
• [데이터 엔지니어링] dbt 증분 모델 구현, 이 실수 때문에 데이터 유실과 비효율에 시달렸습니다
• [게임 개발] 인디 게임 데이터 저장 방식 선택: JSON과 바이너리 직렬화, 5가지 핵심 고려사항

이 글이 도움이 되셨다면 공감(♥)과 댓글로 응원해 주세요!
궁금한 점이나 다루었으면 하는 주제가 있다면 댓글로 남겨주세요.