Pulumi를 활용한 멀티 클라우드 인프라 코드화: Python으로 AWS/GCP 자원 관리 실전 가이드

Pulumi와 Python을 활용하여 AWS와 GCP의 멀티 클라우드 인프라를 효율적으로 코드화하고 관리하는 방법을 심층 분석합니다. IaC 전략부터 실전 구현까지 가이드합니다.

클라우드 컴퓨팅 환경은 현대 IT 인프라의 핵심 축으로 자리매김하였다. 특히, 특정 클라우드 벤더에 대한 종속성을 피하고 각 클라우드 서비스 제공자의 강점을 활용하기 위해 멀티 클라우드 전략을 채택하는 기업이 증가하는 추세이다. 그러나 여러 클라우드 환경을 동시에 관리하는 것은 복잡성과 운영 오버헤드를 가중시키는 주요 원인이 된다. 수동적인 인프라 프로비저닝은 오류 발생 가능성을 높이고, 일관성 없는 환경을 초래하며, 배포 시간을 지연시키는 문제점을 가진다. 이러한 도전 과제에 직면한 조직에게 인프라 코드화(Infrastructure as Code, IaC)는 필수적인 해결책으로 부상하고 있다. IaC는 인프라를 코드로 정의하고 관리함으로써, 버전 관리, 자동화된 배포, 일관성 유지, 그리고 효율적인 협업을 가능하게 한다.

본 글에서는 Pulumi를 활용하여 멀티 클라우드 인프라를 효율적으로 코드화하고 관리하는 방법에 대해 심층적으로 다룬다. 특히, 개발자에게 친숙한 Python 언어를 사용하여 AWS와 GCP 자원을 통합 관리하는 실전 가이드를 제공하고자 한다. Pulumi가 어떻게 멀티 클라우드 환경에서 IaC의 복잡성을 줄이고 생산성을 향상시킬 수 있는지 그 가능성을 탐색하고, 구체적인 코드 예시와 함께 실제 적용 방안을 제시할 것이다.

📑 목차

• Pulumi, 왜 멀티 클라우드 IaC의 핵심인가?
• Pulumi와 기존 IaC 도구 비교
• Pulumi 시작하기: Python 개발 환경 설정
• 1. Pulumi CLI 설치
• 2. 클라우드 인증 설정 (AWS 및 GCP)
• 3. Pulumi 프로젝트 생성 및 Python 환경 설정
• AWS 및 GCP 자원 코드화 실전 예제
• 1. AWS S3 버킷 생성 예제
• 2. GCP Cloud Storage 버킷 생성 예제
• 멀티 클라우드 전략 구현: Pulumi 스택 및 구성 관리
• 1. Pulumi 스택을 활용한 환경 분리
• 2. Pulumi 구성을 통한 환경별 설정 관리
• Pulumi를 통한 멀티 클라우드 IaC의 장점과 고려사항
• 1. 주요 장점
• 2. 고려사항
• 결론: Pulumi로 여는 멀티 클라우드 인프라 관리의 미래

Image by DavidClode on Pixabay

Pulumi, 왜 멀티 클라우드 IaC의 핵심인가?

Pulumi는 모든 클라우드(AWS, Azure, GCP, Kubernetes 등)에서 인프라를 프로비저닝하고 관리하기 위한 오픈 소스 IaC 프레임워크이다. 기존 IaC 도구들이 YAML, JSON 또는 DSL(Domain-Specific Language) 기반의 설정을 사용했던 것과 달리, Pulumi는 다양한 범용 프로그래밍 언어(Python, TypeScript, Go, C#, Java 등)를 사용하여 인프라를 정의할 수 있다는 점에서 차별점을 가진다. 이는 개발자들이 이미 익숙한 언어의 강력한 기능, 즉 조건문, 반복문, 함수, 클래스, 패키지 관리 등을 인프라 코드에 직접 활용할 수 있음을 의미한다.

멀티 클라우드 환경에서 Pulumi의 강점은 더욱 두드러진다. 각 클라우드 벤더마다 고유한 API와 도구를 학습해야 하는 부담 없이, 단일 언어(예: Python)와 단일 도구(Pulumi)를 사용하여 여러 클라우드 자원을 통합 관리할 수 있다. 이는 학습 곡선을 낮추고, 개발 및 운영팀의 생산성을 크게 향상시키는 요인으로 작용한다. 또한, Pulumi는 실제 프로그래밍 언어의 강력한 테스트 프레임워크와 IDE 지원을 활용할 수 있어, 인프라 코드의 안정성과 신뢰성을 높이는 데 기여한다.

Pulumi와 기존 IaC 도구 비교

Pulumi는 기존 IaC 도구들과 몇 가지 중요한 차이점을 가진다. 대표적인 IaC 도구인 Terraform과 비교하면 다음과 같다.

특징	Pulumi	Terraform
언어	Python, TypeScript, Go, C#, Java 등 범용 언어	HCL(HashiCorp Configuration Language)
개발자 경험	익숙한 프로그래밍 언어로 개발 및 디버깅 용이, 풍부한 IDE 지원	DSL 학습 필요, 제한적인 로직 구현 가능
테스트	단위/통합 테스트 프레임워크 활용 가능, 강력한 테스트 지원	테스트 도구는 존재하나 범용 언어 대비 유연성 부족
상태 관리	클라우드 스토리지, Pulumi 서비스 백엔드 등 다양한 옵션	S3, GCS 등 백엔드 지원, Terraform Cloud
멀티 클라우드	단일 언어로 여러 클라우드 자원 통합 관리 용이	각 클라우드 프로바이더별 HCL 정의 필요

이러한 비교를 통해 Pulumi가 코드 중심의 접근 방식을 통해 개발자 친화적인 IaC 경험을 제공하며, 특히 멀티 클라우드 환경에서 복잡성을 효과적으로 관리할 수 있는 강력한 도구임을 확인할 수 있다.

Pulumi 시작하기: Python 개발 환경 설정

Pulumi를 활용하여 AWS 및 GCP 자원을 관리하기 위해서는 먼저 Pulumi CLI를 설치하고 Python 개발 환경을 설정해야 한다. 아래 단계에 따라 기본적인 환경을 구축할 수 있다.

1. Pulumi CLI 설치

Pulumi CLI는 Pulumi 프로그램을 실행하고 클라우드 자원을 프로비저닝하는 핵심 도구이다. 각 운영체제에 맞는 방식으로 설치할 수 있다.

• macOS 또는 Linux (Homebrew 사용):

$ brew install pulumi/tap/pulumi

• Windows (PowerShell 사용):

$ choco install pulumi

설치 후, Pulumi CLI가 정상적으로 작동하는지 확인한다.

$ pulumi version

2. 클라우드 인증 설정 (AWS 및 GCP)

Pulumi가 클라우드 자원을 프로비저닝하려면 해당 클라우드 계정에 대한 인증 정보가 필요하다. 여기서는 가장 일반적인 방법을 소개한다.

• AWS 인증: AWS CLI가 설치되어 있고, aws configure 명령어를 통해 자격 증명이 설정되어 있다면 Pulumi는 이를 자동으로 사용한다. 또는 환경 변수 AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY, AWS_REGION 등을 설정할 수 있다.
• GCP 인증: Google Cloud SDK(gcloud)를 설치하고 gcloud auth application-default login 명령어를 통해 사용자 인증 정보를 설정하면 Pulumi가 이를 활용할 수 있다. 또한, 서비스 계정 키 파일을 다운로드하여 GOOGLE_CREDENTIALS 환경 변수에 해당 파일의 경로를 지정하는 방법도 있다.

3. Pulumi 프로젝트 생성 및 Python 환경 설정

새로운 Pulumi 프로젝트를 생성하고 Python 가상 환경을 설정한다.

$ mkdir multi-cloud-infra
$ cd multi-cloud-infra
$ pulumi new python

이 명령을 실행하면 프로젝트 이름, 스택(환경) 이름 등을 묻고, 다음 파일들을 생성한다:

• Pulumi.yaml: 프로젝트 메타데이터 (프로젝트 이름, 런타임 등)
• __main__.py: 실제 인프라 코드를 작성하는 메인 파일
• requirements.txt: Python 종속성 관리 파일 (Pulumi SDK 및 클라우드 프로바이더 SDK 포함)
• venv/: Python 가상 환경 디렉터리

requirements.txt 파일을 열어 필요한 Pulumi 프로바이더 패키지를 추가한다. AWS와 GCP를 사용할 것이므로, 다음 라인들이 포함되어야 한다:

pulumi_aws>=6.0.0
pulumi_gcp>=7.0.0

이후 가상 환경을 활성화하고 종속성을 설치한다.

$ source venv/bin/activate  # Linux/macOS
$ .\venv\Scripts\activate   # Windows
$ pip install -r requirements.txt

이제 Pulumi로 AWS 및 GCP 자원을 코드화할 준비가 완료되었다.

AWS 및 GCP 자원 코드화 실전 예제

이제 __main__.py 파일에 Python 코드를 작성하여 AWS와 GCP의 자원을 각각 프로비저닝하는 방법을 살펴본다. 여기서는 각 클라우드에 간단한 스토리지 버킷을 생성하는 예시를 제시한다.

1. AWS S3 버킷 생성 예제

AWS S3 버킷을 생성하는 Pulumi Python 코드는 다음과 같다.

# __main__.py
import pulumi
import pulumi_aws as aws

# AWS 리전 설정 (Pulumi 구성으로 관리하는 것이 일반적)
# pulumi config set aws:region ap-northeast-2
aws_region = pulumi.get_config("aws:region")
if not aws_region:
    aws_region = "ap-northeast-2" # 기본값

# AWS S3 버킷 생성
s3_bucket = aws.s3.Bucket("my-pulumi-aws-bucket",
    acl="private", # Private ACL
    tags={
        "Environment": pulumi.get_stack(), # 현재 Pulumi 스택 이름을 태그로 사용
        "Project": "MultiCloudPulumi"
    })

# S3 버킷의 웹사이트 엔드포인트를 Pulumi 스택 출력으로 노출
pulumi.export("s3_bucket_name", s3_bucket.id)
pulumi.export("s3_bucket_endpoint", s3_bucket.website_endpoint)

이 코드는 pulumi_aws 패키지를 사용하여 aws.s3.Bucket 리소스를 정의한다. "my-pulumi-aws-bucket"은 Pulumi가 내부적으로 리소스를 식별하는 논리적 이름이며, 실제로 생성될 버킷 이름은 Pulumi가 자동으로 생성하거나 명시적으로 지정할 수 있다. acl="private"은 버킷의 접근 제어 목록을 설정한다. tags를 사용하여 리소스에 메타데이터를 추가할 수 있으며, pulumi.get_stack()을 통해 현재 배포되는 스택(예: dev, prod)의 이름을 가져와 태그로 활용한다.

pulumi.export는 Pulumi 배포가 완료된 후 출력될 값을 정의한다. 이 값들은 pulumi up 명령 실행 후 콘솔에 표시되며, 다른 Pulumi 프로그램이나 스크립트에서 참조할 수 있다.

AWS 리전은 pulumi config set aws:region ap-northeast-2 명령으로 설정할 수 있다. 이렇게 설정된 값은 pulumi.get_config("aws:region")을 통해 가져올 수 있어, 코드 내에 하드코딩하는 것을 피하고 환경별 유연성을 확보할 수 있다.

2. GCP Cloud Storage 버킷 생성 예제

GCP Cloud Storage 버킷을 생성하는 Pulumi Python 코드는 다음과 같다.

# __main__.py (기존 AWS 코드에 이어서 또는 별도 파일로 관리)
import pulumi
import pulumi_gcp as gcp

# GCP 프로젝트 ID 설정 (Pulumi 구성으로 관리)
# pulumi config set gcp:project your-gcp-project-id
gcp_project_id = pulumi.get_config("gcp:project")
if not gcp_project_id:
    # 환경 변수 GOOGLE_PROJECT 또는 gcloud CLI 설정 사용
    pass 

# GCP 리전 설정
# pulumi config set gcp:region asia-northeast3
gcp_region = pulumi.get_config("gcp:region")
if not gcp_region:
    gcp_region = "asia-northeast3" # 기본값

# GCP Cloud Storage 버킷 생성
gcs_bucket = gcp.storage.Bucket("my-pulumi-gcp-bucket",
    name="my-pulumi-gcp-bucket-" + pulumi.get_stack(), # 스택 이름을 포함하여 고유한 이름 생성
    location=gcp_region,
    uniform_bucket_level_access=True, # 균일한 버킷 수준 액세스 활성화
    project=gcp_project_id,
    labels={
        "environment": pulumi.get_stack(),
        "purpose": "pulumi-multi-cloud"
    })

# GCS 버킷의 URL을 Pulumi 스택 출력으로 노출
pulumi.export("gcs_bucket_name", gcs_bucket.name)
pulumi.export("gcs_bucket_url", gcs_bucket.self_link)

마찬가지로 pulumi_gcp 패키지를 사용하여 gcp.storage.Bucket 리소스를 정의한다. GCP는 버킷 이름이 전역적으로 고유해야 하므로, pulumi.get_stack()을 활용하여 버킷 이름에 스택 이름을 포함시켜 고유성을 확보하는 전략을 사용한다. location은 버킷이 생성될 GCP 리전을 지정하며, uniform_bucket_level_access는 GCP의 IAM 정책을 일관성 있게 적용하기 위해 설정한다. project는 해당 버킷이 생성될 GCP 프로젝트 ID를 지정한다.

GCP 프로젝트 ID는 pulumi config set gcp:project your-gcp-project-id 명령으로 설정할 수 있다. 이 값 역시 pulumi.get_config("gcp:project")를 통해 가져와 코드의 유연성을 높인다.

두 클라우드 제공자의 자원을 하나의 __main__.py 파일에 함께 정의하거나, 모듈화하여 관리할 수 있다. 예를 들어, aws_resources.py와 gcp_resources.py 파일에 각각의 클라우드 자원 정의를 분리하고, __main__.py에서 이를 임포트하여 사용하는 방식이다. 이러한 유연성은 Pulumi가 범용 프로그래밍 언어를 사용하는 가장 큰 장점 중 하나이다.

Image by wwarby on Pixabay

멀티 클라우드 전략 구현: Pulumi 스택 및 구성 관리

실제 운영 환경에서는 개발, 스테이징, 프로덕션 등 여러 환경이 존재하며, 각 환경마다 다른 클라우드 자원 구성이 필요할 수 있다. Pulumi는 스택(Stack)과 구성(Configuration) 기능을 통해 이러한 요구사항을 효과적으로 충족시킨다.

1. Pulumi 스택을 활용한 환경 분리

Pulumi 스택은 Pulumi 프로그램의 독립적인 인스턴스이며, 특정 환경(예: 개발, 프로덕션)에 배포되는 실제 클라우드 자원들의 집합을 나타낸다. 예를 들어, dev 스택은 개발 환경의 AWS 및 GCP 자원들을 관리하고, prod 스택은 프로덕션 환경의 자원들을 관리할 수 있다.

# 개발 환경 스택 생성
$ pulumi stack init dev

# 프로덕션 환경 스택 생성
$ pulumi stack init prod

각 스택은 독립적인 상태 파일(Pulumi.<stack-name>.yaml.bak)을 가지므로, 한 스택에서 변경된 내용이 다른 스택에 영향을 미치지 않는다. 이를 통해 안전하고 격리된 환경 관리가 가능해진다.

2. Pulumi 구성을 통한 환경별 설정 관리

각 스택마다 클라우드 리전, 인스턴스 타입, 데이터베이스 크기 등 다양한 설정값이 달라질 수 있다. Pulumi는 구성 시스템을 통해 이러한 환경별 설정을 관리한다. 구성 값은 스택 파일(Pulumi.<stack-name>.yaml)에 저장되며, 코드 내에서 pulumi.get_config()를 통해 접근할 수 있다.

예를 들어, 개발 스택과 프로덕션 스택에 서로 다른 AWS 리전을 설정하려면:

# 'dev' 스택 선택 후 AWS 리전 설정
$ pulumi stack select dev
$ pulumi config set aws:region ap-northeast-2

# 'prod' 스택 선택 후 AWS 리전 설정
$ pulumi stack select prod
$ pulumi config set aws:region us-east-1

GCP 프로젝트 ID 역시 스택별로 다르게 설정할 수 있다.

# 'dev' 스택 선택 후 GCP 프로젝트 ID 설정
$ pulumi stack select dev
$ pulumi config set gcp:project my-dev-gcp-project

# 'prod' 스택 선택 후 GCP 프로젝트 ID 설정
$ pulumi stack select prod
$ pulumi config set gcp:project my-prod-gcp-project

이렇게 설정된 값들은 __main__.py 파일에서 다음과 같이 사용된다.

import pulumi

# AWS 리전 가져오기 (현재 스택에 설정된 값)
aws_region = pulumi.get_config("aws:region")

# GCP 프로젝트 ID 가져오기 (현재 스택에 설정된 값)
gcp_project_id = pulumi.get_config("gcp:project")

# ... (AWS/GCP 자원 정의 시 aws_region, gcp_project_id 사용)

또한, 민감한 정보(예: 데이터베이스 비밀번호, API 키)는 Pulumi 시크릿(Secrets) 기능을 사용하여 암호화하여 저장할 수 있다. pulumi config set --secret my_api_key "super_secret_key" 명령을 사용하면 된다. Pulumi는 기본적으로 Pulumi Service 백엔드를 사용할 경우 자동 암호화를 지원하며, 로컬 파일 백엔드 사용 시에는 마스터 키를 수동으로 관리해야 한다.

이러한 스택 및 구성 관리는 멀티 클라우드 환경의 복잡성을 체계적으로 관리하고, 각 환경의 독립성과 일관성을 유지하는 데 필수적인 요소이다.

Image by sipa on Pixabay

Pulumi를 통한 멀티 클라우드 IaC의 장점과 고려사항

Pulumi를 활용한 멀티 클라우드 IaC는 여러 가지 강력한 장점을 제공하지만, 도입 시 고려해야 할 사항도 존재한다. 이를 명확히 이해하는 것은 성공적인 Pulumi 도입 전략 수립에 중요하다.

1. 주요 장점

• 범용 프로그래밍 언어 활용: Python, TypeScript 등 익숙한 언어로 인프라를 정의할 수 있어 개발자들의 진입 장벽이 낮다. 기존 개발 역량을 IaC에 직접 활용할 수 있으며, 복잡한 로직 구현이 용이하다.
• 강력한 생산성 및 유연성: IDE의 자동 완성, 타입 검사, 디버깅 도구 등을 활용하여 인프라 코드 개발 속도를 높일 수 있다. 함수, 클래스, 모듈 등을 통해 코드를 재사용하고 구조화하기 용이하다.
• 통합된 테스트 환경: 인프라 코드에 대한 단위 테스트 및 통합 테스트를 일반적인 프로그래밍 언어의 테스트 프레임워크로 작성할 수 있어, 배포 전 오류를 미리 감지하고 안정성을 확보할 수 있다.
• 멀티 클라우드 및 하이브리드 클라우드 지원: AWS, GCP, Azure, Kubernetes 등 다양한 클라우드 및 온프레미스 자원을 단일 도구와 언어로 통합 관리할 수 있어, 멀티 클라우드 전략 구현에 최적화되어 있다.
• 실시간 상태 관리 및 드리프트 감지: Pulumi는 배포된 클라우드 자원의 실제 상태를 추적하고, 코드와 실제 상태 간의 불일치(드리프트)를 감지하여 보고한다.
• CI/CD 파이프라인 통합 용이: Pulumi CLI는 자동화된 환경에서 실행하기에 적합하며, 기존 CI/CD 파이프라인에 쉽게 통합하여 인프라 배포를 자동화할 수 있다.

2. 고려사항

• 학습 곡선: 기존 DSL 기반 IaC 도구에 익숙한 사용자에게는 프로그래밍 언어로 인프라를 정의하는 방식이 새로운 학습 곡선을 요구할 수 있다. 특히, 클라우드 자원의 속성과 Pulumi의 리소스 모델을 이해해야 한다.
• 커뮤니티 및 생태계 규모: Terraform과 같은 기존 IaC 도구에 비해 Pulumi의 커뮤니티 규모나 서드파티 통합 생태계는 아직 상대적으로 작을 수 있다. 그러나 빠르게 성장하고 있으며, 대부분의 주류 클라우드 서비스는 충분히 지원된다.
• 상태 관리의 중요성: Pulumi도 다른 IaC 도구와 마찬가지로 상태 파일(state file)을 관리한다. 이 상태 파일의 일관성과 보안은 매우 중요하며, 안전한 백엔드(예: Pulumi Cloud, S3, GCS)를 사용하여 관리해야 한다.
• 클라우드 공급자별 API 변경 대응: 각 클라우드 공급자의 API 변경에 따라 Pulumi 프로바이더 패키지도 업데이트되어야 한다. 이를 정기적으로 관리하고 업그레이드하는 노력이 필요하다.

이러한 장점과 고려사항을 종합적으로 평가할 때, Pulumi는 개발 중심의 조직이나 복잡한 멀티 클라우드 환경에서 인프라 관리에 더 많은 유연성과 제어권을 확보하고자 할 때 매우 매력적인 선택지가 될 수 있다.

결론: Pulumi로 여는 멀티 클라우드 인프라 관리의 미래

복잡성이 증대되는 멀티 클라우드 환경에서 Pulumi는 인프라 코드화(IaC)의 새로운 패러다임을 제시한다. 개발자들이 이미 익숙한 Python과 같은 범용 프로그래밍 언어를 사용하여 AWS와 GCP를 포함한 다양한 클라우드 자원을 통합적으로 관리할 수 있게 함으로써, 생산성을 극대화하고 운영 효율성을 향상시킨다.

본 글에서 제시된 실전 가이드와 코드 예시를 통해 Pulumi가 어떻게 멀티 클라우드 인프라의 설계, 배포, 관리를 간소화할 수 있는지 살펴보았다. 스택과 구성을 활용한 환경 분리 및 설정 관리는 복잡한 실제 운영 환경의 요구사항을 충족시키는 핵심적인 기능이다. Pulumi의 코드 중심 접근 방식은 인프라를 소프트웨어 개발의 한 부분으로 통합하여, 더욱 안정적이고 테스트 가능한 인프라를 구축할 수 있도록 돕는다.

클라우드 인프라의 규모가 커지고 다양한 클라우드 서비스를 활용하는 전략이 보편화됨에 따라, Pulumi와 같은 코드 기반 IaC 도구의 중요성은 더욱 커질 것으로 판단된다. 개발 및 운영팀이 더 이상 클라우드별 DSL에 얽매이지 않고, 언어의 힘을 빌려 혁신적인 인프라 솔루션을 구축할 수 있는 길을 제시하는 것이다.

지금 바로 Pulumi를 시작하여 멀티 클라우드 인프라 관리의 새로운 지평을 경험해 보기를 권한다. 본 글에서 다룬 내용 외에 Pulumi에 대해 더 궁금한 점이나 공유하고 싶은 경험이 있다면 댓글로 남겨주시기 바란다.

📌 함께 읽으면 좋은 글

• [커리어 취업] 합격률 높이는 개발자 이력서 및 경력 기술서 작성 실전 가이드
• [클라우드 인프라] Terraform을 활용한 클라우드 인프라 자동화: IaC 실전 도입 가이드
• [클라우드 인프라] Terraform으로 클라우드 인프라 자동화: IaC 기반 환경 구축 및 관리 실전 가이드

이 글이 도움이 되셨다면 공감(♥)과 댓글로 응원해 주세요!
궁금한 점이나 다루었으면 하는 주제가 있다면 댓글로 남겨주세요.