[우사기] Github Actions DEV 배포용 workflow 작성

 

 

 

DEV 배포용 workflow 작성

PR 테스트용에 이어서, feature 브랜치들이 dev 브랜치에 merge되어 push될 때 동작 할 workflow를 수정해보았다.

Github Actions를 통해 CI/CD 해본 게 처음이라 헷갈리고 이해 안 되는 내용이 많아서, 내용 기록하면서 정리해보았다.

 

 

Spring Boot 빌드

      - name: Build with Gradle (DEV) - Skip Tests
        run: ./gradlew clean build -x test --no-daemon
        env:
          SPRING_PROFILES_ACTIVE: dev

 

Gradle을 사용하여 스프링 부트 프로젝트를 빌드한다. -x test 명령어로 테스트는 제외시켰다. (테스트는 Pull Request 할 때 진행)

빌드가 성공하면 build/libs/ 폴더 안에 실행 가능한 JAR 파일이 생성된다.

 

 

 

Docker 이미지 빌드 - App

      - name: Set up Docker Buildx
        uses: docker/setup-buildx-action@v3

      - name: Build App Docker image (DEV)
        uses: docker/build-push-action@v5
        with:
          context: .
          file: ./Dockerfile
          push: false
          tags: |
            ${{ env.APP_IMAGE_NAME }}:${{ github.sha }}
            ${{ env.APP_IMAGE_NAME }}:latest-dev
          build-args: |
            SPRING_PROFILES_ACTIVE=dev
          cache-from: type=gha
          cache-to: type=gha,mode=max
          load: true

 

스프링 부트 프로젝트 내 ./Dockerfile을 읽어서 이미지를 만든다.

 

cache-from: type=gha 

➡️ 빌드를 시작하기 전에, GitHub Actions 전용 캐시 저장소(type=gha)에서 이전에 빌드했던 기록을 찾아보는 설정

 

cache-to: type=gha,mode=max

➡️ 이번에 빌드한 결과물을 다음번 빌드 때 쓸 수 있도록 GitHub Actions 캐시 저장소에 저장하는 설정

➡️ max 값을 사용해야, 빌드 중간중간에 생성된 모든 중간 단계(Intermediate Layers)까지 저장되고, Gradle 의존성 다운로드 내역 같은 중간 과정까지 캐시되어, 다음 빌드 때 다운로드를 또 안 하고 넘어갈 수 있다.

 

# ./Dockerfile
FROM eclipse-temurin:21-jre-alpine

WORKDIR /app

COPY build/libs/*.jar app.jar

ENV TZ=Asia/Seoul
ENTRYPOINT ["java", "-jar", "app.jar"]

 

Dockerfile에 빌드 관련 명령어는 없고, 

Springboot 빌드 단계에서 만들어놨던 JAR 파일을 복사해서 실행을 담당하게 된다.

 

 

Docker 이미지 빌드 - Nginx

 

      - name: Build Nginx Docker image (DEV)
        uses: docker/build-push-action@v5
        with:
          context: .
          file: ./nginx/Dockerfile
          push: false
          tags: |
            ${{ env.NGINX_IMAGE_NAME }}:${{ github.sha }}
            ${{ env.NGINX_IMAGE_NAME }}:latest-dev
          build-args: |
            ENVIRONMENT=dev
          cache-from: type=gha
          cache-to: type=gha,mode=max
          load: true

 

프로젝트 내 ./nginx/Dockerfile 을 읽어서 이미지를 만든다. 

나머지는 APP빌드와 동일한 방식이다.

 

 

 

AWS Lightsail 배포 준비 및 이미지 푸시

      - name: Configure AWS credentials
        uses: aws-actions/configure-aws-credentials@v4
        with:
          aws-access-key-id: ${{ secrets.AWS_ACCESS_KEY_ID }}
          aws-secret-access-key: ${{ secrets.AWS_SECRET_ACCESS_KEY }}
          aws-region: ${{ env.AWS_REGION }}

      - name: Install Lightsail Plugin
        run: |
          curl "https://s3.us-west-2.amazonaws.com/lightsailctl/latest/linux-amd64/lightsailctl" -o "/usr/local/bin/lightsailctl"
          sudo chmod +x /usr/local/bin/lightsailctl

      - name: Push App image to Lightsail
        run: |
          aws lightsail push-container-image \
            --service-name ${{ env.SERVICE_NAME }} \
            --label app-${{ github.sha }} \
            --image ${{ env.APP_IMAGE_NAME }}:${{ github.sha }} \
            --region ${{ env.AWS_REGION }}
            
       - name: Get pushed image names
        id: image-names
        run: |
          APP_IMAGE=$(aws lightsail get-container-images --service-name ${{ env.SERVICE_NAME }} --region ${{ env.AWS_REGION }} | jq -r '.containerImages[] | select(.image | contains("app-${{ github.sha }}")) | .image' | head -n 1)
          
          NGINX_IMAGE=$(aws lightsail get-container-images --service-name ${{ env.SERVICE_NAME }} --region ${{ env.AWS_REGION }} | jq -r '.containerImages[] | select(.image | contains("nginx-${{ github.sha }}")) | .image' | head -n 1)
          
          if [[ -z "$APP_IMAGE" ]]; then
            echo "Error: Could not find APP_IMAGE matching ${{ github.sha }}"
            exit 1
          fi

          echo "app_image=$APP_IMAGE" >> $GITHUB_OUTPUT
          echo "nginx_image=$NGINX_IMAGE" >> $GITHUB_OUTPUT
          
          echo "Found App Image: $APP_IMAGE"
          echo "Found Nginx Image: $NGINX_IMAGE"

 

GitHub Secrets에 저장된 AWS 키로 로그인을 해주고, Lightsail 컨테이너 서비스 이용하기 위한 플러그인을 설치해준다.

위 단계에서 빌드한 Docker 이미지를 AWS Lightsail의 자체 레지스트리로 업로드한다.

마지막으로 방금 AWS Lightsail 레지스트리에 올려진 이미지를 찾는다. 

aws lightsail push-container-image 명령어로 이미지를 올리면, Lightsail 전용 레지스트리 주소로 이름을 바껴서 저장되기 때문에 다시 Get 해오는 과정이 필요하다. 찾은 이미지는 배포 json 파일에 사용된다.

 

 

 

배포 설정 json 생성

 

엄청 애먹고 제일 많이 수정한 step이다.. 🤯

 

 

jq로 JSON 다루기

처음에는 cat 명령어를 이용하여 텍스트를 파일로 저장하는 단순한 방식을 사용했는데, 

아래처럼 문법에 오류가 있어도 json 파일이 만들어지고 배포 되는 과정에서야 에러가 발생했다.

 

 

이러한 상황을 방지하기 위해서 jq를 사용해보았다.

      - name: Create deployment configuration
        run: |
          jq -n \
            --arg db_url "${{ secrets.DEV_DB_URL }}" \
            --arg db_user "${{ secrets.DEV_DB_USERNAME }}" \
            --arg db_pass "${{ secrets.DEV_DB_PASSWORD }}" \
            --arg redis_pass "${{ secrets.DEV_REDIS_PASSWORD }}" \
            # .. 생략 
            '{
              containers: {
                app: {
                  image: $app_image,
                  environment: {
                    SPRING_PROFILES_ACTIVE: "dev",
                    DEV_DB_URL: $db_url,
					# .. 생략 
                  },
                
                # .. 생략 

              }
            }' > deployment.json
          
          echo "=== Deployment Configuration ==="
          cat deployment.json

 

 

jq 를 사용하면 문법적인 오류가 있다면 파일을 만들기 전에 에러를 뱉는다. 즉, 잘못된 JSON 파일이 생성되는 것을 막을 수 있다.

또한, --arg로 받은 값을 자동으로 JSON 문자열 규격에 맞게 변환해주므로 환경 변수를 다루기에 적합하다.

 

 

 

Lightsail 컨테이너에 배포

      - name: Deploy to Lightsail
        run: |
          aws lightsail create-container-service-deployment \
            --service-name ${{ env.SERVICE_NAME }} \
            --region ${{ env.AWS_REGION }} \
            --cli-input-json file://deployment.json

 

위에서 만들어진 deployment.json을 Lightsail에 전송하여 배포하는 단계이다.

 

 

 

redis 컨테이너 연결하기

 

 

배포는 했지만 Health check 실패 ☠️.

App 컨테이너 로그를 살펴보니 RedisConnectionException이 발생하고 있었다.

AWS lightsail에 데이터베이스도 지원을 하고 있어서 DB 연결은 손쉽게 진행했는데, Redis 연결하는 건 정말 너무! 힘들었다.

 

 

제미나이에게 도움을 얻은 결과, 

AWS Lightsail에서는 컨테이너끼리 localhost로 통신하기 때문에 host 값을 localhost로 설정해야 한다.

App 컨테이너 입장에서는 redis라는 이름의 별도 서버가 아니라, 자기 자신의 localhost에 떠있는 서비스로 인식한다고 한다.

 

또한, Redis는 기본적으로 IPv4 주소인 127.0.0.1만 리스닝 하고 있기 때문에 IPv6 주소로 신호를 보내는 App 컨테이너가 접근하지 못 하는 경우가 있다고 한다. 그래서 --bind 0.0.0.0을 설정하여 모든 곳에서 접속이 허용되도록 해야한다.

Redis 포트(6379)는 publicEndpoint로 설정하지 않았기 때문에 외부에서는 접근이 불가능하며, 같은 Lightsail 컨테이너 서비스 내부에서만 접속이 가능하기 때문에 보안 이슈는 없다.

 

 

# deployment.json

redis: {
	image: "redis:7-alpine",
	command: ["redis-server", "--requirepass", $redis_pass],
	ports: {
		"6379": "TCP"
		}
}

 

 

 

local , test 환경에서는 비밀번호 없이 redis에 접속하다 보니 연결이 잘 됐었는데

dev에는 비밀번호가 접속이 필요하여 redis conifg 설정도 수정해줬다.

 

@Configuration
class RedisConfig(
    @Value("\${spring.data.redis.host}") private val host: String,
    @Value("\${spring.data.redis.port}") private val port: Int,
    @Value("\${spring.data.redis.password}") private val password: String,
) {
    @Bean
    fun redisConnectionFactory(): RedisConnectionFactory {
        val config = RedisStandaloneConfiguration(host, port)
        config.setPassword(password)

        return LettuceConnectionFactory(config)
    }

    @Bean
    fun stringRedisTemplate(connectionFactory: RedisConnectionFactory): StringRedisTemplate =
        StringRedisTemplate(connectionFactory)
}

 

 

 

 

 

redis 연결에 성공해서 Health check도 통과됐다.

 

 

 

 

오늘도 삽질 끝에 배포 성공 .. ✌🏻

좀더 인프라 지식을 쌓아서 놓친 부분을 개선해 나가야겠다.