Nestjs & Docker & Github Action 활용 자동 배포 구축하기

📌 CICD 란 ?

• CI (Continuous Integration) : 지속적 통합. 생성 및 수정 코드들이 자동으로 Test → Build 하는 과정을 자동화
• CD (Continuous Deploy) : 지속적 배포. CI 이후 배포 환경까지 전달해 자동 배포하는 과정을 자동화
• 목적 : Test하여 정상적인 코드가 Deploy 되는 것인지 확인하는 절차를 거치고 → Build하고 → ghcr 에 Deploy 된 이미지를 Github Action Runner를 적용해 자동 배포되도록 구성하시오.

📌 Dockerfile 만들고 테스트해보기

Dockerfile 작성

# Match with my local Node Version
FROM node:16-alpine

# RUN mkdir -p /app
WORKDIR /app

# My . Dir -> /app Directory
ADD . /app/

# Dependency Install
RUN npm install

# Build
RUN npm run build

# PORT (8080) Expose
EXPOSE 8080

# START
ENTRYPOINT npm run start:prod

Dockerignore 만들기

node_modules/
dist/

 

Build Docker Image를 만들기

• -t 이미지 태그명 옵션
• 일반적으로 -t 이미지명칭:버전 으로 명시 버전 미지정시 latest로 자동 지정함.

docker build **-t my-nest** .

 

이미지 실행

• -d 백그라운드 실행
• -p 포트포워딩 포트 지정 (로컬포트 : 컨테이너 포트)
• -v 사용 볼륨 (저장소)설정
• --network 사용 네트워크 설정 (host, bridge)
• 맨뒤에 이미지 태그명 작성해 실행

docker run --name my-nest-test -d -p 5000:8080 --network host my-nest

 

 

📌 Github Action

Github Token 발행

• 개인 Settings에서 Token 발행 진행
• 단, workflow write, delete권한을 주어야한다.

Actions Secret 설정 (Organization)

• Github Repository → Settings 에서 사용할 환경 변수 등록 진행
• Github Action Workflow에서 사용할 환경변수 등록

도커이미지를 ghcr에 올리기

• 원하는 서버 이미지를 정의해서 ghcr에 올린다.

#ghcr Login & Password 입력하라는 표시가 나오는데, 토큰 입력
**docker login** ghcr.io -u <USERNAME>

# 이미지 빌드
**docker build** -t ghcr.io/<깃허브아이디>/<이미지명:버전> .

# 이미지 푸시
**docker push** ghcr.io/blockmonkey1992/test:latest

 

Github Action 적용 Workflow 작성

• 아래 폴더에 작성하면 깃허브에서 Action 수행을 자동적으로 찾아서 실행한다.
• jobs 에 각 단위는 병렬 실행을 하나, needs: build와 같이 표시해서 동기적 실행이 가능

# .github/workflows/cicd.yml
name: NEST-CICD

# Config : Event 
on:
  push:
    branches: ["main"]

# Env
env:
  DOCKER_IMAGE: ghcr.io/blockchain-lighthouse/lighthouse-server
  DOCKER_CONTAINER: nest-server

jobs:
  # Config Test Before Build
  test:
    runs-on: ubuntu-20.04
    steps:
    - name: Checkout Source Code
      uses: actions/checkout@v3

    - name: Nodejs 16
      uses: actions/setup-node@v3
      with:
        node-version: 16.19.0
        cache: 'npm'

    - name: Setting .env
      run: |
        echo "SERVER_PORT=${{ secrets.SERVER_PORT }}" >> .env
        echo "DATABASE_DB=${{ secrets.DATABASE_DB }}" >> .env
        echo "DATABASE_HOST=${{ secrets.DATABASE_HOST }}" >> .env
        echo "DATABASE_PASSWORD=${{ secrets.DATABASE_PASSWORD }}" >> .env
        echo "DATABASE_PORT=${{ secrets.DATABASE_PORT }}" >> .env
        echo "DATABASE_USER=${{ secrets.DATABASE_USER }}" >> .env
        echo "REDIS_IP=${{ secrets.REDIS_IP }}" >> .env
        echo "REDIS_PASSWORD=${{ secrets.REDIS_PASSWORD }}" >> .env
        echo "REDIS_PORT=${{ secrets.REDIS_PORT }}" >> .env
        echo "SWAGGER_ID=${{ secrets.SWAGGER_ID }}" >> .env
        echo "SWAGGER_PW=${{ secrets.SWAGGER_PW }}" >> .env
        cat .env

    - run: npm install
    - run: npm run test

  # Config : Build & Push to GHCR Docker Image 
  build:
    needs: test
    runs-on: ubuntu-20.04
    steps:
    - name: Checkout Source Code
      uses: actions/checkout@v3

    - name: Set up Docker build
      id: buildx
      uses: docker/setup-buildx-action@v2
   
    - name: Login to ghcr
      uses: docker/login-action@v2
      with:
        registry: ghcr.io
        username: ${{ github.actor }}
        password: ${{ secrets.BLOCKMONKEY_TOKEN }}

    - name: Build and Push
      id: docker_build
      uses: docker/build-push-action@v3
      with:
        push: true
        tags: ${{ env.DOCKER_IMAGE }}:latest

  # Config : Deploy To Cloud Server
  deploy:
    needs: build
    runs-on: [self-hosted, blk]
    steps:
    - name: Login to ghcr
      uses: docker/login-action@v2
      with:
        registry: ghcr.io
        username: ${{ github.actor }}
        password: ${{ secrets.BLOCKMONKEY_TOKEN }}
    # Docker Start! (Del Current Container & Image)
    - name: Running Docker
      run: |
        echo "SERVER_PORT=${{ secrets.SERVER_PORT }}" >> .env
        echo "DATABASE_DB=${{ secrets.DATABASE_DB }}" >> .env
        echo "DATABASE_HOST=${{ secrets.DATABASE_HOST }}" >> .env
        echo "DATABASE_PASSWORD=${{ secrets.DATABASE_PASSWORD }}" >> .env
        echo "DATABASE_PORT=${{ secrets.DATABASE_PORT }}" >> .env
        echo "DATABASE_USER=${{ secrets.DATABASE_USER }}" >> .env
        echo "REDIS_IP=${{ secrets.REDIS_IP }}" >> .env
        echo "REDIS_PASSWORD=${{ secrets.REDIS_PASSWORD }}" >> .env
        echo "REDIS_PORT=${{ secrets.REDIS_PORT }}" >> .env
        echo "SWAGGER_ID=${{ secrets.SWAGGER_ID }}" >> .env
        echo "SWAGGER_PW=${{ secrets.SWAGGER_PW }}" >> .env
        cat .env
        docker stop ${{ env.DOCKER_CONTAINER }} && docker rm ${{ env.DOCKER_CONTAINER }} && docker rmi ${{ env.DOCKER_IMAGE }}:latest
        docker run --env-file ./.env -d -p 80:8080 --name ${{ env.DOCKER_CONTAINER }} --restart always ${{ env.DOCKER_IMAGE }}:latest

 

호스팅 서버 설정 진행

• Docker 설치

$ sudo apt update

$ sudo apt-get install -y ca-certificates \\ 
    curl \\
    software-properties-common \\
    apt-transport-https \\
    gnupg \\
    lsb-release

$ sudo mkdir -p /etc/apt/keyrings

$ curl -fsSL <https://download.docker.com/linux/ubuntu/gpg> | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg

$ echo \\
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] <https://download.docker.com/linux/ubuntu> \\
  $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

$ sudo apt install docker-ce docker-ce-cli containerd.io
$ docker version

• Github Action Runner 셋팅
  • Repository에서 → Settings → Actions → Runner에서 러너 추가하기 하면 된다.
  • 호스팅 서버 터미널에 접속하여 아래 내용을 진행하면 된다.
  • Network 보안 그룹 설정 후 접속해보면 정상적으로 나오는 것을 확인할 수 있다.
   

// Must not run with sudo 에러 만나면 ? - 아래 명령어 치고, 다시 해보시오. 
export RUNNER_ALLOW_RUNASROOT="1"

Action Runner 실행 명령어

성공화면

 

 

📌 Nginx 설정 및 적용

• Nginx 란?
  • Nginx는 경량 웹 서버.클라이언트로부터 요청을 받았을 때 요청에 맞는 정적 파일을 응답해주는 HTTP Web Server로 활용되기도 하고, Reverse Proxy Server를 활용하여 WAS 서버의 부하를 줄일 수 있는 로드 밸런서로 활용되기도 함.
• Nginx Docker File 작성

FROM nginx:latest

#RUN rm /etc/nginx/conf.d/default.conf
RUN rm /etc/nginx/conf.d/default.conf

#COPY ../../ngingx.conf to /etc/nginx/conf.d
COPY ../../nginx.conf /etc/nginx/conf.d

#EXPOSE port 80
EXPOSE 80

#nginx start
CMD ["nginx", "-g", "daemon off;"]

• nginx.conf 작성

upstream nest { # nest 라는 upstream 서버를 정의
		#일반적인 프록시 구조에서 요청을 받는 쪽을 upstream, 응답을 받는 쪽을 downstream이라고 한다.
		server 172.17.0.1:8080; # 8080에 연결 (도커한정)
}

server {
    listen 8080; # 8080번 포트를 열어준다. 들어오면 -> 아래 ProxyPass로 전달
    server_name  server.bclh.link; # 도메인
    location / { # "/" 도메인에 도달하면 아래의 proxy를 수행한다.
			return 301 https://$host$request_uri;
    }
}
#172.17.0.1 < 이 주소는 docker0 interface 의 자동할당된 ip 주소
#컨테이너가 외부로 통신할 때는 무조건 docker0interface를 지나야 한다.
#컨테이너가 여러개일 경우 모든 container는 172.17.XX.YY 대역에서 IP를 하나씩 할당받게 된다.

• Github Workflow 파일 업데이트
  • Nginx 설정 내용은 자주 변동사항이 발생하지 않으므로 test나 build 단계에서 필요없는 부분이므로 deploy 부분에만 실행할 때 추가해준다.

env:
  DOCKER_NEST_IMAGE: ghcr.io/blockchain-lighthouse/lighthouse-server
  DOCKER_NEST_CONTAINER: nest-server
  DOCKER_NGINX_IMAGE: ghcr.io/blockchain-lighthouse/lighthouse-nginx
  DOCKER_NGINX_CONTAINER: nginx-server

# Config : Deploy To My Cloud Server
deploy:
  needs: build
  runs-on: [self-hosted, blk]
  steps:
  - name: Login to ghcr
    uses: docker/login-action@v2
    with:
      registry: ghcr.io
      username: ${{ github.actor }}
      password: ${{ secrets.BLOCKMONKEY_TOKEN }}
  # Docker Start! (Del Current Container & Image)
  - name: Running Nginx
    run: |
			docker stop ${{ env.DOCKER_NGINX_CONTAINER }} && docker rm ${{ env.DOCKER_NGINX_CONTAINER }} && docker rmi ${{ env.DOCKER_NGINX_IMAGE }}:latest
      docker run -d -p 80:80 --name ${{ env.DOCKER_NGINX_CONTAINER }} --restart always ${{ env.DOCKER_NGINX_IMAGE }}:latest

📌 Https 적용하기

• 우선 현재 환경은 Nginx를 컨테이너로 켰고, 80으로 들어오는 신호를 Nginx가 받아서 → BE 컨테이너 포트로 포워딩 해줘서 작동하게 된다.
• Https을 적용하면 443으로 입력이 들어올 것이다. (참고 : Http & Https & SSL에 대하여 알아보자)
• Nginx를 컨테이너로 켜다보니 여기에 인증서를 적용하는 방법을 알아보도록 한다.
• Lets Encrypt와 Lets Encrypt에서 권장하는 Certbot을 이용해 진행한다.

호스트 서버에 진입 → Certbot 설치 → 인증서 발급

# Certbot Install (단, 80번 포트가 동작중이면 실행되지 않으니, Nginx Container를 잠깐 꺼줬다)
sudo snap install --classic certbot

# 인증서 발급
certbot certonly --standalone

# 성공 메세지는 다음과 같이 출력된다.
Successfully received certificate.
Certificate is saved at: /etc/letsencrypt/live/server.bclh.link/fullchain.pem
Key is saved at:         /etc/letsencrypt/live/server.bclh.link/privkey.pem
This certificate expires on 2023-06-20.
These files will be updated when the certificate renews.
Certbot has set up a scheduled task to automatically renew this certificate in the background.

# 발급 된 인증서 확인
cd etc/letsencrypt/live/server.bclh.link

## 다음과 같은 파일들을 볼 수 있다. 자세히 보면 여기 원본파일이 있고, archive에 사본 파일이 있는 것을 확인할 수 있음.
lrwxrwxrwx 1 root root   40 Mar 22 08:04 cert.pem -> ../../archive/server.bclh.link/cert1.pem
lrwxrwxrwx 1 root root   41 Mar 22 08:04 chain.pem -> ../../archive/server.bclh.link/chain1.pem
lrwxrwxrwx 1 root root   45 Mar 22 08:04 fullchain.pem -> ../../archive/server.bclh.link/fullchain1.pem
lrwxrwxrwx 1 root root   43 Mar 22 08:04 privkey.pem -> ../../archive/server.bclh.link/privkey1.pem

발급된 인증서 파일들을 Nginx Docker Container에 연결하자

• Docker Volumn과 연결해주기 위해 위에서 생성한 인증서 파일을 /cert 폴더를 만들어 담아준다.

cd /
mkdir cert

sudo cp /etc/letsencrypt/archive/backend.bclh.link/fullchain1.pem /cert/fullchain1.pem 
sudo cp /etc/letsencrypt/archive/backend.bclh.link/privkey1.pem /cert/privkey1.pem

• Nginx Config 파일을 수정해준다.
  • 443을 디폴트로 리스닝하도록 수정했으며, Redirect 설정, ssl certificate & key의 경로를 잡아준다.
  • 수정한 파일은 다시 build → Push To Ghcr 고고 !

upstream nest {
    server 172.17.0.1:8080;
}

**server {
    listen 80;
    server_name backend.bclh.link; # 도메인으로 변경

    # Redirect
    location / {
        return 301 https://$host$request_uri;
    }
}**

server {
    listen 443 ssl;
    server_name backend.bclh.link;

    location / {
        proxy_pass <http://nest>;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header Host $host;
    }

    **ssl_certificate /etc/nginx/cert/fullchain1.pem;
    ssl_certificate_key /etc/nginx/cert/privkey1.pem;**
}

• 443 포트 설정을 보안그룹에 추가해준다.
• Github Action cicd.yml 파일에 Port 443 추가 & Volumn 설정

- name: Run Nginx
      run: |
        docker stop ${{ env.DOCKER_NGINX_CONTAINER }} && docker rm ${{ env.DOCKER_NGINX_CONTAINER }} && docker rmi ${{ env.DOCKER_NGINX_IMAGE }}:latest
        docker run -d -p 80:80 -p 443:443 **-v /cert:/etc/nginx/cert** --name ${{ env.DOCKER_NGINX_CONTAINER }} --restart always ${{ env.DOCKER_NGINX_IMAGE }}:latest

 

📌 Reference

• https://blog.naver.com/PostView.nhn?blogId=adamdoha&logNo=222292023136
• https://hsoo3289.tistory.com/25
• https://velog.io/@1-blue/docker-volume-사용법
• https://node-js.tistory.com/32