[NCloud] FleuntBit 와 NCP Object Storage 연동

환경 : NKS

 

Fluentbit이 AWS의 S3로 연동할 수 있듯이 NCloud의 S3도 같은 방식으로 가능하여서 nks 에 올린 서비스 로그 수집을 위해 최종적으로 fluentbit을 도입하게 되었습니다.

 

최종적으로 시스템 로그(노드의 로그)는 데몬셋으로, 서비스 로그는 사이드카로 배포하여 각 로그들을 수집할 수 있었습니다. 

 

 

각 노드에 fluentbit pod 생성됨

 

데몬셋으로 fluentbit 를 배포하면 존재하는 모든 노드(taint, toleration 설정에 맞춰서)에 fluentbit 파드가 생성됩니다.

hostpath 로 노드에 직접 마운트되어 노드에 쌓이는 로그들을 object storage로 보냅니다.

 

 

configmap

 

OUTPUT 형식으로 s3 를 사용하려면 아래와 같이 credentials 값들이 필요합니다. 

AWS 의 s3 를 사용하는 것과 동일한 방법으로 설정하면 됩니다. 

보안을 위해 최소한의 권한만 부여한 sub account 의 access key 와 secret access key 를 사용해줍니다.

 

aws-config-map configmap

 

 

 

 

NCloud S3 로 OUTPUT 설정

 

/var/log/containers/{폴더 이름} 에 새로운 파일이 존재하면 5분에 한 번씩 svclog-backup-prod s3로 업로드하는 설정입니다.

태그로 INPUT OUPUT 을 매치할 수 있습니다.

 

 

object storage 에 로그 파일 전송되는 모습

 

 

 

 

 

참고

FluentBit 만으로 간단하게 Kubernetes에 올라간 서비스 logging 해보기