COLA: 클라우드 마이크로서비스를 위한 집합적 오토스케일링

1. 서론

클라우드 애플리케이션에서 모놀리식 아키텍처에서 느슨하게 결합된 마이크로서비스로의 전환은 리소스 관리에 상당한 복잡성을 초래합니다. 개발자는 각 마이크로서비스에 할당할 컴퓨팅 리소스(예: 컨테이너 복제본, VM)의 양을 결정해야 합니다. 이 결정은 개발자의 운영 비용과 애플리케이션 사용자가 경험하는 종단 간 지연 시간 모두에 결정적인 영향을 미칩니다. Horizontal Pod Autoscaling(HPA)과 같은 기존 오토스케일링 방법은 CPU 사용률과 같은 로컬 메트릭을 기반으로 각 마이크로서비스를 독립적으로 스케일링합니다. 그러나 이 접근법은 애플리케이션 워크플로 내 마이크로서비스의 상호 의존적 특성을 무시하기 때문에 최적이 아닙니다. COLA(Collective Autoscaler)는 전역적 목표, 즉 애플리케이션의 종단 간 지연 시간이 지정된 목표치 이하로 유지되도록 보장하면서 비용을 최소화하는 방식으로 모든 마이크로서비스에 걸쳐 리소스를 집합적으로 할당하는 솔루션으로 제안됩니다.

2. 독립적 오토스케일링의 문제점

현재 산업 표준 오토스케일링은 분산된, 마이크로서비스별 방식으로 작동합니다. 각 서비스는 자체 리소스 사용률(CPU, 메모리)이 임계값을 초과할 때 스케일링 작업(VM 또는 Pod 추가/제거)을 트리거합니다. 근본적인 결함은 이 로컬 관점이 애플리케이션의 전역적 성능을 고려하지 못한다는 점입니다. 체인 내 다른 서비스가 병목 현상으로 남아 있다면, 하나의 마이크로서비스 지연 시간을 개선해도 전체 사용자 인지 지연 시간에는 미미한 영향만 있을 수 있습니다. 이는 비효율적인 리소스 할당(일부 서비스는 과도하게 프로비저닝하고 중요한 병목 현상은 프로비저닝 부족)으로 이어져, 원하는 지연 시간 서비스 수준 목표(SLO)를 달성하지 못한 채 더 높은 비용을 초래합니다.

3. COLA: 집합적 오토스케일링 접근법

COLA는 오토스케일링 문제를 제약 최적화 문제로 재정의합니다. 여러 개의 독립적인 오토스케일러를 애플리케이션의 마이크로서비스 토폴로지와 성능에 대한 전역적 가시성을 가진 단일 중앙 집중식 컨트롤러로 대체합니다.

4. 기술적 세부사항 및 수학적 공식화

핵심 최적화 문제는 추상적으로 다음과 같이 표현될 수 있습니다:

$$\min_{\{n_i\}} \sum_{i=1}^{M} C_i(n_i)$$ $$\text{subject to: } L_{e2e}(\{n_i\}, \lambda) \leq L_{target}$$ $$n_i \in \mathbb{Z}^+$$ 여기서:

• $M$: 마이크로서비스의 수.
• $n_i$: 마이크로서비스 $i$에 대한 리소스 단위(예: VM)의 수.
• $C_i(n_i)$: $n_i$ 단위를 가진 마이크로서비스 $i$의 비용 함수.
• $L_{e2e}$: 종단 간 지연 시간 함수, 모든 $n_i$와 워크로드 강도 $\lambda$에 의존.
• $L_{target}$: 원하는 지연 시간 SLO.

5. 실험 결과 및 평가

COLA는 Google Kubernetes Engine(GKE)에서 여러 기준 오토스케일러(사용률 기반 및 ML 기반)에 대해 엄격하게 평가되었습니다.

6. 분석 프레임워크 및 예시 사례

분석가 관점: 4단계 해체

핵심 통찰: 이 논문의 근본적인 돌파구는 멋진 새로운 알고리즘이 아니라, 전체 마이크로서비스 애플리케이션을 독립적인 부품들의 모음이 아닌 최적화해야 할 단일 시스템으로 취급하는 관점의 결정적 전환입니다. 이는 CycleGAN(Zhu et al., 2017)과 같은 모델이 가져온 컴퓨터 비전의 전환과 유사합니다. CycleGAN은 전체 변환 도메인의 주기 일관성을 고려함으로써 짝을 이루는 이미지 변환을 넘어섰습니다. COLA는 리소스 관리에 유사한 "전역 일관성" 원칙을 적용합니다.

논리적 흐름: 논증은 설득력 있게 단순합니다: 1) 로컬 최적(서비스별 스케일링)은 전역적 비효율성으로 합산됩니다. 2) 따라서, 전역적 제약 조건(종단 간 지연 시간)을 가진 전역적 목표(비용)를 사용하십시오. 3) 이를 온라인에서 해결하는 것은 너무 느리므로, 탐색을 통해 오프라인에서 해결하고 정책을 배포하십시오. 우아함은 Bandit 문제를 사용하여 병목 현상의 최적 할당 탐색을 효율적으로 만드는 데 있으며, 이는 시스템 최적화를 위한 강화 학습에 대한 광범위한 연구(예: UC Berkeley의 RISELab 연구)로 뒷받침되는 기법입니다.

강점과 결점: 강점: 실증적 결과는 뛰어납니다 — 19.3%의 비용 절감은 이사회 수준의 수치입니다. 오프라인 접근법은 실용적이며 런타임 불안정성을 피합니다. 프레임워크는 플랫폼에 구애받지 않습니다. 결점: 아킬레스건은 대표적인 오프라인 워크로드에 대한 의존성입니다. 빠르게 진화하는 애플리케이션이나 "블랙 스완" 트래픽 사건 하에서, 사전 계산된 정책은 구식이 되거나 치명적일 수 있습니다. 논문의 기본 오토스케일러로의 폴백은 이 견고성 문제에 대한 임시방편일 뿐 근본적인 해결책이 아닙니다. 더욱이, 탐색 복잡도는 마이크로서비스 수에 따라 확장성이 좋지 않을 가능성이 높아, 극도로 크고 복잡한 애플리케이션에서의 사용을 제한할 수 있습니다.

실행 가능한 통찰: 클라우드 설계자들에게 메시지는 분명합니다: CPU 임계값을 고립적으로 설정하는 것을 멈추십시오. 전역적 성능 가시성과 중앙 집중식 의사 결정 엔진을 구축하거나 채택하는 데 투자하십시오. 하이브리드 접근법으로 시작하십시오: COLA의 철학을 사용하여 중요한 서비스 체인을 정의하고 거기에 집합적 스케일링을 적용하는 반면, 덜 중요하고 독립적인 서비스는 기존 HPA에 맡기십시오. 보여준 바와 같이 투자 수익률(ROI)은 빠를 수 있습니다. 클라우드 공급자들은 주목해야 합니다; GKE Autopilot과 같은 도구들은 진정으로 "관리형" 인프라의 약속을 지키기 위해 이러한 지능형 오케스트레이션 계층이 필요합니다.

7. 적용 전망 및 향후 방향

COLA의 원칙은 기본적인 VM 스케일링을 넘어 광범위한 적용 가능성을 가집니다:

• 다중 리소스 및 이기종 스케일링: 향후 버전은 VM 크기(메모리 최적화 vs. 컴퓨팅 최적화), GPU 할당, 심지어 비용과 복원력을 위한 가용 영역 또는 클라우드 공급자 간 배치를 집합적으로 결정할 수 있습니다.
• 서비스 메시와의 통합: COLA를 Istio와 같은 서비스 메시와 결합하면 더 풍부한 원격 측정(요청 수준 추적, 종속성 그래프)을 제공하고 최적화의 일부로 트래픽 라우팅 및 서킷 브레이커에 대한 직접 제어를 가능하게 할 수 있습니다.
• 온라인 적응 및 메타러닝: 주요 연구 전선은 오프라인 제한을 극복하는 것입니다. 메타러닝의 기술은 COLA가 실시간 피드백을 기반으로 정책을 온라인에서 빠르게 적응시키거나, 저트래픽 기간 동안 새로운 구성을 안전하게 탐색할 수 있게 할 수 있습니다.
• 그린 컴퓨팅 목표: 최적화 목표는 Cloud Carbon Footprint 프로젝트와 같은 소스의 데이터를 통합함으로써 탄소 발자국이나 에너지 소비를 최소화하도록 확장되어 지속 가능한 컴퓨팅 이니셔티브와 조화를 이룰 수 있습니다.
• 정책 마켓플레이스: 일반적인 애플리케이션 패턴(예: 전자상거래, 미디어 스트리밍)에 대해 사전 최적화된 COLA 정책을 공유하거나 판매하여 개별적인 훈련 실행 필요성을 줄일 수 있습니다.

8. 참고문헌

1. Sachidananda, V., & Sivaraman, A. (2022). COLA: Collective Autoscaling for Cloud Microservices. arXiv preprint arXiv:2112.14845v3.
2. Zhu, J., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Proceedings of the IEEE International Conference on Computer Vision (ICCV).
3. Burns, B., Grant, B., Oppenheimer, D., Brewer, E., & Wilkes, J. (2016). Borg, Omega, and Kubernetes. Queue, 14(1), 70–93.
4. Hoffman, M., Shahriari, B., & Aslanides, J. (2020). Addressing Function Approximation Error in Actor-Critic Methods. Proceedings of the 37th International Conference on Machine Learning (ICML). (온라인 적응과 관련된 고급 RL 예시).
5. Cloud Carbon Footprint. (n.d.). An open source tool to measure and visualize the carbon footprint of cloud usage. Retrieved from https://www.cloudcarbonfootprint.org/.
6. Verma, A., Pedrosa, L., Korupolu, M., Oppenheimer, D., Tune, E., & Wilkes, J. (2015). Large-scale cluster management at Google with Borg. Proceedings of the European Conference on Computer Systems (EuroSys).