Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 

AKS에서 hpa에 따른 autoscale 기능이 동작하지 않는다면?

결과 먼저 말하자면, 원인을 밝혀내진 못했으니 그냥 참고삼아 보시면 되겠습니다. ^^




Azure에 생성한 AKS 서비스에서 autoscale 설정을 했는데,

$ kubectl autoscale deployment --max=10 net-razor31-sample --min=2

아무리 부하를 줘도 pod는 그대로 2개에 머물고 있습니다.

$ kubectl get pods
NAME                                  READY   STATUS    RESTARTS   AGE
net-razor31-sample-6b747bb886-ncvvw   1/1     Running   0          4m51s
net-razor31-sample-6b747bb886-sxkbj   1/1     Running   0          5m6s

hpa 설정을 보면 이상 없는 듯한데요,

$ kubectl get hpa
NAME                 REFERENCE                       TARGETS         MINPODS   MAXPODS   REPLICAS   AGE
net-razor31-sample   Deployment/net-razor31-sample   <unknown>/80%   2         10        2          6m50s

실제로는 이상이 있는 것입니다. ^^ 문제가 되는 부분은 "TARGETS"의 조건인데 여기에 "<unknown>"이 나오는 것은 현재 해당 시스템의 성능 metrics 데이터를 정상적으로 가져오지 못한다는 것을 의미합니다. 따라서 부하 측정을 할 수 없고 당연히 autoscale을 위한 기준을 잡지 못하는 것입니다.




기본적으로 (근래 버전의 k8s를 선택한 경우) AKS는 metrics-server 구성 요소를 이미 준비하고 있습니다.

C:\temp> kubectl get pod --all-namespaces
NAMESPACE     NAME                                  READY   STATUS    RESTARTS   AGE
default       net-razor31-sample-6b747bb886-mldk2   0/1     Pending   0          107s
kube-system   azure-ip-masq-agent-tmqtq             1/1     Running   0          6h
kube-system   coredns-845757d86-7bzwn               1/1     Running   0          17h
kube-system   coredns-845757d86-rljs8               1/1     Running   0          17h
kube-system   coredns-autoscaler-5f85dc856b-m9s57   1/1     Running   0          17h
kube-system   csi-azuredisk-node-ltfl4              3/3     Running   0          6h
kube-system   csi-azurefile-node-8xggf              3/3     Running   0          6h
kube-system   kube-proxy-p4zj6                      1/1     Running   0          17h
kube-system   metrics-server-6bc97b47f7-6tqms       1/1     Running   0          17h
kube-system   tunnelfront-78bc5d7569-fvlth          1/1     Running   0          16h

따라서 성능 메트릭 데이터를 수집하지 못할 이유가 없는데요, 이에 대한 문제를 describe hpa로 살펴볼 수 있습니다.

c:\temp> kubectl describe hpa net-razor31-sample
Name:                                                  net-razor31-sample
Namespace:                                             default
Labels:                                                <none>
Annotations:                                           <none>
CreationTimestamp:                                     Tue, 25 Jan 2022 15:44:52 +0900
Reference:                                             Deployment/net-razor31-sample
Metrics:                                               ( current / target )
  resource cpu on pods  (as a percentage of request):  <unknown> / 80%
Min replicas:                                          2
Max replicas:                                          10
Deployment pods:                                       2 current / 2 desired
Conditions:
  Type           Status  Reason                   Message
  ----           ------  ------                   -------
  AbleToScale    True    SucceededGetScale        the HPA controller was able to get the target's current scale
  ScalingActive  False   FailedGetResourceMetric  the HPA was unable to compute the replica count: failed to get cpu utilization: missing request for cpu
Events:
  Type     Reason                        Age   From                       Message
  ----     ------                        ----  ----                       -------
  Normal   SuccessfulRescale             33s   horizontal-pod-autoscaler  New size: 2; reason: Current number of replicas below Spec.MinReplicas
  Warning  FailedGetResourceMetric       18s   horizontal-pod-autoscaler  failed to get cpu utilization: unable to get metrics for resource cpu: no metrics returned from resource metrics API
  Warning  FailedComputeMetricsReplicas  18s   horizontal-pod-autoscaler  invalid metrics (1 invalid out of 1), first error is: failed to get cpu utilization: unable to get metrics for resource cpu: no metrics returned from resource metrics API
  Warning  FailedGetResourceMetric       3s    horizontal-pod-autoscaler  failed to get cpu utilization: missing request for cpu
  Warning  FailedComputeMetricsReplicas  3s    horizontal-pod-autoscaler  invalid metrics (1 invalid out of 1), first error is: failed to get cpu utilization: missing request for cpu

위의 결과에 보면, "failed to get cpu utilization: unable to get metrics for resource cpu: no metrics returned from resource metrics API"라는 메시지가 있는데요, 뭔가 해당 pod에서 CPU 자원을 구하는 코드가 동작하지 않는 듯합니다.

이상한 것은, top nodes나 top pods 옵션에서는 CPU 정보를 잘 가져온다는 점입니다.

c:\temp> kubectl top nodes
NAME                                CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
aks-agentpool-20726260-vmss000000   216m         11%    2073Mi          45%

c:\temp> kubectl top pods
NAME                                  CPU(cores)   MEMORY(bytes)
net-razor31-sample-574ffd4758-4zlxm   2m           52Mi
net-razor31-sample-574ffd4758-7szr8   1m           54Mi
sample-back-56bf7ff864-7hdzm          2m           14Mi
sample-front-65fd487fdf-jjhwh         1m           43Mi
sample-front-65fd487fdf-sjcbr         1m           43Mi

참... 이걸 뭐라고 설명해야 할지 모르겠군요. ^^;




웹 검색을 했지만, 딱히 이거라고 할 만한 오류 원인을 찾지 못했습니다. 그래서 어쩔 수 없이 AKS 클러스터를 새로 생성하는 것으로 해결을 했습니다.

단지, 이전 실습과 다르게 한 점이 있다면,

AKS - Azure Kubernetes Service 생성 및 SLO/SLA 변경 방법
; https://www.sysnet.pe.kr/2/0/12922

이번에는 클러스터 생성 시 ACR까지 함께 생성했다는 점입니다. 그 외에는 (쿠버네티스 버전을 포함한) 모든 옵션들이 이전 클러스터 생성과 다른 점이 없었습니다. 하지만 상식적으로 ACR이 성능 메트릭스를 가져오는 것에 영향을 미쳤을 것 같지는 않고, 테스트 플랫폼이라 이거저거 실습하느라 건드린 무엇인가가... 문제였을 듯합니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 1/26/2022]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 121  122  123  124  125  126  127  128  129  130  131  132  133  134  [135]  ...
NoWriterDateCnt.TitleFile(s)
1679정성태5/31/201420492.NET Framework: 438. .NET CLR2 보안 모델에서의 APTCA 역할파일 다운로드1
1678정성태5/31/201424165개발 환경 구성: 222. 라이브러리 개발자를 위한 보안 권한 테스트 - "Network Service" 계정 권한으로 실행
1677정성태5/30/201419741VS.NET IDE: 87. IIS Express - 웹 응용 프로그램의 .NET 버전에 맞는 CLR이 로드되지 않는 경우파일 다운로드1
1676정성태5/27/201427873Windows: 95. 윈도우 8에서 Hyper-V 유무에 따른 듀얼 부트 설정하는 방법 [1]
1675정성태5/27/201430009Windows: 94. 윈도우 8.1에서 윈도우 체험 지수(Windows Experience Index, WEI) 확인 방법
1674정성태5/24/201423617VS.NET IDE: 86. 하나의 T4 템플릿으로 여러 개의 소스코드 파일을 자동으로 생성하는 방법 [1]파일 다운로드1
1673정성태5/19/201423085.NET Framework: 437. WACOM 태블릿 환경에서 WinForm 실행시 System.ArgumentException 예외 발생
1672정성태5/15/201423649기타: 46. Microsoft의 응용 프로그램을 클라우드로 제공하는 서비스 - Azure RemoteApp 소개 [2]
1671정성태5/15/201424257.NET Framework: 436. XNA Content 리소스의 해제 후 다시 로드해서 사용하면 ObjectDisposedException 예외 발생 [2]
1670정성태5/15/201424538.NET Framework: 435. .NET GC - 하위 세대의 객체를 포함하는 상위 세대의 참조를 추적하기 위한 card-table
1669정성태5/15/201444618Windows: 93. 윈도우 시스템 디스크 용량 확보를 위한 $PatchCache$ 폴더 삭제 [2]
1668정성태5/10/201423867.NET Framework: 434. Microsoft.SqlServer.Types.SqlGeography 형변환 시 null 반환하는 문제
1667정성태5/5/201424621개발 환경 구성: 221. Azure 데이터베이스를 로컬 DB로 이전하는 방법 [2]
1666정성태5/2/201441313기타: 45. 윈도우 계정의 암호를 알아내는 mimikatz 도구 [5]
1665정성태5/1/201424827.NET Framework: 433. C# - 간단한 HyperLogLog 자료 구조 테스트파일 다운로드1
1664정성태4/28/201422196오류 유형: 227. Process Explorer의 프로세스 뷰가 트리 형식으로 보이지 않는 문제
1663정성태4/28/201418650오류 유형: 226. Visual Studio - We were unable to establish the connection because it is configured for user
1662정성태4/28/201423207개발 환경 구성: 220. supportedRuntime 설정을 위한 app.config Transformation [1]
1661정성태4/26/201420005.NET Framework: 432. WPF - System.Windows.Data Error: 47 : XmlDataProvider has inline XML that does not explicitly set its XmlNamespace (xmlns="").
1660정성태4/25/201427668VC++: 77. C++ 숫자형 값이 범위를 벗어나는 경우의 출력 사례 모음
1659정성태4/17/201427637.NET Framework: 431. .NET EXE 파일을 닷넷 프레임워크 버전에 상관없이 실행할 수 있을까요? [5]
1658정성태4/17/201419771.NET Framework: 430. C#에서 사용자 정의 예약어가 가능할까요? [1]
1657정성태4/10/201439849.NET Framework: 429. C# - 유니코드 한글 문자열을 ks_c_5601-1987로 변환하는 방법 [3]파일 다운로드1
1656정성태3/19/201423006오류 유형: 225. regsvcs 등록 시 0x80040153 오류
1655정성태3/19/201423149Windows: 92. Thumbs.db 파일이 삭제 안 되는 문제
1654정성태3/19/201425238개발 환경 구성: 219. SOS.dll 확장 모듈을 버전 별로 구하는 방법 [4]
... 121  122  123  124  125  126  127  128  129  130  131  132  133  134  [135]  ...