In English
Hello IBM Team,
I am operating watsonx on-prem in a production environment.
During August, we have experienced the same production incident five times. Although the symptoms are identical from the users' perspective, our current operational response has been simply increasing the CPU and memory allocated to the affected pods.
From a customer's perspective, this is not a sustainable solution.
Increasing pod resources after every incident only delays the problem. It does not address the underlying cause, and it does not prevent the same production outage from occurring again. If resource consumption continues to grow unexpectedly, we have no effective way to protect the platform from recurring failures.
What concerns us most is that we could not find a supported way to limit or isolate resource consumption at the Deployment Space level. Without such controls, administrators have no practical mechanism to prevent a single workload from consuming excessive resources and potentially impacting other workloads or the overall platform.
As a customer operating a production environment, I would like to ask the Product Team:
What is IBM's recommended operational best practice to prevent this type of recurring production outage?
Is there any IBM-supported workaround to proactively protect the platform?
Is Deployment Space-level resource isolation or quota management planned for a future release?
I am not simply requesting a new feature.
I am trying to understand how IBM expects customers to operate a stable production environment when the same outage has already occurred five times in a single month and there is currently no supported mechanism to prevent resource exhaustion at the Deployment Space level.
Any guidance from the Product Team would be greatly appreciated.
Thank you.
**Observed Behavior
When resource consumption increases due to a large number of scheduled jobs or deployed AI services within a Deployment Space, the deployed AI service APIs (including models and agents) become unavailable. In addition, the Deployment Space cannot be loaded, and further AI service deployments fail.
한국어
안녕하세요.
현재 watsonx on-prem을 Production 환경에서 운영하고 있는 고객입니다.
8월 한 달 동안 동일한 형태의 Production 장애가 5회 발생했습니다. 사용자 입장에서 경험하는 장애는 모두 동일하며, 발생 원인 또한 같은 계열의 문제입니다.
현재 장애가 발생할 때마다 대응 방법은 특정 Pod의 CPU/Memory Resource를 계속 증설하는 것입니다.
하지만 고객 입장에서 이러한 방식은 근본적인 해결책이라고 보기 어렵습니다.
리소스를 계속 늘리는 것은 일시적으로 장애를 회피할 뿐이며, 사용량이 다시 증가하면 동일한 문제가 반복될 수밖에 없습니다. 결국 장애의 근본 원인을 방어하지 못한 채, 장애가 발생할 때마다 Resource만 계속 증가시키는 운영을 하고 있는 상황입니다.
더 큰 문제는 Deployment Space 단위로 Resource 사용을 제한하거나 격리할 수 있는 방법을 찾지 못했다는 점입니다.
운영자는 특정 사용자의 Workload가 과도한 Resource를 사용하는 상황을 사전에 제어할 수 없고, 결국 전체 서비스 안정성까지 영향을 받을 수 있습니다.
그래서 IBM Product Team에 아래 사항을 문의드립니다.
IBM에서는 현재 이러한 상황을 어떤 방식으로 운영하도록 권장하고 있습니까?
Deployment Space 단위의 Resource 사용을 제어하거나 격리할 수 있는 공식적인 방법이 있습니까?
없다면 현재 Production 환경에서 동일한 장애의 재발을 방지하기 위한 IBM의 권장 운영 방안은 무엇입니까?
향후 Deployment Space 단위의 Resource Quota 또는 Isolation 기능이 계획되어 있습니까?
저는 단순히 새로운 기능을 요청하려는 것이 아닙니다.
현재 Production 환경에서 동일한 장애가 반복되고 있으며, 운영자가 이를 예방하거나 제어할 수 있는 수단이 없습니다.
고객 입장에서 IBM이 이러한 환경을 어떻게 안정적으로 운영하기를 기대하는지를 알고 싶습니다.
감사합니다.
*장애현상
Deployment Space에서 Scheduling Job이 과도하게 실행되거나 다수의 AI 서비스가 배치되는 경우, 배치된 AI 서비스(API, 모델, Agent 등)가 정상적으로 동작하지 않습니다. 또한 Deployment Space가 정상적으로 로딩되지 않으며, 새로운 AI 서비스를 추가로 배치할 수도 없는 상태가 발생합니다.