AI가 이제 비즈니스 운영의 필수 요소로 자리 잡으면서 섀도우 AI는 보안의 새로운 영역이 되었습니다. 이것이 위험 관리에 어떤 의미를 갖는지 알아보겠습니다.
2023년은 많은 조직에게 생성형 AI가 도약한 해였습니다. 이제 ChatGPT와 같은 대형 언어 모델(LLM)은 일상에서도 널리 알려진 이름이 되었습니다. 비즈니스에서도 이러한 모델이 이미 다양한 업무에 깊이 자리잡게 되었습니다. Deloitte 보고서에 따르면, 직원의 60% 이상이 일상 업무에서 생성형 AI 도구를 사용하고 있다고 합니다.
생성형 AI를 적극적으로 지지하는 사람들은 이를 모든 효율성과 생산성 문제의 만병통치약으로 여기는 경우가 많은 반면, 강경한 반대론자들은 이를 프라이버시와 보안의 심각한 위협으로 간주하며, 대규모 일자리 상실로 이어지는 주요 경제적, 사회적 부담으로 보고 있습니다. 일론 머스크는 이 산업에 막대한 투자하고 있음에도 불구하고, 최근 AI가 모든 일자리를 대체하여 일이 "선택 사항"이 되는 미래를 예견했습니다.
현실적으로 현재 생성형 AI는 상반된 관점 사이 그 어딘 가에 있다고 할 수 있습니다. 생성형 AI 혁명을 회피하려는 기업은 경쟁력을 잃을 위험이 있으며, 반대로 보안 및 프라이버시 문제를 간과하고 무분별하게 이를 도입하는 기업은 EU의 AI 법안과 같은 규제를 위반할 가능성이 큽니다.
어찌되었든 생성형 AI는 이미 우리의 견해와 관계 없이 계속 사용 될 것 이고, 이는 직장에서 승인되지 않거나 적절하게 관리되지 않은 AI 사용의 위험을 동반합니다. 이러한 상황에서 보안의 새로운 주요 쟁점으로 떠오른 것이 바로 섀도우 AI입니다.
With AI now an integral part of business operations, shadow AI has become the next frontier in information security. Here’s what that means for managing risk.
For many organizations, 2023 was the breakout year for generative AI. Now, large language models (LLMs) like ChatGPT have become household names. In the business world, they’re already deeply ingrained in numerous workflows, whether you know about it or not. According to a report by Deloitte, over 60% of employees now use generative AI tools in their day-to-day routines.
The most vocal supporters of generative AI often see it as a panacea for all efficiency and productivity-related woes. On the opposite extreme, hardline detractors see it as a privacy and security nightmare, not to mention a major economic and social burden in light of the job losses it’s widely expected to result in. Elon Musk, despite investing heavily in the industry himself, recently described a future where AI would replace all jobs, leading to a future where work is “optional.”
The truth, for now at least, lies somewhere between these opposing viewpoints. On one hand, any business trying to avoid the generative AI revolution risks becoming irrelevant. On the other, those that aggressively pursue its implementation with little regard for the security and privacy issues it presents risk leaving themselves open to falling foul of legislation like the EU’s AI Act.
In any case, generative AI is here to stay, regardless of our views on it. With that realization comes the risk of the unsanctioned or inadequately governed use of AI in the workplace. Enter the next frontier of information security: Shadow AI.
섀도우 AI: 새로운 위협의 등장
Shadow AI: The new threat on the block
보안 리더들은 IT 부서의 승인이나 동의 없이 사용되는 IT 리소스를 의미하는 섀도우 IT의 개념에 이미 익숙합니다. 섀도우 IT는 기업이 클라우드로 마이그레이션 할 때 처음 주요 위협 요소로 부각되었으며, 원격 및 하이브리드 업무 모델로 전환하는 과정에서 더욱 두드러졌습니다. 다행히도 현재 대부분의 IT 부서는 이 문제를 해결했지만, 이제는 섀도우 AI라는 새로운 위협에 대해 생각해 봐야 할 때입니다.
섀도우 AI는 섀도우 IT의 동일한 핵심 개념을 차용한 것으로, 특히 기업에 생성형 AI 도구를 채택하려는 열성적인 움직임에 의해 생겨났습니다. 낮은 업무 강도에서는 직원들이 ChatGPT와 같은 인기 있는 LLM을 사용하여 회사 이메일 작성부터 고객 지원 문의 처리까지 다양한 업무에 활용하기 시작했습니다. 여기서 IT 부서를 거치지 않고 승인되지 않은 도구나 사용 사례를 사용할 때 섀도우 AI가 발생합니다.
섀도우 AI는 더 높은 기술 수준에서도 문제가 될 수 있습니다. 많은 기업이 자체 LLM 및 기타 생성형 AI 모델을 개발하고 있지만, 이러한 모델들이 IT 부서의 승인을 받았다고 해서 개발, 구현 및 유지 관리에 필요한 모든 도구, 인력 및 프로세스가 승인된 것은 아닙니다.
예를 들어, 모델 학습 과정이 적절히 관리되지 않으면 데이터 포이즈닝의 위험이 있을 수 있습니다. 특히 오픈 소스 모델을 기반으로 구축하는 경우 이러한 위험이 더욱 커질 수 있습니다. 또한 프로젝트 수명 주기의 어느 단계에서든 섀도우 AI가 발생하면 전체 프로젝트가 손상될 위험이 있습니다.
Security leaders are already familiar with the better-known concept of shadow IT, which refers to the use of any IT resource outside of the purview or consent of the IT department. Shadow IT first became a major risk factor when companies migrated to the cloud, even more so during the shift to remote and hybrid work models. Fortunately, by now, most IT departments have managed to get the problem under control, but now there’s a new threat to think about —shadow AI.
Shadow AI borrows from the same core concept of shadow IT, and it’s driven by the frenzied rush to adopt AI — especially generative AI — tools in the workplace. At the lower level, workers are starting to use popular LLMs like ChatGPT to assist with everything from writing corporate emails to addressing customer support queries. Shadow AI happens when they use unsanctioned tools or use cases without looping in the IT department.
Shadow AI can also be a problem at a much higher and more technical level. Many businesses are now developing their own LLMs and other generative AI models. However, although these may be fully sanctioned by the IT department, that’s not necessarily the case for all of the tools, people and processes that support the development, implementation and maintenance of such projects.
For example, if the model training process isn’t adequately governed, it could be open to data poisoning, a risk that’s arguably even greater if you’re building on top of open-source models. If shadow AI factors in at any part of the project lifecycle, there’s a serious risk of compromising the entire project.
AI 거버넌스에 대한 통제 필요성
It’s time to get a handle on AI governance
많은 기업들이 이미 생성형 AI를 사용중이거나 향후 몇 년 내에 도입할 계획이지만, 최근 한 보고서에 의하면 25개 기업 중 단 한 곳 만이 조직 전체에 AI를 완전히 통합한 것으로 나타났습니다. 이를 통해 분명한 점은 도입률은 급증한 반면 거버넌스는 크게 뒤쳐져 있다는 것입니다. 거버넌스와 전략적인 연계성이 없다면 적절한 가이드라인과 가시성이 부족하여 섀도우 AI가 급격히 증가하게 됩니다.
혁신적인 신기술은 종종 주먹구구식 대응으로 이어집니다. 특히 자금이 부족한 조직에서 생성형 AI를 비용 절감의 수단으로 보는 경우가 많습니다. 그러나 말할 필요도 없이 이로 인한 섀도우 AI의 잠재적 비용은 훨씬 더 큽니다. 몇 가지 예를 들면, 잘못된 정보 생성, AI가 생성한 버그가 포함된 코드 개발, 또는 "비공개" 채팅에서 학습된 모델을 통해 민감한 정보가 유출되는 경우 등이 있습니다.
이미 섀도우 AI로 인해 발생한 사례들은 많이 봐왔고, 앞으로도 더 많은 사고들을 보게 될 것 입니다. 한 예로, 한 로펌이 항공 사고 청구 소송에서 ChatGPT가 생성한 허구의 법적 연구를 제출하여 5,000달러의 벌금을 부과 받은 사례가 있습니다. 작년에는 삼성에서 직원들이 생성형 AI를 통해 민감한 코드를 유출한 후 유명 LLM 사용을 금지하기도 했습니다. 대부분의 공개 모델은 향후 업데이트를 위해 기록된 채팅 내용을 학습 데이터로 사용한다는 점을 유념해야 합니다. 이는 나중에 사용자 프롬프트에 응답할 때 이전에 입력된 민감한 정보가 다시 나타날 가능성이 있음을 의미합니다.
직원들이 IT/비IT 여부와 관계없이 LLM에 더 많은 정보를 입력하면서, 생성형 AI는 가장 큰 데이터 유출 경로 중 하나가 되었습니다. 이는 주요 내부 보안 및 컴플라이언스 위협이 되며, 반드시 외부 위협자와 관련된 것은 아닙니다. 직원이 제3자 AI 도구에 민감한 연구 개발 리소스를 복사/붙여 넣거나 개인 식별 정보를 업로드하여 GDPR과 같은 프라이버시 법을 위반하는 경우 등을 예로 들을 수 있습니다.
Almost every business already uses generative AI or plans to do so in the next few years but, according to one recent report, just one in 25 companies have fully integrated AI throughout their organizations. Clearly, while adoption rates have soared, governance has lagged a long way behind. Without that governance and strategic alignment, there’s a lack of guidance and visibility, leading to a meteoric rise of shadow AI.
All too often, disruptive new technologies lead to knee-jerk responses. That’s especially the case with generative AI in cash-strapped organizations, which often view it primarily as a way to cut costs — and lay off workers. Needless to say, however, the potential costs of shadow AI are orders of magnitude greater. To name a few, these include generating false information, developing code with AI-generated bugs, or exposing sensitive information via models trained on “private” chats, as is the case with ChatGPT by default.
We’ve already seen some major blunders at the hands of shadow AI, and we’ll likely see a lot more in the years ahead. In one case, a law firm was fined $5,000 for submitting fictitious legal research generated by ChatGPT in an aviation injury claim. Last year, Samsung banned the use of the popular LLM after employees leaked sensitive code over it. It’s vital to remember that most publicly available models use recorded chats for training future iterations. This may potentially lead to any sensitive information from chats resurfacing later in response to a user prompt.
As employees — with or without the knowledge of their IT departments — input more and more information into LLMs, generative AI has become one of the biggest data exfiltration channels of all. Naturally, that’s a major internal security and compliance threat, and one that doesn’t necessarily have anything to do with external threat actors. Imagine, for example, an employee copying and pasting sensitive research and development material into a third-party AI tool or potentially breaking privacy laws like GDPR by uploading personally identifiable information.
섀도우 AI에 대한 보안 강화
Shore-up cyber defenses against shadow AI
그러므로 섀도우 AI에 대한 보안을 강화하고 위협 대응하기 위해 모든 AI 도구는 다른 비즈니스 커뮤니케이션 플랫폼과 동일한 수준의 거버넌스와 검토를 받아야 합니다. 특히 ChatGPT, Claude, Copilot 등 공개적으로 사용이 가능한 모델에 대해서도 교육과 인식 제고가 필요합니다. 모델이 안전하다는 일반적인 인식이 있지만, 이러한 모델을 디폴트로 설정 해놓을 경우, 민감한 정보에 대해 안전하지 않을 수 있습니다.
무엇보다 리더들은 AI를 책임감 있게 사용하는 것이 단순한 기술적 과제를 넘어 비즈니스의 중요한 과제임을 인지해야 합니다. 생성형 AI는 기업에서 고급 기술의 사용의 문턱을 낮춤으로서 모든 지식 근로자가 그 혜택을 누릴 수 있도록 합니다. 그러나 직원들이 편의를 위해 AI를 승인되지 않은 방식으로 사용하게 한다면, 이는 통제 불능 상태로 이어질 위험이 큽니다. AI에 대한 논쟁에서 어떤 입장을 취하든, 비즈니스 리더들은 내부 및 외부 AI 도구 사용에 대한 철저한 거버넌스 정책을 확립하고 강화하는 것이 중요합니다.
Because of these risks, it’s crucial that all AI tools fall under the same level of governance and scrutiny as any other business communications platform. Training and awareness also play a central role, especially since there’s a widespread assumption that publicly available models like ChatGPT, Claude and Copilot are safe. The truth is they’re not a safe place for sensitive information, especially if you’re using them with default settings.
Above all, leaders must understand that using AI responsibly is a business problem, not just a technical challenge. After all, generative AI democratizes the use of advanced technology in the workplace to the extent that any knowledge worker can get value from it. But that also means, in their hurry to make their lives easier, there’s a huge risk of the unsanctioned use of AI at work spiraling out of control. No matter where you stand in the great debate around AI, if you’re a business leader, it’s essential that you extend your governance policies to cover the use of all internal and external AI tools.
https://securityintelligence.com/articles/does-your-business-have-ai-blind-spot/