ChatGPT 데이터 유출 확인, 보안 우려 제기

ChatGPT Confirms Data Breach, Raising Security Concerns

 ChatGPT와 유사한 챗봇이 처음 널리 사용 되기 시작했을 때, 사이버 보안 업계는 AI 기술이 사이버 공격에 어떻게 사용될 지에 대해 우려했습니다. 실제로 공격자들이 ChatGPT를 사용해서 악성 코드를 작성하기 위해 안전 검사를 우회하는 방법을 알아내기까지는 그리 오랜 시간이 걸리지 않았습니다. 
 이제 상황이 역전된 것 같습니다. 공격자들이 사이버 사고를 일으키기 위해 ChatGPT를 사용하는 대신, 이제는 기술 자체를 사용하고 있습니다. Security Week에 따르면, 챗봇을 개발한 OpenAI는 코드의 오픈 소스 라이브러리 취약점으로 인해 발생한 시스템 정보 유출을 확인했습니다. 문제가 해결될 때까지 서비스가 오프라인 상태로 전환되었습니다.

When ChatGPT and similar chatbots first became widely available, the concern in the cybersecurity world was how AI technology could be used to launch cyberattacks. In fact, it didn’t take very long until threat actors figured out how to bypass the safety checks to use ChatGPT to write malicious code.

It now seems that the tables have turned. Instead of attackers using ChatGPT to cause cyber incidents, they have now turned on the technology itself. OpenAI, which developed the chatbot, confirmed a data breach in the system that was caused by a vulnerability in the code’s open-source library, according to Security Week. The breach took the service offline until it was fixed.

하룻밤 사이에 이룬 성공

An Overnight Success

 ChatGPT는 2022년 말 출시 되었을 당시부터 폭발적인 인기를 끌었습니다. 작가부터 소프트웨어 개발자까지 모두가 챗봇을 시험해보고 싶어 했습니다. 완벽하지 않은 답변 (일부 문장은 투박하거나 명백한 표절)에도 불구하고 ChatGPT는 1월까지 월간 사용자 수가 1억 명을 돌파하며 역사상 가장 빠르게 성장하는 소비자 앱이 되었습니다. 출시 후 한 달 동안 매일 약 1,300만 명이 이 AI 기술을 사용했습니다. 비슷한 사용자 수에 도달하는 데 9개월이 걸렸던 또 다른 인기 앱인 틱톡(Tiktok)과 비교해 보세요.

 한 사이버 보안 분석가는 ChatGPT를 스위스 군용 칼에 비유하며, 이 기술의 다양하고 유용한 애플리케이션이 초기에 빠르게 인기를 얻은 가장 큰 이유라고 말했습니다.

ChatGPT’s popularity was evident from its release in late 2022. Everyone from writers to software developers wanted to experiment with the chatbot. Despite its imperfect responses (some of its prose was clunky or clearly plagiarized), ChatGPT quickly became the fastest-growing consumer app in history, reaching over 100 million monthly users by January. Approximately 13 million people used the AI technology daily within a full month of its release. Compare that to another extremely popular app — TikTok — which took nine months to reach similar user numbers.

One cybersecurity analyst compared ChatGPT to a Swiss Army knife, saying that the technology’s wide variety of useful applications is a big reason for its early and quick popularity.

데이터 유출

The Data Breach

 인기 있는 앱이나 기술이 있다면, 공격자가 이를 노리는 것은 시간 문제일 뿐입니다. ChatGPT의 경우, 레디스(Redis) 오픈소스 라이브러리의 버그로 인해 데이터 유출이 발생했고, 사용자가 다른 사용자의 채팅 기록을 볼 수 있었습니다.

Heavy.AI는 오픈 소스 라이브러리를 "클래스, 구성 데이터, 문서, 도움말 데이터, 메시지 템플릿, 미리 작성된 코드 및 서브루틴, 유형 사양 및 값과 같이 쉽게 액세스 할 수 있고 자주 사용되는 루틴과 리소스를 저장하여 동적 인터페이스를 개발하는 데 사용된다."라고 정의합니다.

 OpenAI는 Redis를 사용하여 호출 및 엑세스 속도를 높이기 위해 사용자 정보를 캐싱합니다. 수천 명의 사람들이 오픈 소스 코드를 개발하고 액세스하기 때문에 취약성이 드러나고 눈에 띄지 않게 되기 쉽습니다. 2019년 이후 오픈 소스 라이브러리에 대한 공격이 742% 증가한 이유도 바로 이 점을 공격자들이 잘 알고 있기 때문입니다.

Whenever you have a popular app or technology, it’s only a matter of time until threat actors target it. In the case of ChatGPT, the exploit came via a vulnerability in the Redis open-source library. This allowed users to see the chat history of other active users.

Open-source libraries are used “to develop dynamic interfaces by storing readily accessible and frequently used routines and resources, such as classes, configuration data, documentation, help data, message templates, pre-written code and subroutines, type specifications and values,” according to a definition from Heavy.AI. OpenAI uses Redis to cache user information for faster recall and access. Because thousands of contributors develop and access open-source code, it’s easy for vulnerabilities to open up and go unnoticed. Threat actors know that which is why attacks on open-source libraries have increased by 742% since 2019.

큰 틀에서 보면 ChatGPT의 익스플로잇은 심각한 정도는 아니었고, OpenAI는 발견 후 며칠 내에 버그를 패치했습니다. 하지만 사소한 사이버 사고라도 많은 피해를 줄 수 있습니다.

 하지만 이는 겉으로 드러난 사고에 불과했습니다. OpenAI의 연구원들은 더 깊이 조사하면서 ChatGPT가 오프라인으로 전환되기 전 몇 시간 동안 동일한 취약점이 결제 정보에 대한 가시성 제공했을 가능성이 높다는 사실을 발견했습니다.

OpenAI는 데이터 유출 사건에 대해  "일부 사용자가 다른 액티브 사용자의 이름과 성, 이메일 주소, 결제 주소, 신용카드 번호의 마지막 4자리(만)와 신용카드 만료일을 볼 수 있었습니다. 전체 신용카드 번호는 노출되지 않았습니다." 라고 발표했습니다.

In the grand scheme of things, the ChatGPT exploit was minor, and OpenAI patched the bug within days of discovery. But even a minor cyber incident can create a lot of damage.

However, that was only a surface-level incident. As the researchers from OpenAI dug in deeper, they discovered this same vulnerability was likely responsible for visibility into payment information for a few hours before ChatGPT was taken offline.

“It was possible for some users to see another active user’s first and last name, email address, payment address, the last four digits (only) of a credit card number and credit card expiration date. Full credit card numbers were not exposed at any time,” OpenAI said in a release about the incident.

2022년 데이터 유출 비용 보고서 읽기 - Read the Cost of a Data Breach Report

AI, 챗봇 그리고 사이버 보안

AI, Chatbots and Cybersecurity

ChatGPT의 데이터 유출 사고에서 영향을 받은 유료 가입자는 전체 사용자의 1% 미만에 불과할 정도로 피해가 거의 없이 신속하게 처리되었습니다. 하지만 이 사건은 향후 챗봇과 사용자에게 영향을 미칠 수 있는 위험의 전조일 수 있습니다.

이미 챗봇 사용을 둘러싼 개인정보 보호 문제가 제기되고 있습니다. 로펌 폭스 로스차일드(Fox Rothschild LLP)의 개인정보 보호 및 데이터 보안 실무 공동 의장인 마크 맥크리어리(Mark McCreary)는 CNN과의 인터뷰에서 ChatGPT와 챗봇은 비행기의 블랙박스와 같다고 말했습니다. AI 기술은 방대한 양의 데이터를 저장한 다음 해당 정보를 사용하여 질문과 프롬프트에 대한 답변을 생성합니다. 그리고 챗봇의 메모리에 있는 모든 내용은 다른 사용자들에게도 공개됩니다.

예를 들어 챗봇은 단일 사용자의 모든 주제에 대한 노트를 기록한 다음 해당 정보를 요약하거나 더 자세한 정보를 검색할 수 있습니다. 하지만 이러한 노트에 조직의 지적 재산이나 민감한 고객 정보 등과 같은 민감한 데이터가 포함되어 챗봇 라이브러리에 들어가면 사용자는 더 이상 해당 정보를 제어할 수 없습니다.

The data leakage in ChatGPT was addressed swiftly with apparently little damage, with impacted paying subscribers making up less than 1% of its users. However, the incident could be a harbinger of the risks that could impact chatbots and users in the future.

Already there are privacy concerns surrounding the use of chatbots. Mark McCreary, the co-chair of the privacy and data security practice at law firm Fox Rothschild LLP, told CNN that ChatGPT and chatbots are like the black box in an airplane. The AI technology stores vast amounts of data and then uses that information to generate responses to questions and prompts. And anything in the chatbot’s memory becomes fair game for other users.

For example, chatbots can record a single user’s notes on any topic and then summarize that information or search for more details. But if those notes include sensitive data — an organization’s intellectual property or sensitive customer information, for instance — it enters the chatbot library. The user no longer has control over the information.

인공지능 활용 규제 강화

Tightening Restrictions on AI Use

개인정보 보호 문제로 인해 일부 기업 및 국가 전체에서 사용을 제한 하고 있습니다. 예를 들어 JP모건 체이스는 타사 소프트웨어 및 애플리케이션에 대한 회사의 정책으로 직원들의 ChatGPT 사용을 제한했지만, 챗봇에 입력되는 금융 정보의 보안에 대한 우려도 있습니다. 또한 이탈리아는 자국민의 데이터 프라이버시를 고려하여 전국적으로 ChatGPT 사용을 일시적으로 금지하기로 결정했습니다. 관계자들은 GDPR(유럽 개인정보보호 규정) 준수 때문이라고 밝혔습니다.

Because of privacy concerns, some businesses and entire countries are clamping down. JPMorgan Chase, for example, has restricted employees’ use of ChatGPT due to the company’s controls around third-party software and applications, but there are also concerns surrounding the security of financial information if entered into the chatbot. And Italy cited the data privacy of its citizens for its decision to temporarily block the application across the country. The concern, officials stated, is due to compliance with GDPR.

전문가들은 또한 공격자들이 ChatGPT를 사용하여 정교하고 사실적인 피싱 이메일을 생성할 것으로 예측합니다. 피싱 사기의 숨길 수 없는 징후였던 형편없는 문법과 이상한 문장 표현은 이제 사라졌습니다. 이제 챗봇은 타겟 메시지로 원어민을 모방할 것입니다. ChatGPT는 원활한 언어 번역이 가능하기 때문에 해외 공격자들의 판도를 바꿀 수 있습니다.

비슷한 방식의 위협 전략으로는 AI를 사용하여 허위 정보 및 음모 캠페인을 만드는 것입니다. 이러한 사용의 의미는 사이버 위험을 넘어설 수 있습니다. 연구원들이 ChatGPT를 사용하여 논평을 작성했는데, 그 결과는 InfoWars나 음모론을 선전하는 다른 유명 웹사이트에서 볼 수 있는 것과 유사했습니다.

Experts also expect threat actors to use ChatGPT to create sophisticated and realistic phishing emails. Gone is the poor grammar and odd sentence phrasing that have been the tell-tale sign of a phishing scam. Now, chatbots will mimic native speakers with targeted messages. ChatGPT is capable of seamless language translation, which will be a game-changer for foreign adversaries.

A similarly dangerous tactic is the use of AI to create disinformation and conspiracy campaigns. The implications of this usage could go beyond cyber risks. Researchers used ChatGPT to write an op-ed, and the result was similar to anything found on InfoWars or other well-known websites peddling conspiracy theories.

일부 위협에 대응하는 OpenAI

OpenAI Responding to Some Threats

 챗봇이 진화할 때마다 더 정교한 언어 능력이나 유행으로 인한 새로운 사이버 위협이 발생할 것입니다. 따라서 챗봇은 공격의 주요 표적이 될 수 있습니다. 이를 위해 OpenAI는 애플리케이션 내에서 향후 데이터 유출을 방지하기 위한 조치를 취하고 있습니다. 보고되지 않은 취약점을 발견하는 이들에게 최대 2만 달러의 버그 포상금을 지급하고 있습니다.

하지만 The Hacker News(해커 뉴스)는 "이 프로그램은 챗봇이 악성 코드나 기타 잘못된 출력을 생성하도록 유도하는 모델 안전성이나 사실 여부의 변별력은 다루지 않는다"고 보도했습니다. 따라서 OpenAI는 외부 공격에 대비해 기술을 강화하고 싶지만 챗봇이 사이버 공격의 근원이 되는 것을 막기 위한 노력은 거의 하지 않는 것처럼 보입니다.

ChatGPT와 다른 챗봇은 사이버 보안 분야의 주요 플레이어가 될 것입니다. 이 기술이 공격의 희생양이 될지, 아니면 공격의 원천이 될지는 시간이 지나야 알 수 있을 것 입니다

 Each evolution of chatbots will create new cyber threats, either through the more sophisticated language abilities or through their popularity. This makes the technology a prime target as an attack vector. To that end, OpenAI is taking steps to prevent future data breaches within the application. It is offering a bug bounty of up to $20,000 to anyone who discovers unreported vulnerabilities.

 However, The Hacker News reported, “the program does not cover model safety or hallucination issues, wherein the chatbot is prompted to generate malicious code or other faulty outputs.” So it sounds like OpenAI wants to harden the technology against outside attacks but is doing little to prevent the chatbot from being the source of cyberattacks.

 ChatGPT and other chatbots are going to be major players in the cybersecurity world. Only time will tell if the technology will be the victim of attacks or the source.

chatbot | OpenAI | open source software | chatGPT | Artificial Intelligence (AI) | Breach | Data Breach | Open Source

https://securityintelligence.com/articles/chatgpt-confirms-data-breach/