워터마크 기술이 딥페이크 사태로부터 2024년 선거를 보호할 수 있을까?
Will watermarking save the 2024 election from a deepfake debacle?
불과 몇 달 전까지만 해도 딥페이크는 호기심에 불과했습니다. 이제 딥페이크는 실제로 존재하는 위험이 되었습니다. 그리고 선거가 있는 해에는 AI가 조작한 콘텐츠의 영향력이 재앙이 될 수 있습니다.
최근 워싱턴 포스트 라이브 행사에서 백악관의 사이버 및 첨단 기술 담당 국가안보 부보좌관인 앤 노이버거는 딥페이크의 위험 증가에 대해 언급했습니다. 최근 뉴햄프셔 예비선거를 앞두고 유권자들의 투표 의지를 저하시키기 위한 가짜 바이든 로보콜와 같은 사건이 이미 발생했습니다.
선거 기간에 딥페이크 공격 발생시 어떤 결과를 가져오게 될까요? 그리고 워터마크 기술이 딥페이크 공격을 방지하는 데 도움이 될 수 있을까요?
It seems like only months ago deepfakes were still just a curiosity. Now, deepfakes are a real and present danger. And in an election year, the influence of AI-manipulated content could be disastrous.
During a recent Washington Post Live event, Anne Neuberger, deputy national security adviser for cyber and emerging technologies at the White House, commented on the rising risk of deepfakes. Incidents have already occurred, such as the recent fake-Biden robocall meant to discourage voters ahead of the New Hampshire primary.
What are the potential consequences of deepfake attacks in an election year? And could watermarking make a difference in mitigating deepfake attacks?
초현실적인 딥페이크 등장
Ultra-real deepfakes are here
현재 딥페이크는 얼마나 현실적일까요? 다국적 기업의 홍콩 지사에서 근무하던 중 딥페이크에 속은 한 직원의 사례를 예로 들어보겠습니다. 2024년 1월, 이 직원은 다른 회의 참가자들이 모두 AI로 생성된 딥페이크인 화상 회의에 참여하도록 유도 당한 후, 회사 자금 2억 홍콩달러(2558만 달러)를 사기꾼들에게 이체했습니다.
바론 챈 경찰청장 대행은 "사기꾼이 미리 동영상을 다운로드한 후 AI를 이용해 화상 회의에 사용할 가짜 음성를 입힌 것으로 추정된다"고 말했습니다.
또 다른 사례에서는 오디오 재킹이라는 기술을 사용하여 사이버 연구원들이 AI의 도움을 받아 두 사람 사이에 이루어지는 실시간 금융 대화의 세부 사항을 수정할 수 있었습니다. 이 단계적 교환에서는 화자가 자신의 통화가 유출되었다는 사실을 인지하지 못한 채 가짜 공격자의 계좌로 돈이 이체되었습니다.
한편, 대규모 언어 모델(LLM)을 조작하는 프롬프트 인젝션 공격으로 AI 자체를 속일 수도 있습니다. 이로 인해 LLM을 속여 의도하지 않은 작업을 수행하거나, 콘텐츠 정책을 우회하여 오해의 소지가 있거나 유해한 응답을 생성하거나, 민감한 정보를 노출시키는 결과를 초래할 수 있습니다.
How realistic are deepfakes now? Consider the case of the clerk who fell for a deepfake while working for the Hong Kong branch of a multinational company. In January 2024, the clerk transferred HK$200 million (USD 25.58M) of the firm’s money to fraudsters after being tricked into joining a video conference where all the other participants were AI-generated deepfakes.
Acting senior police superintendent Baron Chan said, “I believe the fraudster downloaded videos in advance and then used artificial intelligence to add fake voices to use in the video conference.”
In another case, using a technique called audio-jacking, cyber researchers were able to modify the details of a live financial conversation occurring between two people with the assistance of generative AI. In this staged exchange, money was diverted to a fake adversarial account without the speakers realizing their call was compromised.
Meanwhile, AI itself can be fooled with prompt injection attacks that manipulate large language models (LLMs). This can result in tricking an LLM into performing unintended actions, circumventing content policies to generate misleading or harmful responses, or revealing sensitive information.
워터마크 기술로 문제를 해결할 수 있을까?
Can watermarking save the day?
AI 워터마크 기술은 인공지능 모델의 출력에 고유한 표시를 삽입하는 방식으로 작동합니다. 이 표시는 이미지나 텍스트일 수 있으며, 콘텐츠가 AI에 의해 생성된 것임을 식별하기 위한 것입니다.
워터마크의 유형은 다음과 같습니다:
- 보이는 워터마크: 로고, 이미지, 저작권이 있는 텍스트, 개인 서명 등 육안으로 볼 수 있습니다.
- 보이지 않는 워터마크: 눈에 보이지 않으며 속기 기술 및 워터마크 추출 알고리즘을 사용할 수 있습니다.
- 공개 워터마크: 안전하지 않으며 특정 알고리즘을 사용하면 누구나 수정할 수 있습니다.
- 빈도 및 공간 워터마크: 이미지를 픽셀로 정의하는 도메인 워터마킹의 한 형태입니다. 이는 향상된 워터마킹 품질과 눈에 띄지 않는 특성을 제공합니다.
워싱턴 포스트 행사에서 노이버거는 딥페이크에 의한 위험을 줄이는 방법으로 워터마크 기술에 대해 언급했습니다. 그녀는 워터마크가 백악관의 AI 행정명령과 같은 의무를 준수하는 플랫폼에 효과적일 수 있다고 언급했습니다. 예를 들어, Facebook에서는 AI로 생성된 모든 콘텐츠에 해당 콘텐츠가 인공지능으로 생성되었음을 명확하게 나타내는 아이콘을 표시할 수 있습니다.
워터마크 기술은 규정을 준수하는 플랫폼에서는 유용할 수 있지만, "책임을 지는 데 무관심한 플랫폼은 항상 존재할 것입니다. 이를 위해 연구원과 기업들은 딥페이크가 무엇인지 식별하는 기술을 개발하기 위해 더 많은 노력을 기울여야 합니다."라고 노이버거는 말합니다.
AI watermarking works by embedding a unique signal into an artificial intelligence model’s output. This signal can be an image or text, and it’s intended to identify the content as AI-generated.
Some types of watermarks include:
- Visible watermarks: Can be seen by the human eye, such as logos, images, copyrighted text and personal signatures.
- Invisible watermarks: Cannot be seen and may utilize stenographic techniques and watermark extraction algorithms.
- Public watermarks: Not secure and can be modified by anyone using certain algorithms.
- Frequency and spatial watermarks: A form of domain watermarking that defines images as pixels. This provides improved watermarking quality and imperceptibility.
During the Washington Post event, Neuberger touched upon watermarking as a way to mitigate risks posed by deepfakes. She mentioned that watermarking could be effective for platforms that comply with mandates like the White House’s AI Executive Order. For example, on Facebook, any AI-generated content might display an icon that clearly states the content was generated with artificial intelligence.
While watermarking would be useful on compliant platforms, “there will always be platforms… that are not interested in being responsible. And for that, researchers and companies are looking at and need to do more to build the technology to identify what are deepfakes,” said Neuberger.
선거 연도에 미치는 영향
Election year impact
2024년 전 세계 약 42억 명이 선거에 투표할 것으로 예상되는 가운데, AI 크리에이터, 학자, 정치인들은 인터뷰에서 AI 생성 콘텐츠의 워터마킹에 대한 표준이 신속하게 확립되어야 한다고 말했습니다. 그렇지 않으면 AI가 생성한 가짜 콘텐츠가 선거 결과에 영향을 미칠 수 있기 때문입니다.
표준이 마련된다면 환영할 일이지만, 악의적인 행위자나 극단주의자 또는 불쾌감을 주는 단체는 딥페이크에 워터마크를 하지 않을 것이 분명합니다. 오히려 악성 콘텐츠에서 워터마크를 숨기거나 제거하는 방법을 개발할 것입니다.
어쩌면 AI 딥페이크에 대한 해결책은 그 원인에서 찾을 수 있을지도 모릅니다. 언젠가는 소셜 미디어 플랫폼에서 AI 기반 딥페이크 탐지기를 배포할 수도 혹은 딥페이크 탐지 앱을 다운로드 할 수 있게 될지도 모릅니다.
With approximately 4.2 billion people expected to vote in elections around the world in 2024, AI creators, scholars and politicians said in interviews that standards on the watermarking of AI-generated content must be established quickly. Otherwise, AI-generated fake content could have an impact on election results.
While standards would be welcome, nefarious actors and extremist or nuisance groups certainly won’t be watermarking their deepfakes. If anything, they will develop ways to hide or remove watermarks from their malicious content.
Perhaps the solution to AI deepfakes can be found in the cause. Maybe AI-driven deepfake detectors will be deployed by social media platforms. Or maybe, someday, you will be able to download an app that detects deepfakes for you.
![]()
deepfake | deep fake | large language models | LLM | generative ai | audio-jacking | audiojacking | prompt injection | watermarking | Artificial Intelligence (AI)
https://securityintelligence.com/news/watermarking-2024-election-deepfake/