ChatGPT는 EDR의 탐지를 회피하는 돌연변이 악성코드를 생성합니다.

Oct 29, 2023

쉐타 샤르마

CSO 선임 작가 |

작년 말 처음 출시된 이후 세계적인 센세이션을 일으킨 ChatGPT는 소비자와 IT 전문가 모두에게 인기를 끌면서 ChatGPT가 시스템 취약점을 악용하는 데 어떻게 사용될 수 있는지에 대한 사이버 보안의 악몽을 불러일으켰습니다. 사이버 보안 전문가들이 입증한 핵심 문제는 ChatGPT 및 기타 LLM(대형 언어 모델)이 EDR(엔드포인트 탐지 및 응답) 시스템을 회피하기 위해 다형성 또는 돌연변이 코드를 생성하는 능력입니다.

최근 일련의 개념 증명 공격은 매 런타임마다 ChatGPT에 대한 API 호출을 생성하도록 무해해 보이는 실행 파일을 제작하는 방법을 보여줍니다. 이미 작성된 코드 조각의 예를 재현하는 대신 ChatGPT는 호출할 때마다 악성 코드의 동적이고 변형된 버전을 생성하도록 요청하여 사이버 보안 도구로 결과적인 취약성 공격을 감지하기 어렵게 만듭니다.

사이버 보안 회사인 GitGuardian의 개발자 옹호자인 Mackenzie Jackson은 "ChatGPT는 해커에 대한 기준을 낮추고 AI 모델을 사용하는 악의적인 행위자는 현대의 'Script Kiddies'로 간주될 수 있습니다."라고 말했습니다. "ChatGPT를 속여서 생성할 수 있는 악성 코드는 획기적인 것과는 거리가 멀지만 모델이 향상되고 더 많은 샘플 데이터를 소비하며 다양한 제품이 시장에 출시됨에 따라 AI는 결국 다른 AI 시스템에서만 감지할 수 있는 악성 코드를 생성하게 될 수 있습니다. 수비입니다. 이번 경기에서 어느 쪽이 이길지는 누구나 추측할 수 있습니다."

고급 및 다형성 악성 코드를 개발하는 데 있어 도구의 기능을 활용하는 잠재력을 보여주는 다양한 개념 증명이 있었습니다.

ChatGPT 및 기타 LLM에는 악성 코드와 같은 유해한 콘텐츠를 생성하는 명령이나 프롬프트를 따르지 못하도록 하는 콘텐츠 필터가 있습니다. 그러나 콘텐츠 필터는 우회할 수 있습니다.

ChatGPT를 통해 잠재적으로 수행될 수 있는 거의 모든 보고된 공격은 도구의 콘텐츠 필터를 우회하고 원하는 출력을 검색하기 위해 입력 프롬프트를 수정하는 관행인 "프롬프트 엔지니어링"을 통해 달성됩니다. 예를 들어 초기 사용자는 프롬프트를 가상으로 구성하여 ChatGPT가 생성해서는 안 되는 콘텐츠(프로그램 "탈옥")를 생성하도록 할 수 있다는 사실을 발견했습니다. 해를 끼치려는 악의적인 사람.

쿠버네티스 전문 사이버 보안 회사인 KSOC의 보안 연구 이사인 Andrew Josephides는 "ChatGPT는 질문의 맥락을 평가하여 ChatGPT가 제공할 답변의 범위를 제한하는 필터와 같이 시스템에 몇 가지 제한 사항을 제정했습니다."라고 말했습니다. "ChatGPT에 악성 코드 작성을 요청하면 요청을 거부합니다. ChatGPT에 작성하려는 악성 코드의 효과적인 기능을 수행할 수 있는 코드 작성을 요청한다면 ChatGPT는 빌드할 가능성이 높습니다. 그 코드는 당신을 위한 것입니다."

각 업데이트마다 ChatGPT를 악성으로 속이는 것이 더 어려워지지만, 다양한 모델과 제품이 시장에 출시됨에 따라 LLM이 악의적인 목적으로 사용되는 것을 방지하기 위해 콘텐츠 필터에 의존할 수 없다고 Josephides는 말했습니다.

ChatGPT가 알고 있지만 필터 뒤에 있는 것을 활용하도록 속이는 기능은 사용자가 효과적인 악성 코드를 생성하도록 만들 수 있습니다. 여러 번 실행하는 경우 동일한 쿼리에 대한 결과를 수정하고 미세 조정하는 도구의 기능을 활용하여 코드를 다형성으로 렌더링하는 데 사용할 수 있습니다.

예를 들어 명백히 무해한 Python 실행 파일은 실행 파일이 실행될 때마다 다른 버전의 악성 코드를 처리하기 위해 ChatGPT API로 보낼 쿼리를 생성할 수 있습니다. 이렇게 하면 exec() 함수 외부에서 악의적인 작업이 수행됩니다. 이 기술은 위협 스캐너로 탐지하기 어려운 돌연변이, 다형성 악성 코드 프로그램을 형성하는 데 사용될 수 있습니다.