02. LLM이 촉발한 AI보안 AI for Security, Security for AI

2025년 보안 위협 전망의 ‘악성 LLM 서비스로 인한 사이버 공격 보편화’에서 살펴본 바와 같이 인공지능 기술의 발전은 비단 긍정적인 목적으로만 사용되지 않았다. ‘AI for Security’와 같이 인공지능을 이용해 기존의 보안 이슈를 해결하는 방안이 되기도 하지만, 인공지능이라는 기술로 인해 새롭게 발생하는 보안 위협으로 인해 ‘Security for AI’가 필요한 상황이 되었다.

[대응기술 표 2-1] 인공지능으로 발생할 수 있는 보안이슈

[대응기술 표 2-1]과 같이 인공지능으로 인해 발생할 수 있는 보안 위협은 크게 △ 공개된 LLM을 악용한 악의적인 LLM 등장, △ 정보 주체의 프라이버시 및 권리 보장 이슈, △ AI 한계로 인한 ‘스페이스 오디세이’, △ 인간의 모든 것을 복제하는 AI 의인화로 인한 한계로 분류할 수 있다.

인공지능이나 LLM을 이용한 공격 사례의 상당수는 기존에 공개된 LLM 보안 기능을 우회하여 악성코드 생성 및 피싱 메일 작성 등 기존 사이버 공격을 고도화하기 위해 사용되거나, 딥러닝에서 사전 훈련된 모델의 가중치를 새로운 데이터에 대해 훈련되는 전이 학습 접근방식인 파인튜닝(Fine-tuning)을 통해 군사적 목적으로 사용되는 경우도 있다. 인공지능의 모델 학습 과정에서 발생하는 정보 주체의 개인정보 이슈나 AI 의인화로 인한 상호작용, 배신, 협력, 나태함 등이 학습되는 경우가 발생하고 있다.

2024년 1월, 영국 국가 사이버 보안 센터(NCSC)는 ‘The near-term impact of AI on the cyber threat’을 통해 AI가 사이버 생태계에 미칠 영향 주요 쟁점 사항을 발표했다. [대응기술 표 2-2]와 같이 AI로 향후 2년 동안 사이버 공격 규모가 증가하고 높은 영향도를 미칠 수 있으나, 사이버 위협에 미치는 요인은 TTP에 따라 상이하다고 밝혔다. 특히 사회공학 분야와 정찰 영역에서 사이버 범죄 및 국가 지원 사이버 공격 행위자의 역량 향상에 AI 활용이 높아질 것으로 예측했다.

[대응기술 표 2-2] 20향후 2년간 AI로 향상된 사이버 위협 역량 범위(출처 : NCSC)

인공지능에서 발생할 수 있는 보안 위협은 △ AI모델이 생성되는 파이프라인 상에서의 위협, △ 보안 기본 요소 분류에 따른 위협, △ AI를 사용한 애플리케이션이나 플랫폼의 위협으로 분류할 수 있다. 먼저 ‘AI모델이 생성되는 파이프라인 상에서의 위협’을 살펴보기 위해서 [대응기술 그림 2-1]과 같이 OWASP AI Exchange에서 제공하는 공격 표면 유형으로 분류할 수 있다.

모델 생성을 위한 일련의 과정 전반에서 보안 위협이 발생할 수 있으며 △ 데이터 수집 및 준비를 통한 모델 훈련 및 획득하는 과정의 AI모델 개발기간 공격, △ AI 모델의 Input과 Output을 이용한 공격, △ 런타임 중에 시스템을 공격하는 공격의 3가지로 분류할 수 있다. 이를 기반으로 공격자는 방해(disrupt), 기만(deceive), 공개(disclose)라는 3가지 목표에 따라 세부적인 공격유형을 분류하게 된다.