국가·공공기관 AI보안 가이드북 제1장 완벽 이해: AI시스템 개요와 15대 보안위협

1. AI를 도입하기 전에 왜 보안을 먼저 봐야 할까?

인공지능(AI)은 이제 단순한 분석 도구를 넘어 행정업무 자동화, 민원 대응, 문서 작성, 데이터 분석, 검색·추천, 시설관리 등 공공서비스 전반으로 활용 영역을 넓혀가고 있습니다.

특히 생성형 AI의 등장으로 사용자가 질문을 입력하면 AI가 문서나 보고서, 코드, 이미지 등 다양한 결과물을 만들어내는 형태의 서비스가 빠르게 확산되고 있습니다.

하지만 AI의 활용 범위가 넓어질수록 기존 정보시스템에서 볼 수 없었던 새로운 보안 문제가 등장합니다.

예를 들어,

• AI에게 내부 문서를 입력했는데 외부로 정보가 유출되는 경우

• AI가 사용하는 학습데이터에 악성 데이터가 섞이는 경우

• 공격자가 악성 프롬프트를 입력해 AI의 행동을 변경하는 경우

• AI에게 지나치게 많은 시스템 권한을 부여해 다른 시스템을 임의로 조작하는 경우

• 외부에서 가져온 AI모델이나 오픈소스 라이브러리에 악성코드가 포함되는 경우

등이 발생할 수 있습니다.

「AI보안 가이드북」은 이러한 문제에 대응하기 위해 AI시스템 자체뿐만 아니라 AI모델, 학습데이터, 입력·출력 데이터, AI 인프라 및 공급망까지 보안 대상으로 확대해서 바라볼 필요가 있다고 설명합니다.

따라서 공공기관의 정보화업무 담당자는 AI를 단순히 "새로운 소프트웨어"로 보는 것에서 벗어나 새로운 형태의 정보시스템이자 새로운 공격표면(Attack Surface)을 가진 시스템으로 이해할 필요가 있습니다.

2. AI시스템이란 무엇인가?

「AI보안 가이드북」에서는 AI시스템을 다양한 수준의 자율성과 적응성을 가지고 목표를 달성하기 위해 AI모델, 학습데이터, 인프라 등을 활용하여 사용자에게 예측·추천·결정 등의 결과를 제공하는 시스템으로 설명합니다.

쉽게 표현하면 다음과 같습니다.

AI시스템 = AI모델 + 데이터 + AI 인프라 + 사용자

① AI모델

AI모델은 입력된 데이터를 분석해 예측, 분류 또는 생성 등의 결과를 만들어내는 핵심 구성요소입니다.

예를 들어,

• 민원 내용을 분류하는 AI

• 이미지에서 이상 징후를 찾는 AI

• 문서를 요약하는 생성형 AI

• 질문에 답변하는 LLM

• 교통량을 예측하는 AI

등이 AI모델을 이용합니다.

② AI 학습데이터

AI가 학습하기 위해 사용하는 데이터입니다.

텍스트뿐만 아니라 다음과 같은 다양한 데이터가 포함될 수 있습니다.

• 문서

• 이미지

• 음성

• 영상

• 데이터베이스

• 센서 데이터

• 행정자료

AI는 학습데이터의 특성을 모델에 반영하기 때문에 학습데이터의 품질과 보안이 AI시스템의 품질과 보안에 직접적인 영향을 미칠 수 있습니다.

③ AI 인프라

AI모델을 개발하고 학습하고 운영하기 위한 컴퓨팅 환경입니다.

예를 들어,

• CPU

• GPU

• NPU

• 서버

• 스토리지

• 네트워크

• AI 소프트웨어

• 데이터베이스

• 벡터DB

• RAG 구성요소

등이 포함될 수 있습니다. 「AI보안 가이드북」 역시 AI 인프라를 AI모델의 개발·학습·추론을 지원하는 컴퓨팅 자원, 네트워크 및 관련 소프트웨어로 설명합니다.

3. AI시스템은 어떻게 발전하고 있는가?

AI는 과거의 예측형 AI에서 생성형 AI, 그리고 최근에는 에이전틱 AI와 피지컬 AI로 영역을 확대하고 있습니다.

「AI보안 가이드북」은 AI의 발전 흐름을 다음과 같이 설명합니다.

예측형 AI → 생성형 AI → 에이전틱 AI → 피지컬 AI

특히 중요한 변화는 AI가 단순히 답변하는 단계에서 직접 업무를 수행하는 단계로 이동하고 있다는 점입니다.

예를 들어 단순한 생성형 AI는 다음과 같이 작동합니다.

"회의 내용을 요약해줘."

반면 에이전틱 AI는

"회의 내용을 분석하고 → 관련 자료를 검색하고 → 보고서를 작성하고 → 담당자에게 전달해줘."

와 같이 여러 작업을 연속적으로 수행할 수 있습니다.

이때 AI에게 시스템 접근권한이 부여된다면 보안 위험도 함께 증가할 수 있습니다.

OWASP 역시 2025년 LLM 보안 위험에서 Excessive Agency(과도한 자율성·권한)를 중요한 위험으로 다루고 있으며, 에이전트 구조에서 통제되지 않은 권한이 의도하지 않은 행동으로 이어질 수 있음을 지적합니다.

4. 전통적인 사이버보안과 AI보안은 무엇이 다른가?

기존 정보시스템의 보안에서는 주로 다음과 같은 대상을 보호했습니다.

• 서버

• 네트워크

• 데이터베이스

• 애플리케이션

• 사용자 계정

• 통신구간

AI시스템에서는 여기에 추가적인 보호대상이 등장합니다.

• AI모델

• 모델 파라미터

• 학습데이터

• RAG 데이터

• 벡터DB

• 프롬프트

• AI 입력·출력

• AI 에이전트의 권한

• AI 공급망

즉,

기존 사이버보안 + AI 고유 보안

이라는 관점이 필요합니다.

「AI보안 가이드북」도 AI시스템은 기존 정보통신시스템의 사이버위협뿐 아니라 AI모델, 모델 구조·파라미터, 입·출력 데이터, 학습데이터까지 보호대상이 확대되는 특징이 있다고 설명합니다.

NIST의 AI RMF 역시 AI를 설계·개발·배포·사용하는 조직이 AI의 위험을 체계적으로 관리할 수 있도록 위험관리 프레임워크를 제공하고 있습니다.

5. AI보안 가이드북이 제시하는 15가지 핵심 보안위협

「AI보안 가이드북」에서는 AI시스템에서 발생할 수 있는 보안위협을 총 15개 유형(T01~T15)으로 정리합니다.

이제 각각을 공공기관 관점에서 살펴보겠습니다.

6. T01 학습데이터 오염

무엇인가?

공격자가 AI 학습이나 추론에 사용하는 데이터를 악의적으로 변경하거나 삽입하는 공격입니다.

특히 RAG를 사용하는 경우 외부 문서나 벡터DB의 데이터도 공격 대상이 될 수 있습니다.

「AI보안 가이드북」에서는 오염된 데이터로 AI를 학습시키면 성능 저하, 편향, 오판 또는 의도하지 않은 동작을 유도할 수 있다고 설명합니다.

공공기관 사례로 생각하면

예를 들어 기관의 AI가 내부 규정집을 RAG 데이터로 사용하는 상황을 생각해 볼 수 있습니다.

공격자가 규정집 데이터에 악의적인 내용을 삽입하면 AI가 잘못된 행정정보를 제공할 가능성이 있습니다.

담당자가 확인할 사항

• 데이터 출처는 신뢰할 수 있는가?

• 데이터가 변경되었는지 확인할 수 있는가?

• 데이터 해시값을 관리하고 있는가?

• 데이터 변경이력은 남는가?

• RAG 벡터DB에도 무결성 검증을 적용했는가?

7. T02 비인가 민감정보 학습

AI가 학습해서는 안 되는 민감정보나 비공개 정보를 학습하는 위험입니다.

예를 들어,

"내부 인사자료를 AI 학습에 사용해도 되는가?"

라는 질문에 단순히 "내부 데이터니까 사용할 수 있다"고 판단해서는 안 됩니다.

AI의 사용 목적과 보안등급, 정보의 민감도 등을 함께 검토해야 합니다.

가이드북은 내부 비공개 행정자료 등이 AI에 학습되어 비인가자에게 제공될 경우 민감정보가 유출될 수 있다고 설명합니다.

8. T03 AI 백도어 삽입

AI 백도어는 평상시에는 정상적으로 작동하지만 특정 조건을 만족하면 공격자가 원하는 악성행위를 수행하도록 AI모델이나 학습데이터, 라이브러리 등에 숨겨놓는 방식입니다.

가이드북은 특정 시기나 입력조건 등이 충족되면 AI가 오동작하거나 정보를 유출할 수 있다고 설명합니다.

공공기관에서 특히 중요한 부분은 외부에서 가져온 AI모델을 무조건 신뢰해서는 안 된다는 것입니다.

모델의 출처, 배포자, 파일 무결성, 해시값, 전자서명 등을 확인하는 절차가 필요합니다.

9. T04 학습데이터 추출

공격자가 AI에 반복적으로 질문하여 AI가 학습한 데이터를 추출하거나 재구성하는 공격입니다.

특히 학습데이터에 개인정보나 비공개 문서가 포함되어 있다면 위험성이 커집니다.

따라서 AI의 답변 품질뿐만 아니라,

"AI가 특정 정보를 지나치게 자세하게 반복해서 제공하고 있지는 않은가?"

를 모니터링해야 합니다.

10. T05 학습데이터 비인가자 접근

AI가 데이터를 사용한다는 이유만으로 모든 사용자가 모든 데이터를 볼 수 있어서는 안 됩니다.

예를 들어,

• 인사부서 데이터

• 감사자료

• 보안자료

• 개인정보

• 내부 정책자료

등을 AI가 모두 참조한다면 사용자별 접근권한을 AI 답변에도 반영해야 합니다.

가이드북은 학습데이터 또는 RAG 벡터DB의 접근권한 통제가 미흡할 경우 비인가 사용자에게 데이터가 노출될 수 있다고 설명합니다.

11. T06 AI모델 추출

AI의 출력결과를 반복적으로 분석해 모델 구조나 가중치 등의 정보를 알아내는 공격입니다.

기관이 자체적으로 개발한 AI모델이나 많은 비용을 들여 구축한 특화 모델이라면 모델 자체가 중요한 자산이 될 수 있습니다.

따라서 모델 API를 외부에 제공하는 경우에도 호출량, 출력정보, API 접근권한 등을 관리할 필요가 있습니다.

12. T07 민감정보 입력·유출

공공기관에서 가장 현실적으로 주의해야 할 위험 가운데 하나입니다.

예를 들어 직원이 업무를 하다가 다음과 같은 정보를 생성형 AI에 입력한다고 가정해 보겠습니다.

"다음 감사자료를 요약해줘."

그런데 첨부한 파일에 개인정보나 비공개 행정정보가 포함되어 있다면 문제가 될 수 있습니다.

가이드북은 프롬프트나 파일 업로드 등을 통해 민감정보가 AI에 입력되고, 이후 비인가자에게 제공될 수 있는 위험을 설명합니다.

따라서 기관 차원에서 "AI에 입력해서는 안 되는 정보"를 명확히 정의하는 것이 중요합니다.

13. T08 프롬프트 인젝션

생성형 AI 시대에 특히 중요해진 공격입니다.

공격자가 악의적인 지시문을 AI에게 입력하거나 외부 데이터에 숨겨 AI의 행동을 변경하는 방식입니다.

가이드북은 프롬프트 인젝션을 통해 AI가 내부 가드레일을 무시하고 악성 명령을 실행하거나 민감정보를 유출하는 상황을 설명합니다.

OWASP의 2025 LLM 보안 목록에서도 Prompt Injection을 핵심 위험으로 제시하고 있으며, 민감정보 노출, 공급망, 데이터·모델 오염, 과도한 자율성 등과 함께 생성형 AI 애플리케이션에서 중요한 위험으로 다루고 있습니다.

공공기관에서 특히 주의할 상황

RAG 기반 AI가 다음과 같이 동작한다고 가정해 보겠습니다.

사용자 질문 → 내부 문서 검색 → 검색 결과를 AI에게 전달 → 답변 생성

검색된 문서 자체에 악성 지시가 들어 있다면 AI가 이를 단순한 정보가 아니라 명령으로 해석할 가능성을 고려해야 합니다.

즉,

사용자 입력뿐만 아니라 AI가 읽는 외부 데이터도 공격 벡터가 될 수 있습니다.

14. T09 회피 공격

AI가 잘못 판단하도록 입력 데이터를 의도적으로 조작하는 공격입니다.

가이드북에서는 이를 적대적 예제(Adversarial Examples)를 활용한 공격으로 설명합니다.

예를 들어 얼굴인식 AI가 특정 이미지를 정상적인 사람으로 잘못 판단하도록 입력을 조작할 수 있습니다.

따라서 AI가 출입통제, 시설관리, 보안관제 등 중요한 업무에 사용된다면 일반적인 기능 테스트뿐 아니라 적대적 입력에 대한 테스트도 고려해야 합니다.

15. T10 통신구간 공격

사용자와 AI시스템 사이에서 전송되는 데이터를 공격하는 것입니다.

가이드북에서는 사용자 입력이나 AI의 출력정보가 외부에 노출되거나 인증키가 탈취될 가능성을 설명합니다.

공공기관에서는 특히 다음을 확인해야 합니다.

• 통신 암호화

• 인증

• 세션 관리

• API Key 보호

• 인증정보 저장 방식

• 외부 AI서비스 연계구간

AI보안이라고 해서 네트워크 보안을 별도로 생각해서는 안 됩니다.

16. T11 서비스 거부 공격

AI에 지나치게 많은 요청을 보내 자원을 고갈시키는 공격입니다.

AI는 일반적인 웹서비스보다 연산량이 많이 필요한 경우가 있기 때문에 과도한 요청이 발생하면 서비스 장애뿐 아니라 컴퓨팅 자원 및 사용비용 증가로 이어질 수 있습니다. 가이드북도 과도한 프롬프트로 자원 고갈과 응답 지연, 운영 중단 또는 과도한 사용금액이 발생할 수 있음을 설명합니다.

17. T12 사고·이상행위 모니터링 체계 부재

AI시스템이 공격받았는데도 이를 알 수 없다면 사고 대응이 어렵습니다.

가이드북은 사용자와 AI 간 입·출력, 사용이력 등에 대한 로그와 실시간 모니터링이 없으면 공격이나 이상행위를 탐지하기 어렵다고 설명합니다.

따라서 AI시스템에도 일반 정보시스템과 마찬가지로 로그와 모니터링 체계가 필요합니다.

특히 다음 항목을 검토할 수 있습니다.

• 누가 사용했는가?

• 언제 사용했는가?

• 어떤 시스템에서 접근했는가?

• 어떤 요청을 했는가?

• 어떤 결과가 생성되었는가?

• 평소와 다른 요청이 발생했는가?

• 호출량이 갑자기 증가했는가?

18. T13 AI시스템 권한관리 부실

AI가 다른 시스템을 직접 조작할 수 있도록 연결되는 순간 매우 중요한 문제가 됩니다.

예를 들어 AI가

• 데이터베이스 조회

• 문서 생성

• 이메일 발송

• 시스템 명령 실행

• 업무 시스템 등록

• 시설 제어

등을 할 수 있다고 가정해 보겠습니다.

AI에게 지나치게 많은 권한이 있다면 AI가 잘못된 판단을 했거나 공격자가 AI의 행동을 조작했을 때 피해가 확대될 수 있습니다.

가이드북은 AI가 사용자의 의사결정 없이 다른 시스템을 제어하거나 데이터를 수정하고, 사용자가 즉시 제어·중단하기 어려운 상황을 위험으로 제시합니다.

따라서 에이전틱 AI에서는 특히 최소권한 원칙(Least Privilege)과 중요 작업에 대한 사람의 승인(Human Approval)을 고려해야 합니다.

19. T14 공급망 공격

AI시스템은 하나의 제품만으로 구성되지 않습니다.

다음과 같은 다양한 외부 구성요소를 사용할 수 있습니다.

• 오픈소스 AI모델

• AI 프레임워크

• 라이브러리

• 벡터DB

• 외부 데이터

• API

• 클라우드 서비스

• 개발도구

따라서 공급망의 어느 한 부분이 공격받아도 전체 AI시스템에 영향을 줄 수 있습니다.

가이드북은 AI모델, 학습데이터, 라이브러리 등에 취약점이나 악성코드가 삽입되어 공급·배포되는 상황을 공급망 공격으로 설명합니다.

MITRE ATLAS 역시 AI가 기존 시스템의 공격표면을 확대할 수 있으며, AI에 특화된 공격 전술·기법·절차를 파악하고 위협평가 및 레드팀 활동에 활용할 수 있는 지식 기반을 제공합니다.

20. T15 용역업체 보안관리 부실

공공기관의 AI사업은 자체 개발만으로 이루어지지 않는 경우가 많습니다.

AI 구축·개발·데이터 라벨링·운영·유지보수 등을 외부 업체에 맡길 수 있습니다.

이 경우 기관이 보안을 잘 관리하더라도 협력업체의 보안관리 수준이 낮으면 AI모델이나 학습데이터가 유출될 수 있습니다.

가이드북 역시 용역업체를 통해 AI모델과 학습데이터가 외부로 유출되거나 오염될 수 있는 위험을 제시합니다.

따라서 AI사업에서는 시스템 자체뿐 아니라 사업자와 공급망에 대한 보안관리도 중요합니다.

21. AI 보안은 수명주기 전체에서 관리해야 한다

AI보안에서 중요한 개념 중 하나가 AI시스템 수명주기(Lifecycle)입니다.

가이드북은 AI시스템의 일반적인 수명주기를 다음과 같이 설명합니다.

데이터 수집 → AI 학습 → AI시스템 구축 → AI시스템 운영 → AI시스템 폐기

중요한 점은 보안이 운영단계에서만 필요한 것이 아니라는 것입니다.

① 데이터 수집

외부 데이터나 내부 데이터를 수집합니다.

이 단계에서 악성 데이터나 비인가 민감정보가 들어오지 않도록 해야 합니다.

② AI 학습

데이터를 이용하여 AI모델을 학습합니다.

학습데이터의 무결성과 접근권한 등을 관리해야 합니다.

③ AI시스템 구축

AI모델을 실제 서비스 환경에 배포하고 기존 정보시스템과 연결합니다.

API, RAG, 벡터DB, 외부 시스템 연계 등이 이 단계에서 중요한 요소가 될 수 있습니다.

④ AI시스템 운영

실제 사용자가 AI를 이용합니다.

이 단계에서는 프롬프트 인젝션, 민감정보 유출, 모델 추출, 회피 공격, 서비스 거부, 권한관리 등의 위험이 집중적으로 나타날 수 있습니다.

⑤ AI시스템 폐기

AI시스템을 더 이상 사용하지 않을 때 모델, 데이터, 인프라 등을 폐기합니다.

운영이 끝났다고 보안도 끝나는 것은 아닙니다.

폐기된 AI모델이나 학습데이터가 복구되거나 재사용되지 않도록 안전하게 삭제해야 합니다.

22. 공공기관 정보화 담당자가 특히 주목해야 할 부분

AI사업을 추진할 때 단순히 다음과 같은 질문만 해서는 부족합니다.

"AI를 도입할 수 있는가?"

다음과 같은 질문을 함께 해야 합니다.

AI 도입 전

• AI의 업무 목적은 무엇인가?

• 어떤 데이터를 사용할 것인가?

• 데이터의 보안등급은 무엇인가?

• 외부 AI서비스를 사용하는가?

• 내부망과 외부망을 연결하는가?

• AI모델은 어디에서 가져오는가?

• AI가 접근할 시스템은 무엇인가?

구축 단계

• AI모델의 출처를 확인했는가?

• 오픈소스 라이브러리의 무결성을 확인했는가?

• 학습데이터에 민감정보가 포함되어 있는가?

• RAG 데이터에 대한 접근권한을 분리했는가?

• API 연계구간을 보호했는가?

• AI에 과도한 권한을 부여하지 않았는가?

운영 단계

• AI 입력·출력 로그를 관리하는가?

• 이상행위를 탐지하는가?

• 프롬프트 인젝션을 테스트했는가?

• 모델 및 데이터 변경을 추적하는가?

• 취약점 및 보안업데이트를 관리하는가?

• 사고 발생 시 AI를 중지할 수 있는가?

폐기 단계

• AI모델을 안전하게 삭제했는가?

• 학습데이터를 안전하게 폐기했는가?

• 백업본까지 확인했는가?

• 용역업체가 보유한 데이터도 폐기했는가?

23. AI보안의 핵심은 "AI만 따로 보호하는 것"이 아니다

AI시스템은 독립적으로 존재하는 경우보다 기존 정보시스템과 연결되는 경우가 많습니다.

예를 들어,

사용자 → AI 서비스 → RAG → 벡터DB → 내부 DB → 업무시스템

과 같은 구조가 만들어질 수 있습니다.

이 경우 AI만 안전하게 만들어서는 충분하지 않습니다.

AI를 통해 연결되는 데이터와 시스템, API, 사용자 권한, 네트워크, 외부 서비스, 협력업체까지 함께 보호해야 합니다.

가이드북에서도 AI시스템 자체의 모델·데이터·인프라 등을 중심으로 보안대책을 제시하면서, 네트워크 등 일반적인 사이버보안 영역은 관련 국가 보안지침과 가이드라인을 함께 준수해야 한다고 명시하고 있습니다.

24. 국제적인 AI보안 관점과 비교하면?

「AI보안 가이드북」은 NIST AI RMF, ISO/IEC 42001, OWASP Top 10 for LLM, MITRE ATLAS, 영국 NCSC 가이드라인 등 다양한 국내외 자료를 참고해 AI 보안위협을 정리했다고 설명합니다.

각 자료는 접근 방식에 차이가 있지만 공통적으로 다음과 같은 방향을 강조합니다.

NIST AI RMF

AI를 설계·개발·배포·사용하는 전 과정에서 AI 위험을 체계적으로 관리하기 위한 프레임워크입니다. 2024년에는 생성형 AI에 특화된 Profile도 공개됐습니다.

OWASP GenAI Security Project

LLM 및 생성형 AI 애플리케이션에 특화된 보안위험을 다룹니다.

2025년 목록에는 Prompt Injection, Sensitive Information Disclosure, Supply Chain, Data and Model Poisoning, Excessive Agency, Vector and Embedding Weaknesses, Unbounded Consumption 등이 포함되어 있습니다.

MITRE ATLAS

AI에 대한 공격자의 전술과 기법을 실제 공격 관찰과 레드팀 사례 등을 바탕으로 정리하는 지식 기반입니다. AI 위협평가와 레드팀 활동 등에 활용할 수 있습니다.

ISO/IEC 42001

AI 시스템을 개발하거나 사용하는 조직이 AI 관리체계(AIMS)를 구축·운영·유지하고 지속적으로 개선하기 위한 국제표준입니다.

25. 공공기관 담당자를 위한 핵심 정리

「AI보안 가이드북」 제1장을 이해할 때 가장 중요한 것은 다음 다섯 가지입니다.

첫째, AI도 정보시스템이다.

AI는 새로운 기술이지만 기존 정보시스템의 보안위협에서도 자유롭지 않습니다.

둘째, AI에는 새로운 보호대상이 추가된다.

기존의 서버·네트워크·DB뿐만 아니라 AI모델, 학습데이터, 프롬프트, 입력·출력, 벡터DB 등을 보호해야 합니다.

셋째, 데이터가 곧 보안이다.

잘못된 데이터가 AI에 들어가면 AI의 판단과 결과도 영향을 받을 수 있습니다.

넷째, AI에게 주는 권한을 최소화해야 한다.

특히 에이전틱 AI처럼 AI가 다른 시스템을 직접 조작할 수 있는 경우 최소권한과 사람의 승인절차가 중요합니다.

다섯째, 보안은 AI사업 시작부터 폐기까지 계속되어야 한다.

수집 → 학습 → 구축 → 운영 → 폐기

전체 과정에서 보안위험을 관리해야 합니다.

26. 마무리

AI는 공공서비스의 생산성과 업무 효율을 높일 수 있는 중요한 기술입니다. 그러나 AI가 업무시스템과 데이터에 깊숙하게 연결될수록 기존 정보보안만으로는 충분하지 않을 수 있습니다.

「AI보안 가이드북」 제1장이 강조하는 핵심은 바로 여기에 있습니다.

AI를 도입하는 것과 AI를 안전하게 도입하는 것은 서로 다른 문제입니다.

공공기관의 AI사업에서는 AI모델 자체만 살펴보는 것이 아니라 데이터 → 모델 → 인프라 → 사용자 → 외부 연계 → 공급망 → 운영 → 폐기까지 하나의 보안체계로 바라볼 필요가 있습니다.

특히 생성형 AI에서 에이전틱 AI로 발전하면서 AI가 단순히 정보를 제공하는 것을 넘어 실제 업무를 수행하고 다른 시스템과 상호작용하는 방향으로 발전하고 있기 때문에, 앞으로는 AI의 정확성뿐만 아니라 AI가 무엇을 볼 수 있고, 무엇을 할 수 있으며, 문제가 발생했을 때 어떻게 통제하고 중단할 것인가가 중요한 보안 질문이 될 것입니다.

따라서 국가·공공기관의 정보화업무 담당자는 AI사업을 기획하는 초기 단계부터 AI의 목적과 데이터, 모델, 권한, 연계시스템, 공급망, 모니터링 및 사고대응 체계를 함께 검토하는 것이 중요합니다.

※ 본 글은 「AI보안 가이드북」 제1장의 내용을 바탕으로 이해를 돕기 위해 재구성한 설명이며, 실제 사업 추진 시에는 해당 가이드북과 국가정보원의 관련 지침·가이드라인 및 기관의 보안정책을 함께 확인해야 합니다.