왜 공공기관의 AI 보안이 중요한가?

AI는 단순한 소프트웨어 기능을 넘어 행정업무 자동화, 민원서비스, 데이터 분석, 의사결정 지원, 시설·제어시스템 등에 활용되는 핵심 정보화 기술로 빠르게 확대되고 있다.

특히 공공기관의 AI시스템은 일반적인 민간 서비스와 달리 개인정보, 행정정보, 내부업무자료, 정책자료, 중요 시스템의 운영정보 등 다양한 민감정보를 다룰 수 있다.

따라서 AI를 도입할 때 단순히 “AI 모델이 안전한가?”만 확인해서는 충분하지 않다.

AI보안가이드북은 AI시스템을 기존 정보통신시스템의 보안대상에 더해 AI모델, 학습데이터, 입력·출력 데이터 등 AI 특유의 보호대상까지 포함하는 시스템으로 설명한다. 모델이나 데이터가 변조되면 AI시스템 전체의 보안성·안전성·신뢰성에 영향을 줄 수 있기 때문이다.

AI보안가이드북 제2장은 이러한 AI 특유의 위협에 대응하기 위한 보안대책을 제시하면서 다음과 같은 구축·활용 유형을 구분한다.

내부망 전용 AI시스템
내부업무용 AI시스템의 외부망 연계
대민서비스용 AI시스템의 내부망 연계
상용 AI서비스 활용

또한 AI시스템을 구성하는 모델·데이터·인프라를 안전하게 구축하고 관리하는 방법에 초점을 맞추며, 그 밖의 일반적인 사이버보안 사항은 관련 국가 정보보안 지침과 가이드라인을 함께 적용하도록 설명한다.

AI보안은 기존 정보보안과 무엇이 다른가?

기존 정보시스템에서는 서버, 네트워크, 데이터베이스, 애플리케이션 등이 주요 보호대상이었다.

AI시스템에서는 여기에 다음과 같은 새로운 보호대상이 추가된다.

보호대상	주요 보안 고려사항
AI 모델	모델 변조, 백도어, 모델 추출
학습데이터	오염, 민감정보 포함, 비인가 접근
RAG 데이터	벡터DB 접근권한, 데이터 오염
프롬프트	프롬프트 인젝션, 민감정보 입력
AI 출력	민감정보 유출, 악성 출력
AI 인프라	GPU/NPU, 서버, 저장장치 등
AI 권한	과도한 시스템 제어권한
공급망	오픈소스 모델·라이브러리·외부 데이터
운영환경	로그, 모니터링, 이상행위 탐지

AI보안가이드북은 총 15개 AI시스템 보안위협(T01~T15)과 이에 대응하는 30개 보안대책(M01~M30)을 제시한다.

이러한 접근은 국제적인 AI 보안 프레임워크와도 방향성이 유사하다. NIST의 생성형 AI 프로파일은 AI 위험을 개발·배포·사용 등 AI 생애주기 전반에서 관리하도록 설명하고 있으며, OWASP 역시 2025년 LLM 보안 위험에서 프롬프트 인젝션, 민감정보 노출, 공급망, 데이터·모델 오염, 과도한 권한 등을 주요 위험으로 제시한다.

AI보안가이드북이 제시하는 30개 보안대책

AI보안가이드북의 제2장에서는 AI시스템에 적용할 수 있는 보안대책을 M01부터 M30까지 제시한다.

1. 신뢰할 수 있는 출처의 데이터 활용

AI 학습·재학습·평가에 사용하는 데이터는 어디에서 왔는지를 확인해야 한다.

공공기관에서는 특히 인터넷에서 무분별하게 데이터를 수집해 AI 학습에 사용하는 방식을 주의해야 한다.

확인할 사항은 다음과 같다.

데이터 공급자의 신원 확인
공식 사이트 또는 공공데이터 포털 등 신뢰 가능한 출처 확인
데이터 배포자의 정보 확인
전자서명 또는 인증서 등을 이용한 출처 검증
데이터의 수집 경로와 이력 관리

즉, “인터넷에서 구할 수 있는 데이터인가?”보다 “신뢰할 수 있는 출처에서 제공된 데이터인가?”가 중요하다.

AI보안가이드북도 데이터 공급자와 배포자를 함께 검증하고 신뢰할 수 있는 출처의 데이터를 사용하도록 권고한다.

2. 신뢰할 수 있는 AI모델·라이브러리 활용

공공기관에서 오픈소스 AI모델이나 라이브러리를 사용하는 경우에도 출처를 확인해야 한다.

특히 다음과 같은 절차가 유용하다.

다운로드 → 출처 확인 → 전자서명·해시 검증 → 별도 환경에서 검증 → 운영환경 적용

AI보안가이드북은 오픈소스 AI모델·라이브러리 등을 공식 사이트 등 신뢰 가능한 경로에서 확보하고, 전자서명과 해시값을 검증한 후 필요하면 샌드박스와 같은 별도 환경에서 안전성을 확인하도록 설명한다.

3. 데이터 검사

AI에 데이터를 넣기 전에 검증해야 한다.

검사 대상은 다음과 같다.

악성코드
AI 백도어
개인정보
민감정보
비정상 데이터
변조된 데이터
비정상적인 데이터 패턴

정규식이나 개인정보 탐지 도구를 이용할 수 있으며, 데이터의 스키마와 이상값을 검사하고 해시값·전자서명 등을 이용해 변경 여부도 확인할 수 있다.

4. 데이터 암호화

원시데이터와 학습데이터가 외부로 유출되거나 변조되지 않도록 적절한 암호화가 필요하다.

공공기관에서는 특히 암호화 알고리즘뿐 아니라 암호키 관리가 중요하다.

AI보안가이드북은 필요한 경우 HSM 또는 KMS 등을 통한 암호키 중앙관리 방안을 제시하고 있으며, 기밀정보가 포함되는 경우 관련 국가 기준과 사전 협의가 필요한 사항을 구분하고 있다.

5. 데이터 접근통제

AI가 모든 데이터를 볼 수 있도록 구성해서는 안 된다.

핵심 원칙은 최소권한(Least Privilege)이다.

예를 들어 인사 AI라면 모든 직원의 인사정보에 접근하도록 하는 대신 업무에 필요한 데이터만 접근하도록 구성해야 한다.

사용자·그룹·데이터별 권한을 세분화하고 관리자 계정에는 추가 인증수단을 적용할 수 있다.

6. 민감정보 사용 사전 승인

민감정보나 비공개 정보가 AI 학습·재학습에 사용되는 경우에는 기관 내부의 사전 승인절차가 필요하다.

실무적으로는 다음과 같은 절차를 만들 수 있다.

데이터 등록 → 민감정보 탐지 → 보안등급 확인 → 담당부서 검토 → 승인 → 학습

승인되지 않은 데이터는 AI 학습 단계로 넘어가지 않도록 자동 차단하는 방식도 고려할 수 있다.

7. 보안등급에 맞는 학습데이터 구성·활용

AI시스템의 보안등급과 데이터의 보안등급을 맞춰야 한다.

예를 들어 외부에 공개되는 대민 AI서비스에서 내부 비공개 행정자료를 그대로 학습시키는 것은 매우 위험하다.

AI보안가이드북은 외부에 노출되는 AI시스템의 경우 공개등급 데이터 활용 등을 고려하고, 민감·기밀 데이터는 별도 저장소와 권한으로 격리하는 방법을 제시한다. RAG를 구성하는 경우에도 사용자 권한에 맞는 벡터DB를 참조하도록 구성할 수 있다.

AI에서는 로그가 특히 중요하다

8. 데이터 로깅·모니터링

누가 데이터를 조회하고 변경했는지를 기록해야 한다.

예를 들어 학습데이터에 갑자기 새로운 파일이 추가되었다면 다음을 확인할 수 있어야 한다.

누가 추가했는가?
언제 추가했는가?
어떤 경로로 추가했는가?
기존 데이터와 무엇이 달라졌는가?

AI보안가이드북은 데이터 접근·변경 이벤트를 기록하고 SIEM 등과 연계하여 이상행위를 분석하는 방안을 제시한다.

9. AI시스템 로깅·모니터링

AI에서는 단순히 서버 접속 로그만 기록하는 것으로 부족할 수 있다.

다음과 같은 AI 사용행위를 관리해야 한다.

사용자 요청
AI 응답
접속 이력
프롬프트 패턴
과도한 호출
비정상적인 요청
권한 사용
주요 시스템 호출

특히 반복적인 민감정보 요청이나 비정상적인 프롬프트 패턴을 탐지하는 체계가 중요하다.

AI 공급망을 관리해야 한다

10. 데이터 수집 명세서 관리

AI 학습데이터에 대해서는 일종의 데이터 이력서가 필요하다.

예를 들면 다음과 같다.

데이터 목적
출처
수집일
수집자
수집방법
데이터 규모
해시값
변경이력

AI보안가이드북은 데이터 카탈로그와 형상관리시스템 등을 활용하여 이러한 이력을 관리하는 방안을 제시한다.

11. AI시스템 구성요소 명세서 관리

AI시스템을 구성하는 모든 요소를 파악해야 한다.

예:

AI 모델 + 데이터 + 벡터DB + 라이브러리 + GPU 서버 + API + 보안제품

각 구성요소에 대해 출처, 버전, 변경이력, 해시값 등을 관리하면 취약점이 발견됐을 때 영향을 받는 구성요소를 빠르게 파악할 수 있다.

12. 구성요소 무결성 검증

AI모델이나 라이브러리가 원본과 동일한지 확인해야 한다.

이를 위해 다음을 활용할 수 있다.

해시값
전자서명
무결성 검증
변경이력 관리

변조가 확인되면 사용을 차단하거나 정상 버전으로 복원하는 절차가 필요하다.

생성형 AI에서는 입력과 출력 모두 검사해야 한다

13. 입·출력 필터링

AI에 입력하는 데이터뿐 아니라 AI가 출력하는 데이터도 검사해야 한다.

예를 들어 사용자가 다음과 같이 질문했다고 가정해보자.

“내부 인사자료에서 특정 직원의 개인정보를 찾아줘.”

AI가 해당 정보를 출력한다면 보안사고가 발생할 수 있다.

따라서 AI-DLP와 같은 기술을 활용해 민감정보, 금칙어, 공격성 문구 등을 탐지하고 차단하는 체계를 고려할 수 있다.

AI보안가이드북은 단순 단어검색을 넘어 문장과 맥락을 이해할 수 있는 필터링을 권고한다.

14. 입력 길이·형식 제한

무제한 입력을 허용하면 공격자가 지나치게 큰 데이터나 비정상적인 형식의 요청을 반복해 시스템 자원을 소모시킬 수 있다.

따라서 다음을 제한할 수 있다.

프롬프트 길이
파일 크기
파일 종류
이미지 크기
요청 횟수
API 호출량

15. 가드레일 다중화

AI의 보안정책을 하나의 방어장치에만 의존하지 않는 것이 중요하다.

예를 들어,

사용자 인증 → 입력 필터 → 프롬프트 정책 → AI 모델 → 출력 필터 → 시스템 권한검사

처럼 여러 단계에서 방어하도록 설계할 수 있다.

OWASP의 2025년 LLM 보안자료에서도 프롬프트 인젝션, 민감정보 노출, 과도한 에이전트 권한 등이 주요 위험으로 다뤄지고 있어 다층적인 방어 설계가 중요하다는 점을 확인할 수 있다.

AI 모델 자체를 보호해야 한다

16. AI모델 구조·가중치 유출 방지

AI모델의 구조나 가중치가 외부에 노출되면 모델 복제나 분석 등에 악용될 수 있다.

따라서 모델 저장소 접근통제, API 호출제한, 모델 정보 노출 최소화 등을 고려해야 한다.

17. AI시스템 경계보안 강화

AI시스템이 외부망과 내부망 사이에 존재한다면 경계보안이 매우 중요하다.

특히 공공기관에서는 AI시스템 자체만 보호하는 것이 아니라 AI시스템을 통해 내부망으로 들어오는 경로까지 통제해야 한다.

망연계 구간에 중계서버, DMZ, 정보보호제품 등을 활용하고 AI시스템에 대한 외부 접근경로를 제한하는 방안을 고려할 수 있다.

18. AI시스템 통신구간 보호

사용자와 AI시스템 사이의 통신이 보호되지 않으면 입력정보나 출력정보가 노출될 수 있다.

따라서 기관의 보안정책과 관련 국가 기준에 따라 안전한 통신구간 보호를 적용해야 한다.

AI에게 지나치게 많은 권한을 주지 말 것

19. 과도한 권한 부여 제한

AI가 다른 시스템을 조회하거나 수정할 수 있다면 반드시 필요한 범위까지만 권한을 부여해야 한다.

예를 들어 AI에게 다음과 같은 권한을 모두 주는 것은 위험할 수 있다.

데이터 조회
데이터 수정
데이터 삭제
시스템 설정 변경
사용자 계정 관리

특히 AI가 자동으로 판단하고 실행하는 시스템이라면 AI의 오류가 곧 시스템의 실제 장애로 이어질 수 있기 때문이다.

OWASP도 2025년 LLM 위험에서 에이전트와 플러그인 등에 부여된 과도한 권한으로 인한 위험을 별도로 강조하고 있다.

20. 민감 명령 승인 절차 마련

AI가 중요한 작업을 수행하기 전에 담당자의 승인을 받도록 설계하는 것이다.

예:

AI 분석 → 명령 생성 → 담당자 확인 → 승인 → 실제 실행

특히 전력·교통·상하수도 등 제어시스템과 연결된 경우 중요하다.

AI보안가이드북의 AI 정수장 사례에서도 AI의 오판으로 안전사고가 발생하지 않도록 담당자의 의사결정 개입수단을 마련하고, 제어시스템을 폐쇄적으로 구성하며 상시 모니터링하도록 설명한다.

21. 비상대응 체계 마련

AI에 이상행위가 발생하면 즉시 다음과 같은 조치를 수행할 수 있어야 한다.

탐지 → 경보 → AI 기능 제한 → 연결시스템 차단 → 담당자 대응 → 복구

특히 자동화 수준이 높은 AI일수록 긴급 중단 기능(Kill Switch 또는 운영 중단 절차)을 사전에 준비하는 것이 중요하다.

AI 모델에 대한 공격을 사전에 시험하라

22. 설명 가능한 AI 구성

AI가 중요한 의사결정에 사용되는 경우 결과가 어떻게 도출되었는지 확인할 수 있는 방법을 고려해야 한다.

특히 공공기관의 행정업무나 중요 시설 운영 등에 AI를 사용하는 경우 결과의 근거와 판단과정을 추적할 수 있는 체계가 중요하다.

23. AI모델 대상 적대적 모의공격

실제 운영 전에 AI를 공격자의 입장에서 테스트해야 한다.

예:

프롬프트 인젝션
적대적 입력
모델 추출
민감정보 추출
우회 공격
비정상 입력
과도한 요청

OWASP의 LLM 보안 프로젝트 역시 LLM 애플리케이션의 취약점을 개발·배포·운영 과정에서 점검할 필요성을 강조하고 있다.

24. AI모델에 적대적 공격유형 학습

AI가 공격자의 입력에 쉽게 속지 않도록 적대적 공격 유형을 고려한 학습 또는 보완을 수행하는 것이다.

단순히 정상적인 데이터만 이용해 모델을 평가하는 것이 아니라 실제 공격 가능성을 반영한 테스트가 필요하다.

취약점 관리와 복구체계를 준비하라

25. 구성요소 취약점 점검 및 보안업데이트

AI시스템도 일반 소프트웨어와 마찬가지로 지속적인 취약점 관리가 필요하다.

점검 대상은 다음과 같다.

AI 모델
OS
AI 프레임워크
오픈소스 라이브러리
API
데이터베이스
벡터DB
서버
GPU 관련 소프트웨어

특히 오픈소스 AI 구성요소를 사용할 경우 버전과 출처를 관리해야 한다.

26. AI모델 복구

AI 모델이 변조되거나 오염되었을 경우 정상 모델로 복구할 수 있어야 한다.

따라서 운영기관은 다음을 준비할 필요가 있다.

정상 모델 백업 → 무결성 검증 → 이상 모델 격리 → 정상 모델 복구 → 재검증

27. 요청 속도 제한

AI서비스에 대한 과도한 호출을 제한해야 한다.

이는 서비스 거부 공격뿐만 아니라 예상하지 못한 AI 연산비용 증가를 줄이는 데도 도움이 된다.

OWASP 2025 LLM 보안자료에서도 기존의 서비스 거부 개념을 확장해 자원관리와 예상하지 못한 비용 증가를 포함한 Unbounded Consumption 위험을 다루고 있다.

AI시스템을 폐기할 때도 보안이 끝나지 않는다

28. AI시스템 구성요소 완전 삭제

AI시스템을 폐기할 때는 단순히 프로그램만 삭제해서는 안 된다.

다음 구성요소를 함께 확인해야 한다.

AI 모델
학습데이터
원시데이터
벡터DB
백업데이터
로그
저장장치

AI보안가이드북은 복구 및 재사용이 불가능하도록 완전삭제하는 방안을 제시한다.

외부업체와 사용자도 AI 보안의 일부다

29. 용역업체 보안관리

AI시스템은 개발·데이터 수집·학습·운영·유지보수 과정에서 외부업체가 참여하는 경우가 많다.

따라서 계약 단계부터 보안요구사항을 명확히 해야 한다.

예:

업체 계정 최소권한
불필요 계정 즉시 회수
정기 보안점검
데이터 반출 제한
취약점 발견 시 통지
AI모델 및 데이터 관리책임
로그 관리
보안사고 보고절차

AI보안가이드북은 용역업체가 참여하는 전 수명주기에서 보안관리와 정기점검을 수행하도록 제시한다.

30. 사용자 교육 및 보안정책 수립

AI 보안사고의 상당수는 기술만으로 해결하기 어렵다.

기관 사용자가 다음과 같은 원칙을 이해해야 한다.

기본 AI 보안수칙

① 공개 가능한 정보만 외부 AI에 입력

② 개인정보·민감정보를 임의로 입력하지 않기

③ 내부문서를 외부 AI에 업로드하기 전에 승인 여부 확인

④ AI가 생성한 결과를 그대로 업무에 적용하지 않기

⑤ AI 계정과 연결된 외부 클라우드 서비스 확인

⑥ 기관의 AI 보안정책과 승인절차 준수

AI보안가이드북 역시 사용자 교육과 기관 내부 보안정책 수립을 M30으로 제시한다.

구축 유형별로 무엇을 중점적으로 봐야 할까?

AI보안가이드북 제2장의 중요한 특징은 AI를 어디에 구축하고 어떤 네트워크와 연결하는지에 따라 보안대책의 우선 고려사항을 달리한다는 점이다.

유형 ① 내부망 전용 AI시스템

내부망에서만 AI를 운영하는 방식이다.

주요 특징은 외부망과 직접 연결하지 않고 내부 업무자료를 활용할 수 있다는 것이다.

핵심 보안 포인트

외부망과 물리적·논리적 분리
사용자별 데이터 접근권한
보안등급에 맞는 학습데이터
업무시스템에 대한 최소권한
민감 명령에 대한 담당자 승인
AI시스템 상시 모니터링
비상중단 및 대응체계

AI보안가이드북은 내부망 전용 AI시스템에서도 중요 업무시스템이나 데이터와 연계할 경우 과도한 권한을 제한하고 통제수단을 마련해야 한다고 설명한다.

유형 ② 내부업무용 AI시스템 + 외부망 연계

내부 AI가 인터넷이나 외부 데이터 등을 활용하는 형태다.

예:

AI 신고접수
외부 문서 위변조 검증
웹 검색 기반 AI
외부 데이터 분석

가장 중요한 문제는 외부에서 들어오는 데이터가 안전한가?이다.

따라서 다음을 고려해야 한다.

외부 데이터 수집 → 데이터 검사 → 악성·오염 데이터 제거 → AI 활용

또한 내부 AI가 생성한 결과를 외부로 전달할 때도 민감정보가 포함되어 있는지 검사해야 한다.

AI보안가이드북은 외부망과 내부망의 접점에 중계서버와 정보보호제품 등을 활용한 경계보안 및 DMZ 구성 등을 고려하도록 설명한다.

유형 ③ 대민서비스용 AI + 내부망 연계

국민이 인터넷을 통해 AI서비스를 사용하고 AI가 기관 내부자료를 활용하는 구조다.

예:

기관 특화 정보검색 챗봇
AI 민원안내
생활정보 안내
병해충 예측정보 서비스

이 경우 가장 중요한 위험은 외부 사용자의 입력을 통해 내부 정보가 노출되는 것이다.

따라서 다음이 중요하다.

입력 필터링
출력 필터링
요청속도 제한
보안등급에 맞는 데이터 활용
내부망 경계보안
AI시스템 로깅·모니터링
적대적 공격 테스트

AI보안가이드북 역시 이 유형에서 외부 사용자가 입력하는 텍스트·문서 등에 의해 민감정보가 유출되지 않도록 필터링 및 모니터링 체계를 중점적으로 고려하도록 제시한다.

상용 AI서비스를 사용할 때 주의할 점

공공기관에서 ChatGPT, Gemini 등 상용 AI서비스를 업무에 활용하는 경우에도 AI보안대책이 필요하다.

AI보안가이드북은 상용 AI서비스를 이용할 때 특히 다음 세 가지를 강조한다.

① 기관 내부정보 입력 방지

상용 AI에 기관의 민감정보나 비공개 문서를 그대로 입력하지 않도록 해야 한다.

② 내·외부망 접점 보호

상용 AI서비스를 기관 내부 시스템과 연계할 경우 해당 연결구간이 공격경로가 될 수 있다.

③ 사용자 교육 및 보안설정

사용자가 서비스의 보안설정을 제대로 사용하도록 교육해야 한다.

AI보안가이드북은 외부 상용 AI서비스를 단순 구독해 사용하는 경우에도 공개 가능한 수준의 데이터를 활용하고, 민감정보 필터링·로깅·모니터링과 함께 AI모델 개선·학습 기능의 설정 등을 검토하도록 권고한다.

공공기관 정보화 담당자를 위한 AI 도입 절차

실제 사업에서는 다음과 같은 순서로 접근하면 이해하기 쉽다.

STEP 1. AI 도입 목적 정의

먼저 AI가 무엇을 해야 하는지 명확히 정의한다.

예:

민원 응대
문서 검색
업무 자동화
데이터 분석
예측
의사결정 지원

STEP 2. AI시스템 구축 유형 결정

다음 중 어디에 해당하는지 판단한다.

내부망 전용인가?

외부망과 연계하는가?

대민서비스인가?

상용 AI서비스를 사용하는가?

STEP 3. 데이터 등급 분류

AI가 사용하는 데이터를 다음과 같이 분류한다.

공개 / 민감 / 비공개 / 기밀 등 기관 기준에 따른 분류

STEP 4. AI 권한 설계

AI가 어떤 시스템과 데이터에 접근할 수 있는지 결정한다.

가능하면 처음부터 최소권한으로 설정한다.

STEP 5. 입력·출력 보안 설계

개인정보 탐지
민감정보 탐지
파일 업로드 제한
프롬프트 제한
출력 필터링

등을 설계한다.

STEP 6. 로그·모니터링 설계

최소한 다음 행위를 추적할 수 있도록 한다.

누가 → 언제 → 어떤 AI에 → 무엇을 입력하고 → 무엇을 받았으며 → 어떤 시스템을 호출했는가

STEP 7. 공격 테스트

운영 전에 프롬프트 인젝션, 데이터 추출, 권한 우회, 비정상 입력 등의 공격 시나리오를 점검한다.

STEP 8. 비상대응

AI가 이상동작할 경우 즉시 서비스를 제한하거나 중단할 수 있어야 한다.

STEP 9. 운영 중 지속 점검

AI 보안은 구축 완료로 끝나지 않는다.

모델·데이터·라이브러리·시스템 업데이트 과정에서 새로운 위험이 발생할 수 있기 때문이다.

STEP 10. 폐기까지 관리

AI모델, 데이터, 백업본, 저장장치 등을 안전하게 폐기한다.

국제 AI 보안 기준과 함께 보면 이해가 쉬워진다

AI보안가이드북은 NIST AI RMF, ISO/IEC 42001, OWASP Top 10 for LLM, MITRE ATLAS, 영국 NCSC 자료 등을 참고해 AI 보안위협과 대책을 정리했다고 설명한다.

국제 기준을 함께 보면 다음과 같이 이해할 수 있다.

AI보안가이드북 관점	국제 자료에서 연결되는 개념
데이터 검사	AI 위험관리 및 데이터·모델 검증
프롬프트 인젝션 대응	OWASP Prompt Injection
민감정보 보호	Sensitive Information Disclosure
공급망 관리	Supply Chain
데이터·모델 오염	Data and Model Poisoning
권한 제한	Excessive Agency
로깅·모니터링	보안 모니터링 및 사고대응
수명주기 관리	NIST AI RMF
조직 차원의 관리	ISO/IEC 42001

NIST AI RMF는 AI 위험을 조직의 목표와 위험수용 수준에 맞춰 관리하고 AI 생애주기의 다양한 단계에서 위험을 고려하는 프레임워크이며, ISO/IEC 42001은 조직이 AI 관리체계를 수립·운영·유지·지속 개선하기 위한 국제표준이다.

공공기관 AI 구축사업에서 꼭 확인해야 할 체크리스트

실무 담당자라면 다음 질문에 답할 수 있는지 확인하는 것이 좋다.

데이터

AI 학습데이터의 출처를 확인했는가?
개인정보·민감정보를 식별했는가?
데이터의 보안등급을 분류했는가?
데이터 변조 여부를 검사하는가?
데이터 접근권한을 분리했는가?
데이터 변경 이력을 기록하는가?

모델

AI모델의 출처를 확인했는가?
오픈소스 모델의 버전과 해시를 관리하는가?
모델 무결성을 검증하는가?
모델 추출 위험을 검토했는가?
적대적 공격 테스트를 수행했는가?
모델 장애·오염 시 복구할 수 있는가?

시스템

AI시스템의 구축 유형을 분류했는가?
내부망·외부망 연결구간을 식별했는가?
경계보안을 적용했는가?
통신구간을 보호하는가?
AI에 최소권한만 부여했는가?
중요한 명령에 사람의 승인을 요구하는가?

생성형 AI

프롬프트 인젝션에 대응하는가?
입력정보를 필터링하는가?
출력정보를 필터링하는가?
파일 업로드를 제한하는가?
요청속도를 제한하는가?
AI 사용행위를 모니터링하는가?

운영

AI시스템 로그를 수집하는가?
이상행위를 탐지하는가?
비상중단 절차가 있는가?
취약점 및 보안업데이트 절차가 있는가?
용역업체의 보안책임을 계약서에 반영했는가?
사용자 보안교육을 실시하는가?

폐기

AI모델을 안전하게 삭제하는가?
학습데이터를 완전삭제하는가?
백업 데이터도 확인하는가?
폐기 후 복구 불가능 여부를 검증하는가?

가장 중요한 것은 'AI 보안은 AI 도입 후가 아니라 설계 단계부터'라는 점

AI보안가이드북은 AI시스템의 개발계획 단계에서부터 Security by Design, 즉 보안내재화를 고려할 필요가 있다고 설명한다. AI시스템의 목적과 요구기능을 정의할 때부터 보안위험을 평가하고 보안요구사항을 명확히 해야 한다.

이는 실제 공공기관 AI사업에서 매우 중요한 의미를 가진다.

AI 구축이 완료된 후 보안을 추가하려 하면 다음과 같은 문제가 발생할 수 있다.

데이터 구조를 다시 변경해야 함
네트워크 구조를 다시 설계해야 함
권한체계를 다시 구축해야 함
필터링 시스템을 추가해야 함
로그 수집체계를 다시 구성해야 함
사업비와 일정이 증가할 수 있음

따라서 AI사업 기획 단계에서부터 다음 질문을 해야 한다.

“이 AI가 무엇을 할 수 있는가?”

뿐만 아니라

“이 AI가 무엇을 해서는 안 되는가?”

를 동시에 정의해야 한다.

공공기관 AI 보안은 '모델 보안'이 아니라 '시스템 전체 보안'이다

AI보안가이드북 제2장의 핵심을 하나의 문장으로 정리하면 다음과 같다.

AI 보안은 AI 모델 하나를 보호하는 것이 아니라 데이터·모델·인프라·사용자·권한·네트워크·공급망·운영·폐기까지 AI시스템 전체를 보호하는 것이다.

특히 공공기관에서는 AI가 내부 행정자료나 중요 업무시스템과 연결될 수 있기 때문에 단순한 생성형 AI 사용 가이드 수준을 넘어 체계적인 시스템 보안 설계가 필요하다.

AI보안가이드북은 이를 위해 30개 보안대책을 제시하고, 내부망 전용 AI, 내부업무용 AI의 외부망 연계, 대민서비스용 AI의 내부망 연계, 상용 AI서비스 등 실제 구축 유형에 따라 중점적으로 검토해야 할 사항을 구분하고 있다.

또한 AI시스템은 국가·공공기관의 정보화사업으로 추진되는 만큼, AI 특유의 보안대책뿐 아니라 해당 사업에 적용되는 국가 정보보안 관련 지침과 보안성검토 절차도 함께 고려해야 한다. AI보안가이드북은 AI시스템을 첨단 정보통신기술을 활용하는 시스템으로 보고 정보화사업 추진 시 관련 보안성검토 절차를 준수하도록 안내한다.

결국 공공기관의 AI 도입에서 가장 중요한 것은 “AI를 사용할 수 있는가?”가 아니라 “어떤 데이터와 권한을 가진 AI를 어떤 경계 안에서 어떻게 통제하면서 사용할 것인가?”를 먼저 설계하는 것이다.