에이전틱·피지컬 AI 시대의 보안대책

국가·공공기관 정보화 담당자가 알아야 할 AI 에이전트와 피지컬 AI 보안

한눈에 보는 핵심

생성형 AI가 질문에 답하거나 콘텐츠를 만들어주는 단계를 넘어, 이제는 스스로 계획을 세우고 외부 시스템을 호출해 업무를 수행하는 에이전틱 AI(Agentic AI)와 로봇·드론·차량 등 물리장치를 직접 제어하는 피지컬 AI(Physical AI)가 등장하고 있습니다.

국가·공공기관의 관점에서 중요한 변화는 단순합니다.

AI가 '답변하는 시스템'에서 '행동하는 시스템'으로 변화하고 있다는 것입니다.

따라서 기존의 AI 보안대책만으로는 충분하지 않을 수 있습니다. AI가 어떤 데이터를 기억하는지, 어떤 도구를 호출하는지, 어떤 권한을 갖는지, 다른 AI와 어떻게 통신하는지, 그리고 물리장치를 어떻게 제어하는지를 함께 관리해야 합니다.

AI보안가이드북은 에이전틱 AI에 대해 11개 보안위협(A01~A11)과 17개 보안대책(A-M01~A-M17)을, 피지컬 AI에 대해서는 5개 보안위협(P01~P05)과 10개 보안대책(P-M01~P-M10)을 제시하고 있습니다.

왜 지금 에이전틱·피지컬 AI 보안인가?

AI 기술은 예측형 AI에서 생성형 AI로 발전한 뒤, 최근에는 자율적으로 계획하고 행동하는 에이전틱 AI와 물리적 환경에서 행동하는 피지컬 AI로 영역이 확장되고 있습니다.

AI보안가이드북 역시 이러한 변화를 반영해 제3장에서 에이전틱 AI와 피지컬 AI를 별도로 다루고 있습니다. 특히 새로운 기술은 실제 공공기관 구축 사례와 위협 유형이 계속 변화할 수 있으므로 신규 시스템 구축 시 관련 보안대책을 검토하고 필요할 경우 국가정보원과 협의해 보안대책을 수립하도록 안내하고 있습니다.

NIST 역시 AI 에이전트가 단순히 정보를 생성하는 것을 넘어 도구를 이용해 인터넷 검색, 소프트웨어 개발 등의 행동을 수행할 수 있기 때문에 기존 AI와 다른 보안·신뢰성 위험을 관리해야 한다고 설명하고 있습니다.

OWASP도 에이전틱 AI의 주요 공격면을 추론, 메모리, 도구, 신원, 인간 감독, 다중 에이전트 상호작용 등으로 구분해 설명하고 있습니다.

에이전틱 AI란 무엇인가?

기존 생성형 AI를 간단하게 표현하면 다음과 같습니다.

사용자 → 질문 → AI → 답변

반면 에이전틱 AI는 다음과 같은 과정을 수행할 수 있습니다.

사용자 요청 → 목표 분석 → 계획 수립 → 필요한 정보 검색 → 외부 도구 호출 → 결과 확인 → 다음 작업 수행 → 최종 결과 제공

즉, AI가 단순한 '답변자'에서 업무 수행을 위한 실행 주체로 변화하는 것입니다.

AI보안가이드북에서는 에이전틱 AI를 특정 목표를 해결하기 위해 여러 AI 에이전트가 상호작용하면서 계획 수립, 외부 정보 활용, 도구 호출 등을 사용자의 개입 없이 자율적으로 수행하는 시스템으로 설명합니다.

주요 구성요소

에이전틱 AI에는 일반적인 AI 모델 외에도 다음과 같은 구성요소가 포함될 수 있습니다.

AI 모델
계획 수립 기능
단기·장기 메모리
외부 도구
API
데이터베이스
MCP 서버
에이전트 간 통신
다른 AI 에이전트
사용자 승인 및 통제 기능

특히 MCP(Model Context Protocol)와 같은 프로토콜을 이용하면 AI 에이전트가 이메일, 캘린더, 데이터베이스, 업무 시스템 등의 외부 도구와 연결될 수 있습니다. AI보안가이드북은 MCP를 AI 에이전트와 외부 도구·데이터·API 간 상호작용을 표준화하는 연결 방식으로 소개합니다.

공공기관에서 생각해볼 수 있는 에이전틱 AI

AI보안가이드북에서는 에이전틱 AI를 활용한 행정 원스톱 서비스를 사례로 제시합니다.

예를 들어 사용자가 다음과 같이 요청한다고 가정해 보겠습니다.

"10월 27일부터 31일까지 부산 출장 일정을 준비해 주세요."

에이전틱 AI는 다음 작업을 자동으로 수행할 수 있습니다.

사용자의 요청 분석
과거 출장정보 확인
출장계획 작성
일정 확인
교통편 검색
행정포털 조회
필요한 문서 검색
결과 종합
사용자에게 최종 결과 제공

즉, 하나의 AI가 모든 일을 직접 수행한다기보다 여러 도구와 AI 에이전트를 연결하여 하나의 목표를 달성하는 구조가 될 수 있습니다. AI보안가이드북은 이러한 사례에서 호출 가능한 도구를 화이트리스트로 관리하고, AI 에이전트의 권한을 최소화하며, 이상행위를 모니터링하는 방안을 제시합니다.

에이전틱 AI에서 무엇이 위험한가?

AI보안가이드북은 다음 11가지 위협을 제시합니다.

위협	쉽게 이해하면
A01 학습데이터 오염	AI가 잘못된 데이터를 학습
A02 AI 메모리 오염	AI의 기억에 악성 정보가 들어감
A03 잘못된 도구 사용	AI가 위험하거나 변조된 도구를 사용
A04 AI의 무단 권한 침해	AI가 허용범위를 넘어 작업
A05 자원 과부하	AI가 지나치게 많은 자원을 사용
A06 AI의 목표 조작	AI가 잘못된 목표를 따라감
A07 AI의 잘못된 행동 수행	AI가 금지된 행동을 실행
A08 사고·이상행위 탐지 불가	AI 행동을 추적하지 못함
A09 과도한 인간 개입	승인 요청이 지나치게 많아짐
A10 에이전트 간 통신 공격	AI 간 통신에 악성정보가 개입
A11 구성요소 취약점	MCP 등 연결 구성요소가 공격받음

여기서 기존 생성형 AI와 가장 큰 차이는 AI가 실제 행동을 할 수 있다는 점입니다.

예를 들어 일반 챗봇이 잘못된 답변을 한다면 정보 오류 문제로 끝날 수 있습니다.

하지만 에이전틱 AI가 다음과 같은 권한을 가지고 있다면 상황이 달라집니다.

이메일 발송
파일 삭제
DB 수정
결제
행정시스템 입력
일정 변경
외부 API 호출

AI의 잘못된 판단이 실제 업무 수행으로 연결될 수 있기 때문입니다.

에이전틱 AI 보안의 핵심은 '최소 권한 + 승인 + 통제'

AI보안가이드북이 제시하는 핵심 방향은 AI에게 필요한 만큼만 권한을 주고, 중요한 행동은 통제하는 것입니다.

사용할 수 있는 도구를 화이트리스트로 제한

AI가 인터넷에 존재하는 모든 API나 도구를 자유롭게 사용할 수 있도록 구성하는 것은 위험할 수 있습니다.

예를 들어 행정업무 AI가 사용할 수 있는 도구를 다음과 같이 제한할 수 있습니다.

허용
├─ 행정포털 조회
├─ 내부 문서 검색
├─ 일정 조회
└─ 승인된 공공 API

차단
├─ 미등록 외부 API
├─ 개인 이메일
├─ 임의 파일 업로드
└─ 미검증 MCP 서버

AI보안가이드북의 A-M04 화이트리스트 기반 도구 사용이 이러한 통제에 해당합니다.

OWASP 역시 AI 에이전트의 도구 오용과 과도한 권한을 중요한 보안위험으로 보고 있습니다.

AI에게 관리자 권한을 주지 말아야 하는 이유

공공기관 AI 구축에서 특히 중요한 부분입니다.

예를 들어 AI가 다음 권한을 모두 가지고 있다고 가정해 보겠습니다.

AI Agent
 ├─ DB 조회
 ├─ DB 수정
 ├─ 파일 삭제
 ├─ 이메일 발송
 ├─ 시스템 설정 변경
 └─ 외부 API 호출

AI의 판단이나 외부 공격으로 인해 문제가 발생하면 피해 범위가 매우 커집니다.

따라서 업무별로 권한을 세분화해야 합니다.

출장 AI
 ├─ 출장정보 조회       O
 ├─ 일정 등록           O
 ├─ 교통정보 조회       O
 ├─ 인사정보 수정       X
 ├─ 시스템 설정 변경    X
 └─ 관리자 계정 사용    X

AI보안가이드북에서는 이를 A-M11 과도한 권한 부여 제한으로 제시합니다. 또한 민감한 명령은 담당자 승인 후 수행하도록 A-M12 민감 명령 승인 절차를 마련하도록 합니다.

모든 AI 행동을 승인받게 하면 안전할까?

그렇다고 모든 작업마다 사람의 승인을 요구하는 것도 좋은 설계는 아닙니다.

예를 들어 AI가 단순한 조회 작업을 할 때마다 담당자에게 승인 요청을 한다면 다음과 같은 상황이 발생할 수 있습니다.

AI → 승인 요청
담당자 → 승인

AI → 승인 요청
담당자 → 승인

AI → 승인 요청
담당자 → 승인
...

결국 담당자가 승인 요청을 습관적으로 처리하는 승인 피로(Approval Fatigue)가 발생할 수 있습니다.

AI보안가이드북은 이를 A09 과도한 인간 개입 유발로 인한 과부하로 설명하고, 민감 명령에 대해서는 승인 임계값을 설정하는 A-M13을 제시합니다.

따라서 실무에서는 다음과 같이 구분할 수 있습니다.

작업	권장 통제
공개정보 조회	자동
내부 일반자료 조회	조건부 자동
민감정보 조회	승인
데이터 수정	승인 또는 제한
외부 전송	승인
결제	명시적 승인
시스템 설정 변경	원칙적으로 차단 또는 별도 승인
안전·중요시설 제어	강력한 인간 통제

AI의 '기억'도 보안대상이다

에이전틱 AI의 중요한 특징 중 하나는 메모리입니다.

AI보안가이드북은 단기 메모리와 장기 메모리를 구분합니다.

단기 메모리

현재 세션의 대화나 작업정보 등이 저장됩니다.

장기 메모리

과거 사용자 상호작용이나 외부 지식을 저장할 수 있으며, RAG 벡터DB 등이 활용될 수 있습니다.

문제는 공격자가 AI의 메모리에 잘못된 정보를 삽입할 경우입니다.

예를 들어:

정상 정보
↓
AI 메모리
↓
공격자가 악성 정보 삽입
↓
AI가 해당 정보를 사실로 기억
↓
다음 업무에서 잘못된 행동 수행

따라서 AI보안가이드북은 A-M02 메모리 검사를 통해 AI가 사용하는 단기·장기 메모리의 이상 여부를 정기적으로 확인하도록 제시합니다.

OWASP도 AI 에이전트의 주요 위험으로 Memory Poisoning을 별도로 다루고 있습니다.

에이전트 간 통신도 새로운 공격면

여러 AI 에이전트가 협력하는 경우 다음과 같은 구조가 만들어질 수 있습니다.

사용자
  ↓
총괄 Agent
  ├── 문서검색 Agent
  ├── 일정관리 Agent
  ├── 예산 Agent
  └── 보고서 Agent

이때 한 에이전트가 공격받으면 다른 에이전트로 악성 정보가 전달될 수 있습니다.

AI보안가이드북은 이를 A10 AI 에이전트 간 통신 공격으로 분류하고 다음과 같은 대응책을 제시합니다.

A-M08 악성행위 전파 차단
A-M15 AI 에이전트 신원 확인
A-M16 통신구간 보호

따라서 다중 에이전트 구조에서는 AI도 하나의 네트워크 주체처럼 식별·인증·권한관리해야 합니다.

MCP 서버와 외부 도구는 반드시 관리해야 한다

에이전틱 AI가 강력해지는 이유 중 하나는 외부 도구를 사용할 수 있기 때문입니다.

하지만 이것은 동시에 공격면이 늘어난다는 의미입니다.

AI
 ↓
MCP 서버
 ↓
외부 도구
 ↓
이메일 / DB / API / 파일 / 업무시스템

MCP 서버나 연결된 도구에 취약점이나 악성코드가 존재한다면 AI가 정상적인 요청을 수행하는 과정에서 공격이 발생할 수 있습니다.

AI보안가이드북은 이를 A11 구성요소 취약점으로 인한 악성행위 수행으로 분류하고, 정기적인 구성요소 취약점 점검과 보안업데이트를 요구합니다.

따라서 공공기관은 MCP 서버를 단순한 '연동 프로그램'으로 생각하기보다 AI 시스템의 중요한 보안 구성요소로 관리할 필요가 있습니다.

피지컬 AI란 무엇인가?

피지컬 AI는 AI가 실제 물리적 장치를 통해 환경과 상호작용하는 시스템입니다.

대표적으로 다음과 같은 분야가 있습니다.

순찰 로봇
로봇팔
드론
자율주행 시스템
스마트 제조
시설관리 로봇
의료기기
물류 로봇

AI보안가이드북에서는 피지컬 AI의 기본 흐름을 다음과 같이 설명합니다.

센서 → 전처리 → 인식 → 의사결정 → 구동기 → 물리적 행동

예를 들어 순찰 로봇이라면:

카메라 / LiDAR / 마이크
        ↓
    센서 데이터
        ↓
      전처리
        ↓
      AI 인식
        ↓
     상황 판단
        ↓
     행동 결정
        ↓
 모터·로봇팔 등 구동기
        ↓
     실제 행동

여기서 보안사고가 단순한 정보 유출에 그치지 않고 사람이나 시설에 물리적 영향을 줄 수 있다는 점이 핵심입니다.

NIST도 AI 기반 로봇 시스템에서는 AI와 로봇공학 양쪽의 기술적 문제를 함께 고려하고, 실제 환경에서의 성능과 안전성을 평가할 필요성을 강조하고 있습니다.

피지컬 AI의 5가지 주요 보안위협

AI보안가이드북은 피지컬 AI에 대해 다음 5개 위협을 제시합니다.

P01. AI 백도어 및 오동작

특정 조건에서 AI가 잘못된 행동을 하도록 만들어 놓는 공격입니다.

예:

특정 위치에 접근하면 순찰로봇이 정상적인 경로를 벗어나도록 만드는 경우

P02. 과도한 연산 및 자원 과부하

AI에게 지나치게 많은 연산을 수행하게 만들어 배터리 소모, 발열, 제어 지연 등을 발생시킬 수 있습니다.

P03. 회피 공격

물리적 환경에 특정 패턴 등을 만들어 카메라나 AI가 사람이나 장애물을 잘못 인식하도록 하는 공격입니다.

P04. 센서정보 전처리 공격

센서 데이터가 AI에 전달되기 전 과정에 잘못된 정보를 삽입하여 오동작을 유발하는 공격입니다.

P05. 물리적 안전 위협

외부 공격으로 AI가 통제되지 않거나 예측하지 못한 행동을 수행하면서 사람이나 시설에 피해를 발생시킬 수 있습니다.

피지컬 AI에서는 '안전모드'가 핵심

피지컬 AI에서는 보안과 안전을 분리해서 생각하기 어렵습니다.

AI가 잘못된 판단을 하더라도 최종적으로 위험한 행동까지 이어지지 않도록 안전장치가 여러 단계로 존재해야 합니다.

AI보안가이드북의 P-M05 안전모드 동작은 피지컬 AI가 허용된 행동범위를 벗어나거나 발열·전력 등의 안전 임계치를 초과할 경우 자동으로 동작을 중지하거나 안전모드로 전환하도록 구성하는 방안입니다.

예를 들어 로봇의 경우:

정상
 ↓
이상행위 감지
 ↓
속도 제한
 ↓
동작 중지
 ↓
안전모드
 ↓
관리자 확인
 ↓
복구 또는 수동 제어

이러한 구조는 특히 공공시설·전력·정수·교통 등 중요한 시설에 피지컬 AI를 적용할 때 중요합니다.

센서도 보안대상이다

피지컬 AI에서는 AI 모델만 보호해서는 충분하지 않습니다.

카메라, 마이크, LiDAR 등 센서가 잘못된 정보를 전달하면 AI가 아무리 정상적인 모델이라도 잘못된 판단을 할 수 있습니다.

따라서 다음과 같은 보호가 필요합니다.

센서 입력 범위 제한

AI보안가이드북의 P-M07 센서 입력 범위 설정은 비정상적으로 크거나 작은 센서 데이터가 입력되어 오작동하지 않도록 입력 범위를 설정하는 방법입니다.

센서 통신 보호

센서와 AI, AI와 구동기 사이의 통신도 보호해야 합니다.

AI보안가이드북은 P-M08 피지컬 AI 통신구간 보호를 통해 센서와 AI, 구동기와 AI 사이의 통신에 암호화 등 보안조치를 적용하도록 제시합니다.

물리적인 장치 자체도 공격받을 수 있다

피지컬 AI가 야외나 시설 현장에 설치된다면 공격자는 네트워크뿐만 아니라 장치 자체에 접근할 수 있습니다.

예:

USB 포트 공격
디버그 포트 접근
저장장치 탈취
센서 케이블 변조
장치 분해
통신장비 조작

AI보안가이드북은 이를 고려해 P-M06 하드웨어 보안성 강화를 제시하며, 외부에 노출된 통신 포트나 USB 포트 등을 물리적으로 보호하는 방안을 제시합니다.

국가·공공기관 정보화 담당자를 위한 실무 체크포인트

에이전틱·피지컬 AI 사업을 추진한다면 사업계획 단계에서 다음 질문을 먼저 확인하는 것이 좋습니다.

① AI가 단순히 답변만 하는가?

예 → 일반 AI 보안대책 중심
아니오 → 에이전틱 AI 보안 검토

② AI가 외부 도구를 호출하는가?

어떤 도구인가?
누가 제공하는가?
도구의 권한은 무엇인가?
화이트리스트를 적용했는가?
취약점 점검을 했는가?

③ AI가 데이터를 수정할 수 있는가?

DB 수정
파일 삭제
문서 변경
시스템 설정 변경

가능하다면 최소권한과 승인절차를 검토해야 합니다.

④ AI가 민감정보에 접근하는가?

그렇다면:

데이터 등급
접근권한
저장위치
전송구간
로그
외부 전송 여부

를 함께 검토해야 합니다.

⑤ AI가 다른 AI와 통신하는가?

그렇다면 AI 에이전트별 신원확인과 권한분리, 통신구간 보호가 필요합니다.

⑥ AI가 실제 물리장치를 제어하는가?

그렇다면 다음을 추가 검토해야 합니다.

허용 행동목록
최소권한
센서 보안
통신 보안
안전모드
비상정지
물리적 장치 보호
운영 모니터링

공공기관 에이전틱 AI 보안 아키텍처를 생각해보면

다음과 같은 구조를 고려할 수 있습니다.

                 [사용자]
                    │
                    ▼
             [AI Agent Gateway]
                    │
          ┌─────────┴─────────┐
          │                   │
      [정책/권한]          [모니터링]
          │                   │
          └─────────┬─────────┘
                    ▼
              [AI Agent]
                    │
        ┌───────────┼───────────┐
        ▼           ▼           ▼
     [Memory]    [MCP]      [Other Agent]
                    │
          ┌─────────┼─────────┐
          ▼         ▼         ▼
        업무DB     일정       승인 API

핵심은 AI 자체만 보호하는 것이 아니라 AI 주변의 메모리·도구·API·다른 에이전트·권한·통신까지 함께 보호하는 것입니다.

피지컬 AI 보안 아키텍처

피지컬 AI는 다음과 같은 다중 방어 구조를 고려할 수 있습니다.

              [물리 환경]
                   ↓
       카메라 / LiDAR / 센서
                   ↓
            [센서 검증]
                   ↓
              [AI 모델]
                   ↓
            [행동 검증]
                   ↓
          [권한/정책 확인]
                   ↓
          ┌──────────────┐
          │ 정상 행동인가? │
          └──────┬───────┘
             Yes │ No
                 │
                 ↓
             [안전모드]
                 │
                 ↓
             [비상정지]

이러한 구조에서는 AI의 판단 결과를 그대로 구동기에 전달하지 않고 정책·안전·권한 검증 계층을 추가하는 것이 중요합니다.

실제 구축사업에서는 'AI 보안 요구사항'으로 만들어야 한다

AI보안대책을 단순한 설명자료로 끝내면 실제 사업에서 적용하기 어렵습니다.

정보화사업의 제안요청서나 보안요구사항에 다음과 같은 항목을 구체적으로 반영할 수 있습니다.

에이전틱 AI

승인된 도구만 호출할 수 있도록 도구 화이트리스트를 구성할 것
AI 에이전트에 최소권한을 적용할 것
민감 명령에 대한 담당자 승인 기능을 제공할 것
AI 에이전트의 행동 및 도구 호출 로그를 기록할 것
AI 메모리에 대한 이상정보 검사 기능을 제공할 것
AI 에이전트 간 통신에 대한 인증 및 보호조치를 적용할 것
MCP 등 외부 구성요소의 취약점을 정기적으로 점검할 것
이상행위 발생 시 AI 에이전트를 자동 중단할 수 있도록 구성할 것

피지컬 AI

수행 가능한 행동목록을 사전에 정의할 것
최소한의 제어권한을 부여할 것
안전 임계값을 설정할 것
이상상황에서 안전모드로 전환할 것
관리자가 즉시 비상정지할 수 있도록 할 것
센서 입력값의 정상 범위를 설정할 것
센서와 AI 및 구동기 간 통신을 보호할 것
물리적 접근이 가능한 인터페이스를 보호할 것
AI의 동작·전력·발열 등 운영정보를 모니터링할 것

이러한 요구사항은 AI보안가이드북의 A-M01~A-M17 및 P-M01~P-M10 대책을 실제 사업 요구사항으로 구체화한 예입니다.

에이전틱 AI와 피지컬 AI의 차이를 이해하면 쉽다

구분	에이전틱 AI	피지컬 AI
핵심 특징	자율적으로 계획하고 행동	물리환경과 직접 상호작용
주요 공격면	메모리·도구·권한·에이전트 통신	센서·AI 모델·구동기·물리장치
대표 위험	정보유출·권한오용·잘못된 도구 사용	오동작·충돌·시설 피해
핵심 보안	최소권한	안전한 행동범위
중요한 통제	승인·화이트리스트	안전모드·비상정지
모니터링	도구 호출·메모리·에이전트 행동	이동·센서·전력·발열·구동기
추가 고려	MCP/A2A 등	센서/모터/로봇/물리환경

기존 AI 보안에서 한 단계 더 나아가야 한다

AI보안가이드북의 제1·2장에서 다룬 일반적인 AI 보안대책과 제3장의 내용을 연결해서 보면 다음과 같은 변화가 있습니다.

기존 AI
   ↓
데이터 보호
모델 보호
입출력 보호
로그·모니터링
권한관리
   ↓
에이전틱 AI
   +
메모리 보호
도구 통제
에이전트 신원
에이전트 간 통신
민감 명령 승인
자동 중단
   ↓
피지컬 AI
   +
센서 보호
구동기 보호
안전모드
비상정지
물리적 보안

즉, AI가 자율적으로 행동할수록 보안의 범위가 AI 모델 밖으로 확대됩니다.

해외 보안 가이드라인과 함께 보는 에이전틱 AI

AI보안가이드북의 접근방식은 국제적인 AI 보안 논의와도 연결됩니다.

NIST의 AI RMF는 AI 시스템의 위험을 생애주기 전반에서 관리할 수 있도록 하는 위험관리 프레임워크이며, 생성형 AI 프로파일은 생성형 AI에서 발생하는 특유의 위험과 관리방안을 구체화했습니다.

OWASP는 에이전틱 AI를 대상으로 위협 모델과 완화방안을 정리하고 있으며, 2025년에는 에이전틱 애플리케이션을 안전하게 설계·개발·배포하기 위한 실무 가이드도 공개했습니다.

따라서 공공기관에서는 다음과 같이 활용할 수 있습니다.

국내 공공기관 기준
        +
AI보안가이드북
        +
NIST AI RMF
        +
OWASP Agentic AI 보안자료
        +
기관별 정보보안 규정
        ↓
AI 사업 보안 요구사항

다만 실제 국가·공공기관 사업에 적용할 때는 AI보안가이드북이 안내하는 관련 국가정보원 지침과 보안성검토 절차 등을 함께 확인해야 합니다. AI보안가이드북 자체도 AI 모델·데이터·인프라 중심의 내용을 다루며, 그 밖의 사이버보안 대책은 관련 국가 지침과 가이드라인을 따르도록 안내하고 있습니다.

정보화 담당자가 기억해야 할 핵심 10가지

1. AI에게 필요 이상의 권한을 주지 않는다.

최소권한 원칙을 적용합니다.

2. AI가 사용할 수 있는 도구를 제한한다.

검증된 도구를 화이트리스트로 관리합니다.

3. 중요한 행동은 사람이 승인한다.

특히 민감정보 전송·데이터 수정·결제·제어 등을 대상으로 합니다.

4. AI의 메모리를 관리한다.

단기 메모리와 장기 메모리 모두 오염 가능성을 고려합니다.

5. AI의 행동을 기록한다.

질의·응답뿐 아니라 도구 호출과 권한 사용까지 확인할 수 있어야 합니다.

6. AI 구성요소를 지속적으로 점검한다.

MCP 서버, 라이브러리, 모델, API 등 공급망을 포함합니다.

7. AI 간 통신을 보호한다.

에이전트 신원확인과 통신구간 보호를 적용합니다.

8. 피지컬 AI는 안전모드를 준비한다.

AI의 판단 오류가 물리적 사고로 확대되지 않도록 합니다.

9. 비상정지 기능을 준비한다.

자동화 수준이 높을수록 사람의 최종 통제수단이 중요합니다.

10. 설계 단계부터 보안을 넣는다.

AI보안은 운영단계에서 추가하는 기능이 아니라 사업기획·설계부터 반영해야 합니다.

에이전틱 AI와 피지컬 AI는 공공서비스의 자동화 수준을 크게 높일 수 있는 기술입니다.

그러나 이들 시스템은 기존 생성형 AI와 달리 AI가 기억하고, 계획하고, 도구를 호출하고, 다른 AI와 통신하고, 경우에 따라 물리장치를 움직인다는 특징을 가지고 있습니다.

따라서 국가·공공기관의 정보화 담당자는 AI 도입 여부만 검토할 것이 아니라 다음 질문까지 함께 검토할 필요가 있습니다.

"이 AI에게 무엇을 허용할 것인가?"

"AI가 잘못 판단했을 때 어디까지 행동할 수 있는가?"

"사람은 언제 개입할 수 있는가?"

"문제가 발생했을 때 어떻게 즉시 중단할 것인가?"

AI보안가이드북 제3장이 제시하는 핵심 방향을 한 문장으로 정리하면 다음과 같습니다.

에이전틱 AI는 자율성을 허용하되 최소권한·도구통제·승인·모니터링을 적용하고, 피지컬 AI는 물리적 행동의 위험성을 고려하여 최소권한·안전모드·비상대응·물리적 보안을 함께 설계해야 합니다.

특히 에이전틱·피지컬 AI는 기술 발전 속도가 빠르고 실제 공공분야 구축 사례가 축적되는 단계이므로, 사업 추진 시 최신 보안위협을 지속적으로 재평가하고 관련 보안지침과 함께 적용하는 것이 중요합니다. AI보안가이드북 역시 이러한 기술의 특성을 고려해 신규 기술 활용 시 보안대책을 지속적으로 검토할 필요성을 제시하고 있습니다.