CSK 2026 [컨퍼런스] 고성능 AI 위협에 대한 현 대응 실태와 과제
CSK 2026에서는 고성능 AI의 확산으로 자율형 공격, AI를 활용한 취약점 탐색·공격 자동화, AI 에이전트 기반 위협 등 사이버 위협의 속도와 규모가 커지는 상황을 집중적으로 논의했습니다.
사이버 서밋 코리아(CSK) 2026. (출처: CSK 2026 Cyber Summit Korea 홈페이지)
CSK 2026 세션 A-1
고성능 AI 위협에 대한 현 대응 실태와 과제
인공지능(AI)이 사이버보안 분야에서 빠르게 활용되면서 사이버 공격과 방어의 방식도 달라지고 있습니다.
과거에는 공격자가 취약점을 찾고 공격 도구를 직접 준비해야 했다면, 이제는 AI가 취약점 탐색과 분석, 공격 과정의 일부를 자동화할 수 있는 환경으로 발전하고 있습니다.
반대로 방어 측에서도 AI를 활용해 수많은 보안 이벤트를 분석하고, 이상 징후를 찾아내며, 대응 과정을 자동화하려는 움직임이 나타나고 있습니다.
이러한 변화 속에서 열린 사이버 서밋 코리아(Cyber Summit Korea, CSK) 2026에서는 고성능 AI가 가져오는 새로운 사이버 위협과 현재의 대응 수준을 집중적으로 다루는 세션이 마련됐습니다.
특히 2026년 9월 17일 진행된 세션 A-1 「고성능 AI 위협에 대한 현 대응 실태와 과제」에서는 AI 자율 공격, AI 기반 보안관제, LLM을 활용한 취약점 발견 등을 중심으로 현재의 보안 대응체계가 어떤 도전에 직면하고 있는지 논의했습니다.
1. CSK 2026에서 왜 '고성능 AI 위협'을 다뤘을까?
CSK 2026은 국가정보원과 국가보안기술연구소가 공동 주최한 글로벌 사이버안보 행사입니다.
2026년 행사의 주제는 「글로벌 사이버안보를 위한 한발 앞선 노력: 연결된 세상, 함께하는 보안」으로 정해졌습니다.
행사에는 해외 정보·보안기관과 정부, 기업, 학계 관계자 등이 참여했으며 AI 위협 대응과 AX 시대의 사이버안보 전략 등이 주요 의제로 다뤄졌습니다.
국가정보원 측은 개회 과정에서 초연결 환경이 혁신의 기반인 동시에 사이버 위협이 이동하는 통로가 될 수 있으며, 특히 고성능 AI의 등장으로 위협 수준이 높아지고 있다는 점을 강조했습니다.
여기서 중요한 것은 단순히 "AI가 해킹에 사용될 수 있다"는 이야기가 아닙니다.
AI가 점점 더 많은 작업을 스스로 수행할 수 있게 되면서 기존의 보안 대응 속도와 방식 자체를 다시 검토해야 한다는 것입니다.
2. 세션 A-1에서는 무엇을 이야기했을까?
CSK 공식 프로그램에 따르면 세션 A-1은 2026년 9월 17일 13시 30분부터 15시까지 진행됐으며, 권태경 서울대학교 교수가 좌장을 맡았습니다.
세션에서는 크게 세 가지 주제가 발표됐습니다.
주요 발표
① AI 자율 공격의 위협과 대응
이상근 고려대학교 교수
② Machine-Speed 위협에 대응하는 Agentic SOC 전략
최재호 SK쉴더스 전무
③ LLM을 이용한 취약점 발견과 공격
이병영 서울대학교 교수
이후에는 전문가 패널이 참여해 현재 AI 위협 대응 수준과 향후 발전 방향, 정책적 대응 방안 등을 논의했습니다.
즉, 이번 세션은 단순한 AI 기술 소개가 아니라,
AI가 공격을 얼마나 빠르게 만들고 있는가?
방어자는 그 속도를 따라갈 수 있는가?
기존의 보안 시스템은 AI 시대에도 충분한가?
라는 질문을 중심으로 볼 수 있습니다.
3. AI 자율 공격이 중요한 이유
기존 사이버 공격에서는 공격자가 여러 단계를 직접 수행해야 하는 경우가 많았습니다.
예를 들어,
정보 수집 → 취약점 탐색 → 공격 방법 결정 → 공격 실행 → 결과 분석
과 같은 과정이 필요합니다.
AI가 이 과정에 개입하면 일부 작업을 자동화할 수 있습니다.
예를 들어 AI는 대량의 데이터를 분석하고, 코드나 시스템의 특성을 파악하며, 발견된 정보를 바탕으로 다음 작업을 제안할 수 있습니다.
이 때문에 보안업계에서는 AI가 공격 과정의 자동화 수준을 높일 가능성을 중요한 문제로 보고 있습니다.
CSK 2026에서도 이러한 문제를 'AI 자율 공격'이라는 주제로 다뤘습니다.
다만 이것을 곧바로 "AI가 완전히 독립적으로 모든 해킹을 수행한다"는 의미로 이해해서는 안 됩니다.
현재의 AI 시스템은 환경에 따라 오류를 발생시킬 수 있고, 권한과 연결된 도구에 대한 통제 역시 중요합니다.
따라서 핵심은 AI가 공격을 완전히 대신한다는 단순한 이야기가 아니라,
공격에 필요한 여러 작업의 속도와 자동화 수준이 높아질 수 있다는 점
에 있습니다.
4. 'Machine-Speed' 시대에는 방어도 빨라져야 한다
AI를 이용한 공격의 중요한 특징 중 하나는 속도입니다.
사람이 하나씩 확인해야 하는 작업을 AI가 대량으로 처리할 수 있다면 방어자는 기존과 같은 방식으로 대응하기 어려워질 수 있습니다.
CSK 2026 세션 A-1에서 소개된 Agentic SOC(Security Operations Center) 역시 이러한 문제와 연결됩니다.
기존 SOC는 보안관제 인력이 수많은 보안 이벤트를 확인하고 이상 징후를 분석한 뒤 대응하는 구조가 중심이었다면, Agentic SOC는 AI 에이전트 등을 활용해 탐지와 분석, 대응 과정의 자동화를 확대하려는 접근입니다.
쉽게 표현하면 다음과 같습니다.
기존 보안관제
수많은 로그
↓
보안 시스템 탐지
↓
관제 담당자 분석
↓
대응 방법 결정
↓
조치
AI 기반 보안관제의 방향
수많은 로그
↓
AI가 실시간 분석
↓
위협 상황 판단 지원
↓
자동화된 대응 또는 담당자 승인
↓
조치 및 결과 분석
여기서 중요한 것은 AI에게 모든 권한을 무조건 주는 것이 아닙니다.
AI가 빠르게 분석하고 대응할 수 있도록 하면서도, 중요한 작업에는 권한 제한과 검증 절차를 두는 것이 핵심입니다.
5. LLM은 취약점 발견에도 활용될 수 있다
세 번째 발표 주제는 「LLM을 이용한 취약점 발견과 공격」이었습니다.
LLM은 자연어 처리뿐만 아니라 프로그램 코드 분석과 생성에도 활용할 수 있습니다.
이 때문에 보안 분야에서는 LLM을 이용해 소프트웨어의 코드 구조를 분석하거나 잠재적인 보안 문제를 찾는 연구가 진행되고 있습니다.
반대로 공격자 입장에서도 코드 분석과 공격 준비에 AI를 활용할 가능성이 있습니다.
CSK 2026의 세션 구성에서 이러한 양면성이 별도의 주제로 다뤄진 것도 이러한 변화와 관련이 있습니다.
6. AI 보안은 '모델'만 보호해서 끝나지 않는다
AI 보안을 이야기할 때 흔히 AI 모델 자체만 생각하기 쉽습니다.
하지만 실제 서비스에서는 AI가 다양한 시스템과 연결됩니다.
예를 들어,
사용자
↓
AI 애플리케이션
↓
LLM
↓
사내 데이터
↓
검색 시스템(RAG)
↓
외부 API
↓
업무 시스템
과 같은 구조가 만들어질 수 있습니다.
이때 AI가 외부 시스템과 연결되어 있다면 모델 자체의 보안뿐 아니라 권한 관리, 데이터 보호, API 보안, 공급망, 출력값 검증 등도 중요해집니다.
OWASP의 LLM 보안 가이드에서도 프롬프트 인젝션, 민감정보 노출, 공급망 취약점, 데이터 및 모델 오염, 부적절한 출력 처리, 과도한 에이전시 등의 위험을 주요 문제로 다루고 있습니다.
특히 최근에는 AI 에이전트가 외부 도구를 직접 사용할 수 있게 되면서 AI에게 어떤 권한을 부여할 것인가가 더욱 중요한 보안 문제가 되고 있습니다.
7. AI 에이전트 시대에는 '권한'이 핵심이다
AI 챗봇과 AI 에이전트의 가장 큰 차이 가운데 하나는 행동 범위입니다.
단순한 챗봇은 질문에 답변하는 것이 중심입니다.
반면 AI 에이전트는 설정에 따라 외부 도구를 사용하거나 데이터를 조회하고 특정 작업을 수행할 수 있습니다.
따라서 AI 에이전트가 잘못된 판단을 하거나 악의적인 입력에 영향을 받는다면 단순히 잘못된 답변을 넘어 실제 시스템에 영향을 줄 가능성이 있습니다.
예를 들어 기업의 AI 에이전트가 다음과 연결되어 있다고 생각해 볼 수 있습니다.
사내 문서
이메일
데이터베이스
클라우드 서비스
업무용 API
파일 저장소
이 경우 AI 보안의 핵심 질문은 단순히
"AI가 안전한가?"
가 아니라
"AI가 무엇에 접근할 수 있고, 어떤 행동까지 할 수 있는가?"
가 됩니다.
8. 기존 보안 방식만으로는 부족할 수 있는 이유
AI 기술의 발전 속도는 빠릅니다.
따라서 보안 시스템을 한 번 구축한 뒤 오랫동안 그대로 운영하는 방식에는 한계가 생길 수 있습니다.
특히 AI 공격 방식이 계속 변화한다면 보안 시스템 역시 지속적으로 검증해야 합니다.
OWASP가 2026년 발표한 LLM 보안 가이드는 실제 AI 보안 사고와 연구 결과를 반영해 위험 범위를 확대하고 있으며, AI 애플리케이션의 개발·배포·운영 과정 전체에서 위험을 관리하는 방향을 강조하고 있습니다.
NIST 역시 AI 시스템에 대한 사이버보안 위험을 별도로 관리하기 위한 Cyber AI Profile을 개발하고 있습니다. NIST의 초기 문서는 AI를 도입하면서 발생하는 사이버보안 위험을 식별하고 우선순위를 정해 관리하는 접근을 제시합니다.
결국 AI 보안은 특정 보안 제품 하나를 설치하는 문제가 아니라 AI의 전체 생명주기를 지속적으로 점검하는 과정에 가까워지고 있습니다.
9. 그래서 'AI 레드팀'이 중요해진다
AI 시스템의 취약점을 찾기 위해 공격자의 관점에서 시스템을 시험하는 방법을 레드팀(Red Teaming)이라고 합니다.
쉽게 말하면,
"이 AI 시스템을 공격한다고 생각했을 때 어떤 문제가 발생할 수 있을까?"
를 미리 테스트하는 것입니다.
AI가 계속 발전하면 보안 담당자 역시 AI 시스템을 지속적으로 시험해야 합니다.
실제로 국가정보원은 기존 LLM 중심의 AI 안전성 평가를 AI 에이전트까지 확대하고, 각 기관이 자체적으로 AI 시스템의 취약점을 점검할 수 있도록 AI 레드팀 관련 가이드라인과 보안 플레이북을 마련할 계획을 공개했습니다.
이러한 접근은 AI 보안에서 중요한 변화입니다.
10. 디지털 트윈이 필요한 이유
AI를 이용해 실제 운영 중인 시스템을 계속 공격 테스트하는 것은 현실적으로 쉽지 않습니다.
실제 시스템에서 공격 테스트를 잘못 수행하면 서비스 장애가 발생하거나 중요한 데이터가 영향을 받을 수 있기 때문입니다.
따라서 실제 시스템과 유사한 환경을 별도로 만들어 공격 시나리오를 시험하는 방법을 생각할 수 있습니다.
이를 이해하기 쉽게 표현하면 다음과 같습니다.
실제 시스템
기업 네트워크
→ 서버
→ 데이터베이스
→ 업무 시스템
→ AI 시스템
테스트 환경
디지털 트윈
→ 실제와 유사한 서버
→ 실제와 유사한 데이터 구조
→ 실제와 유사한 AI 환경
→ 공격·방어 테스트
이런 환경에서는 AI 레드팀이 다양한 공격 시나리오를 반복적으로 시험하면서 취약점을 확인할 수 있습니다.
CSK 2026의 세션을 다룬 보도에서도 실제 시스템과 유사한 디지털 트윈 환경을 활용한 지속적인 레드팀 접근이 하나의 대응 방향으로 논의됐습니다.
11. CSK 2026에서 확인할 수 있는 또 하나의 변화
CSK 2026에서는 컨퍼런스뿐 아니라 국제 사이버훈련 APEX 2026도 함께 진행됐습니다.
공식 자료에 따르면 2026년 APEX에는 23개국이 참가하며, 특히 올해에는 AI 방어팀(AI-driven Blue Team)이 새롭게 편성됐습니다.
AI 기반 위협에 대응하는 최신 기술과 자율 방어 능력을 실제 훈련 환경에서 검증하려는 목적입니다.
이것은 매우 중요한 흐름입니다.
AI가 사이버 공격에 활용될 가능성이 높아진다면 방어 역시 AI를 활용해야 하기 때문입니다.
즉,
AI 공격
↕
AI 방어
라는 새로운 경쟁 구도가 만들어지고 있는 것입니다.
12. 앞으로의 AI 보안은 어떻게 달라질까?
CSK 2026 세션 A-1에서 논의된 내용을 종합하면 앞으로의 AI 보안에서는 다음과 같은 변화가 중요해질 것으로 볼 수 있습니다.
① 사람 중심 보안 → 사람 + AI 보안
보안 담당자가 모든 이벤트를 직접 처리하기보다는 AI가 대량의 정보를 먼저 분석하고 사람이 중요한 의사결정을 담당하는 형태가 확대될 가능성이 있습니다.
② 정기적인 점검 → 지속적인 검증
AI 공격 방식이 빠르게 변할 수 있기 때문에 1년에 몇 번 점검하는 방식만으로는 충분하지 않을 수 있습니다.
AI 시스템 자체를 지속적으로 평가하고 시험하는 구조가 중요해집니다.
③ 모델 보안 → AI 생태계 보안
AI 모델만 보호하는 것이 아니라 데이터, 애플리케이션, API, 에이전트, 외부 도구, 클라우드 환경까지 함께 보호해야 합니다.
④ 일반 SOC → Agentic SOC
AI 에이전트를 활용해 보안 이벤트 분석과 대응을 자동화하는 방향이 확대될 가능성이 있습니다.
⑤ 공격 시뮬레이션 → AI 레드팀
AI 시스템을 공격자의 관점에서 지속적으로 테스트하고 취약점을 개선하는 과정이 중요해질 수 있습니다.
13. 일반 사용자가 알아두면 좋은 AI 보안
이러한 이야기가 기업이나 국가기관에만 해당되는 것은 아닙니다.
일반 사용자 역시 생성형 AI를 사용할 때 몇 가지 기본 원칙을 지키는 것이 좋습니다.
중요한 개인정보를 그대로 입력하지 않기
주민등록번호, 비밀번호, 금융정보와 같은 민감한 정보는 AI 서비스에 입력하기 전에 해당 서비스의 데이터 처리 정책을 확인해야 합니다.
AI가 알려준 링크와 파일을 바로 실행하지 않기
AI가 생성한 답변이라고 해서 항상 안전한 것은 아닙니다.
특히 외부 링크, 프로그램, 스크립트, 파일 등은 별도로 확인하는 습관이 필요합니다.
AI의 답변을 보안 판단의 유일한 근거로 사용하지 않기
AI는 그럴듯하지만 틀린 정보를 생성할 수 있습니다.
보안과 관련된 중요한 판단은 공식 문서나 보안 담당자의 검토가 필요합니다.
AI에게 과도한 권한을 주지 않기
AI 에이전트를 사용하는 경우에는 꼭 필요한 범위에서만 파일·서비스·API 접근 권한을 제공하는 것이 중요합니다.
14. CSK 2026 세션 A-1이 보여주는 핵심 메시지
CSK 2026의 「고성능 AI 위협에 대한 현 대응 실태와 과제」 세션은 AI 시대의 사이버보안을 단순히 "AI를 해킹에 사용한다"는 관점에서 바라보지 않습니다.
핵심은 공격과 방어 모두의 속도가 빨라지고 있다는 것입니다.
AI는 취약점 분석과 보안 업무 자동화에 활용될 수 있는 반면, 공격자가 악용할 경우 공격 준비와 실행 과정의 일부를 빠르게 만들 수 있습니다.
따라서 앞으로의 사이버보안에서는 다음과 같은 질문이 중요해집니다.
AI 공격의 속도를 AI 방어가 따라갈 수 있는가?
그리고 더 나아가,
AI에게 어느 정도의 자율성과 권한을 부여해야 안전한가?
라는 문제도 중요해집니다.
CSK 2026에서 AI 자율 공격, Agentic SOC, LLM 기반 취약점 분석, AI 레드팀 등이 함께 논의된 것도 이러한 변화와 연결됩니다.
15. 마무리
AI는 사이버보안에 새로운 위험을 만들어내는 동시에 방어 능력을 높일 수 있는 기술이기도 합니다.
따라서 AI 자체를 무조건 위험한 기술로 바라보기보다는 어떤 환경에서 AI가 어떤 권한을 가지고 어떤 행동을 할 수 있는지를 살펴보는 것이 중요합니다.
특히 AI 에이전트가 기업 시스템과 연결되고 자동으로 여러 작업을 수행하는 환경에서는 기존의 보안 방식만으로 모든 위험을 관리하기 어려울 수 있습니다.
앞으로는
AI 보안 평가 → 지속적인 레드팀 → AI 기반 탐지 → 권한 통제 → 자동화된 대응 → 사람의 최종 검증
이 연결된 형태의 보안 체계가 더욱 중요해질 것으로 예상됩니다.
CSK 2026의 세션 A-1은 바로 이러한 'AI 시대에 사이버 방어는 어떻게 달라져야 하는가'라는 문제를 살펴볼 수 있는 사례라고 할 수 있습니다.
Cyber Summit Korea(CSK) 2026 홈페이지 참고(https://cybersummit.kr)
출처 : 오늘부터 AI(Today AI) - https://blog.candlesister.com