칼럼
에이전틱 AI 시대, 기업이 '레드티밍'을 준비해야 하는 이유
에이전틱 AI 시대, 기업이 ‘레드티밍’을 준비해야 하는 이유
양종헌 S2W 통합분석실장
생성형 인공지능(AI)를 그저 ‘질의응답의 도구’로만 바라보던 시대는 사실상 막을 내렸다. 최근 기업들이 개발하고 도입하는 AI 서비스는 단순히 문서를 검색·요약하거나 질문에 답변하는 수준을 넘어섰다. API(Application Programming Interface)와 MCP(Model Context Protocol)를 통해 스스로 메일을 발송하고 파일을 조회하며, 외부 시스템을 호출해 실제 업무까지 수행하는 ‘에이전틱 AI(Agentic AI)’로 진화하고 있다.
이처럼 AI의 활용 범위가 크게 확장되면서 보안 리스크의 양상 역시 달라지고 있다. 과거에는 그럴듯하지만 사실과 다른 정보나 존재하지 않는 출처를 만들어내는 ‘환각(Hallucination)’ 정도가 AI 오작동의 대표적인 문제였다. 그러나 이제는 내부 정보 유출이나 권한 오남용, 연계 시스템의 비정상적인 동작 등 실제 업무에 직접적인 피해를 미치는 문제로 이어질 수 있다는 점을 유의해야 한다.
이러한 변화는 기존 보안 점검 방식의 한계를 더욱 뚜렷하게 드러낸다. 생성형 AI는 질문의 표현 방식과 대화의 맥락, 연결된 데이터, 모델의 특성 등에 따라 서로 다른 응답과 행동을 보일 수 있다. 정상적인 기능 테스트를 통과했다는 사실만으로 실제 공격 상황에서도 안전하게 동작한다고 장담하기 어려운 이유다. 특히 에이전틱 AI가 가진 자율적인 판단과 실행 능력 자체가 새로운 취약점으로 작용할 수 있다는 점에서 이전과는 다른 접근이 필요하다.
사내 규정을 안내하는 경영지원 AI 서비스를 예로 들어보자. 일반 사용자는 휴가 규정이나 비용 처리 절차 등을 일상적으로 묻겠지만, 공격자는 질문 속에 교묘한 지시를 섞어 AI를 속이려 할 수 있다. 여러 차례 대화를 이어가며 AI가 참고한 급여 정책이나 미공개 사업계획 등 내부 문서나 시스템 프롬프트를 노출하도록 유도하는 식이다. 나아가 AI가 이를 정상적인 업무 요청으로 오인해 권한 밖의 자료를 외부로 전송하거나, 의도하지 않은 작업을 수행할 가능성도 배제할 수 없다.
‘AI 레드티밍(AI Red Teaming)’은 이러한 한계를 전제로 등장한 AI 시대의 새로운 보안 검증 방식이다. 기존 모의해킹이 서버나 애플리케이션의 취약점을 찾는 데 초점을 맞췄다면, AI 레드티밍은 데이터와 모델, 프롬프트, 사용자 인터페이스, 외부 연계, 에이전트 기능 등 AI 서비스를 구성하는 여러 요소를 대상으로 다양한 공격을 시도한다. 이를 통해 의도하지 않은 응답이나 행동이 발생할 가능성을 확인하고 서비스의 보안성을 검증한다. 보안 정책을 마련하고 필터를 적용했다는 사실과 실제 공격을 견뎌낼 수 있다는 것은 전혀 다른 문제다. 따라서 일반적인 기능 테스트를 넘어 ‘공격자의 관점’에서 AI 시스템의 안전성을 점검해야 한다.
AI 레드티밍에서는 시스템이 겉으로 정상적으로 동작하더라도 의도한 안전 경계를 벗어날 가능성을 폭넓게 살펴야 한다. 대표적으로 안전 필터를 우회해 금지된 응답을 유도하는 ‘탈옥(Jailbreak)’, 악의적인 지시를 모델이 따르도록 만드는 ‘프롬프트 인젝션(Prompt Injection)’, 시스템 프롬프트나 민감정보가 외부로 노출되는 정보 유출 가능성 등을 점검한다. 검색증강생성(RAG)이나 외부 데이터를 통해 악의적인 지시가 전달되는 간접 프롬프트 인젝션, 데이터 포이즈닝(Data Poisoning)도 주요 검증 대상이다. AI 에이전트가 주어진 권한을 오용하거나 허용되지 않은 도구를 실행하는지 역시 함께 살펴야 한다.
AI 레드티밍의 목적은 AI의 활용을 제한하는 데 있지 않다. 실제 공격을 통해 AI에 허용할 행동과 허용하지 않을 행동의 경계를 확인하고, 예기치 못한 상황에서도 그 경계가 유지되는지를 검증하는 데 있다. 궁극적으로는 서비스가 본래의 목적에 맞게 활용되면서도 필요한 수준의 안전성을 확보하도록 만드는 것이 핵심이다.
최근 국내에서도 AI 레드티밍에 대한 기업들의 수요가 늘면서 관련 기준과 방법론을 정립하려는 움직임이 이어지고 있다. 필자가 몸담은 기업 역시 이러한 요구에 부응해 AI 서비스 취약점 진단 사업을 확대하고 있다. 실제 현장에서 AI 서비스를 점검해 보면 보안 리스크는 모델 자체만 들여다봐서는 충분히 파악하기 어렵다. 데이터와 권한 체계, 외부 시스템, 업무 프로세스 등 AI와 맞물린 요소를 함께 검증해야 비로소 서비스에 내재된 실질적인 위험을 찾아낼 수 있다.
AI가 직접 업무를 수행하는 시대에는 새로운 기능을 얼마나 빠르게 도입하느냐만큼, 그 기능이 의도한 범위 안에서 안전하게 작동하도록 만드는 일이 중요해진다. AI 레드티밍은 실제 공격 상황을 가정해 이러한 경계를 확인하고, 서비스가 예상치 못한 방식으로 동작할 가능성을 사전에 점검하는 과정이다. AI가 맡는 역할과 권한이 계속 확대되는 만큼, 개발과 도입 단계뿐 아니라 운영 과정에서도 공격자 관점의 검증을 지속하는 것이 앞으로 AI 보안에서 더욱 중요한 원칙이 될 것이다.
