프롬프트 인젝션이란? 사내 AI가 문서 속 지시를 따르는 이유

안녕하세요. 사랑받는 IT 프로덕트의 첫걸음, 똑똑한개발자입니다.

오늘의 인사이트 요약

• 프롬프트 인젝션은 입력 내용이 AI의 원래 지시를 흔드는 문제입니다.

• 외부 문서를 읽는 AI도 영향을 받으며, 연결된 권한에 따라 피해가 달라집니다.

• 문서 구분, 실행 권한 제한, 사람의 승인을 함께 설계해야 합니다.

프롬프트 인젝션은 사용자 입력이나 참고 자료에 지시를 섞어 AI가 원래 작업을 벗어나게 하는 공격 방식입니다. 사내 AI에 문서 검색이나 이메일 요약을 맡기려면, 읽어 온 내용이 업무 지시처럼 처리될 위험도 살펴봐야 합니다. 오늘은 프롬프트 인젝션의 작동 원리와 사내 AI 도입 전에 확인할 대응 방법을 알아보겠습니다.

1. 프롬프트 인젝션은 어떻게 발생할까?

AI는 업무 지시와 참고 문서를 함께 받아 답변을 만듭니다. 이때 문서 안의 문장을 단순한 분석 대상으로 다루지 않고 따라야 할 명령처럼 해석하면 문제가 생깁니다. 지시문에 보안 규칙을 적었다고 해서 모델이 모든 상황에서 두 내용을 정확히 구분한다고 보장할 수는 없습니다.

공격자가 대화창에 직접 지시를 넣으면 직접 주입, AI가 읽는 웹페이지나 파일에 지시를 섞으면 간접 주입이라고 부릅니다. 사내 직원이 정상적인 질문을 했더라도 검색된 자료나 첨부 파일이 공격의 통로가 될 수 있습니다. 질문한 사람과 읽어 온 자료는 따로 확인합니다. 이처럼 외부 데이터가 AI의 행동에 영향을 주는 원리를 더 살펴보고 싶다면 간접 프롬프트 인젝션 연구를 참고해 보세요.

외부 문서도 지시의 통로가 됩니다

가령 외부 제안서를 요약하는 AI를 생각해 보겠습니다. 제안서에 요약과 무관한 행동을 요구하는 문장이 들어 있고, AI가 이를 따르면 간접 주입의 예가 됩니다. 이해를 돕기 위한 가상 예시이며, 실제 침해 사례를 인용한 것은 아닙니다.

프롬프트 인젝션은 환각과 구분됩니다. 환각은 근거 없는 내용을 사실처럼 생성하는 현상이고, 프롬프트 인젝션은 입력에 섞인 지시가 원래 작업을 벗어나게 하는 문제입니다. 지시를 따른 결과 사실과 다른 답변이 나올 수도 있어, 잘못된 답변 하나만 보고 원인을 확정하기는 어렵습니다.

2. 사내 문서 검색만 해도 위험할까?

문서를 검색해 답하는 AI에도 간접 주입이 들어올 수 있습니다. 검색 결과를 답변의 근거로 사용하더라도 자료 안의 지시를 따를 위험은 남습니다. OWASP는 문서를 찾아 답변에 활용하는 RAG와 파인튜닝이 프롬프트 인젝션 취약점을 완전히 해소하지는 못한다고 설명합니다. OWASP의 위험 설명

피해는 AI에 연결한 실행 권한에 따라 달라집니다. 답변만 작성하는 도구와 메일 발송·데이터 수정까지 가능한 도구는 점검 범위가 다릅니다. 답변을 왜곡하는 데서 끝나는지, 실제 업무 시스템의 변경으로 이어지는지 나눠 보아야 합니다.

검색 권한과 실행 권한을 따로 확인해야 합니다

표의 질문은 업무 설계 점검안입니다. 검색 단계에서 사용자의 자료 접근 권한을 확인하고, 실행 단계에서는 발송 대상이나 변경할 항목을 다시 검사하도록 요구사항에 적을 수 있습니다. 모델에게 허용 여부를 묻는 일과 시스템이 권한을 검사하는 일은 구분됩니다.

검토 화면에는 AI가 사용한 문서와 실행 요청을 함께 보여줄 수 있습니다. 담당자가 답변만 읽고 승인하면 엉뚱한 수신인이나 수정 대상이 붙었는지 놓치기 쉽습니다. 예를 들어 제안서 요약을 요청했는데 외부 발송까지 준비됐다면, 요청한 업무와 맞지 않는 동작으로 분리해 검토하도록 설계할 수 있습니다. 이것도 실제 고객 사례가 아닌 기능 설계 예시입니다.

3. 프롬프트 인젝션은 어떻게 줄일까?

참고 자료의 출처와 역할을 구분해 전달하는 것이 출발점입니다. 외부 파일과 도구가 가져온 내용을 업무 지시와 섞지 않고, 어떤 자료를 참고했는지 기록합니다. 다만 문서를 구분했다는 이유만으로 방어가 끝났다고 판단하면 안 됩니다.

AI가 사용할 기능과 계정에는 최소 권한을 부여합니다. 요약만 필요한 작업에 수정·발송 권한까지 연결할 이유는 없습니다. 중요한 변경은 사람이 대상과 내용을 확인한 뒤 실행하도록 구성합니다. 이런 권한 제한과 승인 절차를 구체화하려면 OWASP의 완화 전략을 참고해 보세요.

탐지 결과와 차단 동작은 다릅니다

공격을 탐지하는 도구를 연결할 때는 탐지 이후의 처리까지 정해야 합니다. Microsoft는 Prompt Shields API가 탐지 결과를 반환하며, 차단·제외·사람에게 검토 요청 같은 처리는 애플리케이션 로직에서 결정한다고 안내합니다. 탐지 기능을 연결했다는 사실만으로 자동 차단을 가정해서는 안 됩니다. Microsoft의 Prompt Shields 안내

검수에는 정상 문서와 의심스러운 지시가 섞인 문서를 함께 사용합니다. 공격을 놓치는 경우뿐 아니라 정상 문서까지 차단하는지도 확인하고, 업무 중단·검토 요청·재개 조건을 남깁니다. 한국어 문서를 다룬다면 실제 사용하는 언어로 시험해야 합니다. Microsoft도 비영어 입력의 성능이 달라질 수 있어 언어별 평가를 권고합니다.

사내 AI를 실제 업무에 연결하려면

똑똑한개발자는 업무 분석부터 AI 시스템 개발과 운영 개선까지 함께 진행합니다. 내부 시스템 ‘똑빌더’를 비롯한 실제 업무에 AI 자동화와 사람의 최종 판단을 연결해 온 경험을 바탕으로, AI가 맡을 일과 담당자가 확인할 일을 나누어 설계합니다.

우리 업무에 맞는 AI 적용 범위와 시스템 연동 방식을 정하고 싶다면 아래 똑똑한개발자 링크로 문의해 주세요. 감사합니다.