AI 답변 출처 표시, 링크가 있어도 검토가 어려운 이유

안녕하세요. 사랑받는 IT 프로덕트의 첫걸음, 똑똑한개발자입니다.

오늘의 인사이트 요약

문서 링크만 붙어 있으면 답변의 어떤 내용을 뒷받침하는 출처인지 다시 찾아야 합니다.

원문과 AI의 해석이 섞여 있으면 어디까지가 실제 문서 내용인지 판단하기 어렵습니다.

출처를 확인하지 못한 이유가 보이지 않으면 검토가 끝난 답변처럼 받아들이기 쉽습니다.

사내 AI가 답변 아래에 참고 문서 링크까지 달아주는데, 막상 확인하려고 하면 시간이 오래 걸리는 경우가 있습니다.

파일을 열고, 답변에 나온 내용을 다시 찾고, 이 문장이 정말 원문에 있는 내용인지 하나씩 대조하다 보면 어느새 처음 질문까지 다시 읽게 됩니다.

출처는 분명 붙어 있는데 검토하는 데 드는 시간은 줄지 않는 것이죠.

AI 답변의 출처 표시는 단순히 참고 문서를 알려주는 기능이 아닙니다. 검토자가 이 답변을 믿고 업무에 사용해도 되는지 판단할 수 있도록 돕는 장치에 가깝습니다.

그런데 출처가 있어도 검토가 어렵다면 어디에서 문제가 생기는 걸까요?

실제로는 출처가 답변의 어떤 내용과 연결되는지, 원문을 어떻게 보여주는지, 그리고 근거를 확인하지 못했을 때 이를 어떻게 처리하는지에서 차이가 생깁니다.

오늘은 이 세 가지를 기준으로 AI 출처 기능을 어떻게 설계하면 좋을지 살펴보겠습니다.

출처가 답변의 주장과 연결되어 있지 않기 때문입니다

AI 서비스에서 흔히 볼 수 있는 방식은 답변 아래에 참고한 문서를 한꺼번에 보여주는 것입니다.

예를 들어 출장 관련 사내 AI에게 "누가 출장비를 신청할 수 있고, 비용은 어디까지 지원되나요?"라고 물었다고 해보겠습니다.

AI는 인사 문서에서 신청 자격을, 재무 문서에서 비용 처리 기준을 찾아 답변할 수 있습니다.

그런데 답변 아래에 두 문서의 이름만 나열되어 있다면 어떨까요?

결국 담당자는 어떤 문서가 답변의 어느 내용을 뒷받침하는지 직접 찾아야 합니다.

출처가 많다고 검토가 쉬워지는 것은 아닙니다. 오히려 긴 답변에 문서 링크만 여러 개 붙어 있으면 어디부터 확인해야 할지 더 어려워질 수 있습니다.

그래서 출처는 문서 단위가 아니라 답변 속 주장과 연결해서 보여주는 것이 좋습니다.

예를 들어 신청 자격에 대한 설명 바로 옆에 인사 규정의 해당 부분을 연결하고, 비용 처리에 대한 설명에는 재무 규정의 해당 부분을 연결하는 식입니다.

이때 단순히 문서 이름만 보여주는 것보다 문서명과 위치, 실제 참고한 원문까지 함께 제공하면 검토 과정이 훨씬 짧아집니다.

PDF라면 페이지 번호를, 텍스트 문서라면 문장이나 문단 범위를 표시하는 방식입니다. Claude의 Citations 기능처럼 문서 형식에 따라 페이지나 문자 위치를 함께 제공하는 방식도 참고할 수 있습니다. 다만 서비스마다 제공하는 위치 정보와 구현 방식이 다르기 때문에 실제 도입 시에는 어떤 수준까지 출처 정보를 제공할 수 있는지 먼저 확인해야 합니다.

결국 중요한 것은 출처의 개수가 아닙니다.

검토자가 답변의 한 문장을 읽고, 바로 그 근거가 되는 원문까지 확인할 수 있는가가 더 중요합니다.

특히 하나의 문장에 여러 조건이나 예외가 들어간다면 문장을 나누거나, 조건별로 어떤 근거를 참고했는지 구분해서 보여주는 것도 필요합니다.

[이미지] 답변 속 주장과 원문의 해당 부분을 연결하는 3D 도식

원문을 열어도 어디를 봐야 할지 모르면 다시 찾게 됩니다

출처 링크를 눌렀는데 문서의 첫 페이지가 열린다면 어떨까요?

결국 사용자는 다시 검색하거나 스크롤하면서 해당 내용을 찾아야 합니다.

반대로 관련 문장만 짧게 보여주면 이번에는 다른 문제가 생깁니다. 바로 앞뒤에 있던 조건이나 예외 조항을 놓칠 수 있기 때문입니다.

예를 들어 원문에는 "신청 마감일은 5월 31일까지이며, 신규 입사자는 별도 기준을 적용한다"고 적혀 있는데 AI가 앞부분만 인용한다면, 신규 입사자에게 적용되는 조건은 검토 화면에서 빠질 수 있습니다.

그래서 출처를 보여주는 화면은 관련 부분을 먼저 보여주되, 필요하면 앞뒤 맥락까지 확인할 수 있는 구조가 적절합니다.

처음에는 AI가 참고한 문장이나 문단을 보여주고, 더 확인하고 싶다면 주변 문맥을 펼치거나 원본 파일로 이동할 수 있게 만드는 방식입니다.

여기서 한 가지 더 주의할 부분이 있습니다.

원문에 있는 내용과 AI가 해석해서 덧붙인 내용을 섞어 보여주지 않는 것입니다.

가령 문서에는 출장 신청 마감일만 적혀 있는데 AI가 "따라서 최소 3일 전에 신청하는 것을 권장합니다"라고 답했다고 해보겠습니다.

이 권고가 AI의 판단이라면 원문에 있는 공식 안내와는 구분되어야 합니다. 출처가 붙어 있다는 이유만으로 답변 전체가 문서의 공식 내용처럼 보이면 안 되기 때문입니다.

발췌문을 보여줄 때도 마찬가지입니다.

긴 원문 중 일부를 생략했다면 생략된 부분을 명확하게 표시해야 합니다. 서로 떨어져 있는 문장을 이어 붙여서 원문에 없던 의미가 만들어지지 않도록 하는 것도 중요합니다.

실제 사용 환경까지 생각하면 화면 전환도 살펴볼 필요가 있습니다.

PC에서는 답변 옆에 출처를 펼쳐놓을 수 있지만 모바일에서는 별도의 화면으로 이동해야 할 수 있습니다. 이때 다시 돌아왔을 때 사용자가 보고 있던 답변 위치가 그대로 유지되는지도 검토해야 합니다.

출처 기능은 링크가 열리는지만 확인해서 끝나는 기능이 아닙니다. 사용자가 답변과 원문을 오가며 검토하는 전체 과정을 함께 설계해야 합니다.

[이미지] AI 답변 옆에서 원문의 해당 부분을 확인하는 3D 노트북

근거를 확인하지 못했을 때도 이유를 알려줘야 합니다

출처를 눌렀는데 문서가 열리지 않는 상황도 있습니다.

하지만 문서가 열리지 않는 이유는 하나가 아닙니다.

문서가 삭제됐을 수도 있고, 사용자가 해당 문서를 볼 권한이 없을 수도 있습니다. 혹은 애초에 답변을 뒷받침할 만한 근거를 찾지 못했을 수도 있습니다.

문제는 이 세 가지 상황에서 사용자가 해야 할 일이 모두 다르다는 것입니다.

그런데 화면에 "출처를 불러올 수 없습니다"라는 메시지만 나온다면 사용자는 어떻게 해야 할지 알기 어렵습니다.

다시 질문해야 하는 건지, 문서 관리자에게 권한을 요청해야 하는 건지, 아니면 AI가 근거를 찾지 못한 것인지 판단할 수 없기 때문입니다.

따라서 근거를 확인하지 못한 상태 자체를 숨기지 않는 것이 중요합니다.

근거가 없는 경우에는 답변 가까이에 해당 사실을 표시하고, 필요한 경우 담당자가 직접 확인할 수 있도록 합니다.

권한 문제라면 권한을 요청할 수 있는 경로를 안내하되, 사용자가 볼 수 없는 원문을 미리 노출해서는 안 됩니다.

문서가 수정되면서 기존 출처 위치가 사라진 경우라면 이전 답변과 현재 문서가 동일한 근거를 가리킨다고 단정하기보다 답변을 다시 생성하거나 원문을 직접 확인할 수 있도록 선택지를 제공하는 편이 안전합니다.

결국 검토자에게 필요한 것은 복잡한 오류 코드가 아닙니다.

"왜 확인할 수 없는지"와 "지금 무엇을 하면 되는지"를 알 수 있으면 됩니다.

이런 상태값까지 설계해두면 담당자는 검토가 어디에서 막혔는지 바로 파악할 수 있습니다.

그리고 출처 기능을 검수할 때도 단순히 "링크가 정상적으로 열리는가?"만 확인해서는 부족합니다.

연결된 원문이 실제로 답변을 뒷받침하는지, 중요한 조건이나 예외가 빠지지는 않았는지, 검토자가 해당 원문을 실제로 볼 수 있는지까지 함께 확인해야 합니다.

출처 위치가 정상이라는 것과 답변의 해석이 정확하다는 것은 서로 다른 문제이기 때문입니다.

[이미지] 근거 확인이 막힌 답변을 검토 대기로 남기는 3D 장면

결국 출처 표시는 '링크'가 아니라 검토 과정의 일부입니다

지금까지 살펴본 세 가지 문제를 정리하면 결국 하나의 결론으로 이어집니다.

AI 답변의 출처 표시는 단순히 참고 문서 링크를 붙이는 기능이 아닙니다.

답변을 읽고 → 근거를 확인하고 → 이 내용을 업무에 사용해도 될지 판단하는 과정까지 포함하는 기능입니다.

그래서 AI 기능을 기획할 때도 "문서를 검색해서 출처를 붙여주세요"에서 끝내기보다, 실제 담당자가 답변을 어떻게 검토할지를 함께 정의하는 것이 좋습니다.

어떤 문장이 어떤 문서에서 나온 것인지 어떻게 보여줄지, 원문의 어느 범위까지 확인할 수 있게 할지, 근거가 없거나 열리지 않을 때는 어떤 상태로 보여줄지까지 정해두는 것입니다.

검색 결과가 정확하더라도 검토 과정이 불편하면 현업에서는 결국 사용하지 않게 됩니다.

반대로 답변의 근거를 빠르게 확인하고, 필요한 경우 원문까지 자연스럽게 확인할 수 있다면 AI가 만든 결과를 업무에 적용하기가 훨씬 수월해집니다.

똑똑한개발자는 AI와 자동화를 실제 업무에 적용하면서 AI가 결과를 만드는 것뿐 아니라 사람이 그 결과를 확인하고 판단하는 과정까지 함께 설계하는 것을 중요하게 생각합니다.

업무 분석부터 시스템 기획과 개발, 운영 과정의 개선까지 연결해 현업에서 실제로 사용할 수 있는 AI 시스템을 만들어왔습니다.

[이미지] 기획·설계·구현 과정에 사람의 검수와 승인을 배치한 AX 소개서 원본

위 도식처럼 AI 시스템에서도 모든 판단을 AI에게 맡기기보다, 필요한 지점에 사람의 검토와 승인을 배치하는 것이 중요합니다.

이번 글에서 살펴본 출처 표시 역시 같은 관점에서 볼 수 있습니다. AI가 답변을 만드는 것에서 끝나는 것이 아니라, 사람이 그 답변을 믿고 사용할 수 있도록 근거를 확인하는 과정까지 제품 안에 설계하는 것입니다.

AI 답변의 근거 확인 과정이나 현업의 검토 화면을 개선하고 싶다면 똑똑한개발자와 함께 실제 업무 흐름에 맞는 시스템을 설계해보세요.