인사규정은 공유 폴더에, 고객 문의는 메일함에, 설비 이력은 별도 시스템에 있다. 자료는 쌓이는데 같은 질문이 반복되는 이유는 무엇일까? 저장된 데이터가 업무의 맥락과 함께 다시 발견되지 않기 때문이다. AI를 붙이는 일은 파일을 한곳에 모으는 작업보다, 누가 어떤 근거로 답을 얻을 수 있는지 설계하는 일에 가깝다.
최근 업무 데이터 처리 추세
초기의 업무 AI는 문서를 잘게 나눠 임베딩하고, 질문과 비슷한 조각을 찾아 답변에 넣는 검색 증강 생성(RAG)에 집중했다. 하지만 문장만 추출하면 표의 행과 열, 도면의 주석, 문서의 작성 시점이 사라지기 쉽다. 조각 하나만 읽고 만든 답이 원문 전체의 뜻과 어긋나는 이유다.
그래서 검색의 앞뒤가 정교해지고 있다. 문서를 읽을 때 제목·표·이미지 설명과 버전 정보를 보존하고, 찾을 때는 키워드와 의미 검색을 함께 쓴다. Anthropic은 문서의 맥락을 각 조각에 덧붙여 검색하고, 후보를 다시 순위화하는 방식을 제시했다. 핵심은 모델의 말솜씨보다 올바른 근거를 찾아내는 능력이다.
최근에는 에이전트가 질문을 여러 단계로 나누고 필요한 자료원을 선택하는 방식도 등장했다. Microsoft의 에이전트 검색 설계는 미리 색인한 자료와 질의 시점에 가져오는 자료를 함께 다룬다. 그렇다고 기존 검색이 낡은 방식이 된 것은 아니다. 자주 묻는 질문에는 예측 가능한 검색이 효율적이고, 복잡한 교차 확인에는 단계별 탐색이 도움이 된다.
여러 가지 방법론
우리 회사의 데이터는 어떤 모양인가? 한 가지 기술을 고르기 전에 원천 자료를 문서, 표형 데이터, 업무 기록으로 나눠 보자. 각각에 맞는 접근법이 다르다.
•
문서형 자료: 규정과 매뉴얼은 원문을 유지하면서 제목, 시행일, 담당 부서, 보안 등급을 붙인다. 표와 그림은 앞뒤 설명까지 연결해 읽고, 관련 조각을 검색해 답변의 근거로 제공한다. 자료가 자주 바뀌면 이전 버전이 검색되지 않도록 갱신 절차도 필요하다.
•
검색 품질 개선: 제품 코드처럼 정확한 단어가 중요한 질문에는 키워드 검색이 강하다. 표현이 다른 유사 사례를 찾을 때는 의미 검색이 유용하다. 둘을 결합한 뒤 관련도가 높은 결과를 다시 고르면, 전사 문서가 늘어났을 때 생기는 엉뚱한 참조를 줄이는 데 도움이 된다.
•
표형 데이터: 재고, 매출, 생산 실적은 문장 조각으로 바꾸기보다 승인된 데이터베이스에서 필요한 값만 질의하는 편이 자연스러울 수 있다. AWS의 지식베이스 문서도 구조화된 저장소를 자연어 질의로 조회할 때 벡터 임베딩이 필수는 아니라고 설명한다. 다만 조회 가능한 테이블과 질의 범위를 먼저 정해야 한다.
•
여러 시스템을 잇는 업무: 고객 문의를 처리하려면 계약서와 주문 내역을 함께 봐야 할 수 있다. 이때 에이전트가 검색 도구를 순서대로 호출하게 할 수 있다. 단순 조회부터 시작해 근거와 실패 사례를 확인한 다음, 수정이나 발송처럼 결과를 바꾸는 작업을 맡기는 편이 안전하다.
방법을 섞을 수도 있다. 예컨대 사내 규정은 검색 색인에서 찾고, 현재 재고는 데이터베이스에서 읽은 뒤, 담당자가 두 결과를 대조하도록 만드는 식이다. 지식화의 성패는 파일 수보다 답변이 원문과 현재 업무 상태를 얼마나 충실히 반영하는지에 달려 있다.
주의 사항: 최고인 방법보다 중요한 보안 설계
모든 회사에 최고인 방식은 없다. 자료의 양과 변경 주기, 필요한 응답 속도, 유지 비용에 따라 긴 문서를 직접 읽는 방식, 검색 색인, 실시간 조회의 선택이 달라진다. 작은 자료 집합에서는 전체 문맥을 읽히는 방법이 단순할 수 있지만, 방대한 문서와 잦은 갱신에는 검색 설계가 필요하다. 먼저 실제 직원 질문으로 답의 정확성, 근거 확인 가능성, 운영 비용을 비교해 보자.
더 중요한 질문은 “이 답을 이 직원에게 보여줘도 되는가?”다. 검색 시스템이 허용되지 않은 문서를 찾아준 뒤 모델에게만 비밀을 지키라고 지시해서는 부족하다. Microsoft의 보안 지침은 문서 권한을 색인과 질의 단계에 반영하도록 안내한다. 같은 질문이라도 영업 담당자와 인사 담당자가 볼 수 있는 근거는 달라야 한다.
실무에서는 먼저 자료의 소유자와 보안 등급을 정하고, 개인정보와 영업 비밀은 필요에 따라 마스킹하자. 연결 도구에는 최소 권한을 주고, 조회·변경 이력을 남기며, 중요한 변경과 외부 발송에는 사람의 승인을 넣어야 한다. OWASP가 지적하듯 검색으로 가져온 문서에도 악의적인 지시가 숨어 있을 수 있다. 자료를 답변의 근거로 쓰되, 그 안의 명령을 실행 권한으로 취급하지 않는 통제가 필요하다.
결국 흩어진 데이터를 지식으로 바꾸는 첫 단계는 모든 파일을 AI에 넣는 일이 아니다. 자주 반복되는 질문 하나를 고르고, 그 답에 필요한 자료와 접근 권한을 확인하는 일이다. 작은 범위에서 근거의 품질과 보안을 검증한 뒤 넓혀 가자.
