LLM 도입 전에 무엇을 확인할까? 기능·자료·보안·성능 점검 순서

LLM 도입 전에 필요한 기능과 업무자료를 살펴본다

 

LLM 도입을 검토한다면 만들 기능과 연결할 업무자료부터 정해야 합니다. 서울시 직원용 서비스는 질의응답과 문서 생성·요약·분석 기능을 제공합니다. 서울시는 업무매뉴얼을 연결해 답변과 함께 근거와 출처를 제시합니다.

 

이 글의 핵심
✔ 필요한 기능과 연결할 자료를 먼저 정합니다.
✔ 보안 업무와 일반 업무의 운영 방식을 구분합니다.
✔ 응답 속도와 운영 비용을 실제 환경에서 확인합니다.

 

🧩 LLM 서비스는 질의응답과 문서 작업에 활용할 수 있다

 

LLM은 대규모 언어모델로, 서비스에서 질문 응답과 문서 작업에 쓰입니다.

 

서울시 직원용 AI 행정 지원 서비스는 행정망 내부에 구축한 LLM을 기반으로 합니다. 직원은 질문에 대한 답을 받거나 문서를 생성·요약·분석하는 기능을 이용합니다. 이 사례에서는 직원용 서비스가 내부 행정망에서 운영된다는 점도 살펴야 합니다.

 

부서와 개인의 업무자료를 연결하는 기능으로는 ‘My 챗봇’이 있습니다. 보도자료나 민원 답변 초안에는 ‘AI 템플릿’을 활용할 수 있습니다. 서울시는 다른 행정 시스템에서도 생성·요약·분석 기능을 쓰도록 LLM API 연계 기반을 마련했습니다.

 

따라서 독립된 대화창이 필요한지, 기존 업무 시스템에 기능을 붙일지 구분할 수 있습니다.

 

🔎 내부 자료에 답하려면 RAG와 출처 제공 방식을 살핀다

내부 자료에 근거한 답변은 출처와 함께 확인한다

 

내부 자료에 근거한 답이 필요하면 연결할 자료와 출처 제공 방식을 함께 봐야 합니다.

 

서울시는 270종의 행정 업무매뉴얼을 기반으로 검색증강생성(RAG) 체계를 구축했습니다. 이 체계는 자연어 질문에 근거 기반 답변과 출처를 함께 제공합니다. 업무매뉴얼을 근거로 답해야 한다면 자료를 연결하는 방식도 검토해야 합니다.

 

문서 생성이나 요약이 목적이라면 필요한 기능부터 구분하는 편이 명확합니다.

 

수원시는 홈페이지 핵심 콘텐츠를 선별해 AI에 맞는 데이터로 정제할 계획입니다. 한국어 특화 거대언어모델을 선정해 검색증강 생성을 구현할 계획도 밝혔습니다. 수원시는 구축을 계획하는 단계로, 서울시의 운영 사례와 진행 상태가 다릅니다.

 

수원시가 구상한 서비스는 홈페이지 데이터를 연결해 사용자 의도에 맞는 대화를 제공하는 방식입니다.

 

자료가 바뀌는 업무라면 원본 변경을 누가 확인하고 언제 연결 자료에 반영할지, 답변 출처를 현행 원본과 어떻게 대조할지 정해야 합니다. 여기서는 답의 근거를 준비하고, 응답 속도와 비용은 뒤에서 살펴봅니다.

반응형

🔐 서울시는 보안 업무를 자체 LLM에 배치한다

 

서울시 사례에서는 보안이 필요한 업무를 자체 LLM에 배치합니다.

 

서울시는 자체 LLM과 외부 생성형 AI 서비스를 병행하는 이원화 운영체계를 구축했습니다. 정보 검색과 아이디어 도출 같은 일반 업무는 외부 서비스 ‘서울AI챗’이 담당합니다. 업무 유형과 외부 데이터 연계 여부에 따른 배치는 다음과 같습니다.

 

구분맡는 업무외부 데이터

자체 LLM	보안 필요 업무	연계 제한
서울AI챗	정보 검색·아이디어 도출	최신 정보 활용

 

자체 LLM은 내부 행정망에서 운영되며 외부 데이터 연계가 제한됩니다. 최신 정보는 외부 AI 서비스에서 활용한다는 점이 두 방식의 차이입니다. 서울시는 행정망 내부에 상용 및 오픈소스 기반 AI 언어모델 2종을 구축했다고 밝혔습니다.

 

민감한 자료를 다룰 계획이라면 입력 가능 범위와 외부 전송 여부를 먼저 확인할 수 있습니다. 저장 방식과 접근 권한도 해당 조직의 운영 조건에 맞춰 확인해야 합니다. 서울시 사례는 실제 업무 경계를 정할 때 참고할 수 있습니다.

 

⚙️ LLM 모델 선택에는 응답 속도와 운영 비용을 함께 본다

모델 선택에는 응답 시간과 운영 비용을 함께 살핀다

 

LLM 모델을 선택할 때는 응답 속도와 운영 비용을 함께 봐야 합니다.

 

2026년 3월, 기업의 도입 과제로 모델 선택, 운영 비용 관리, 실시간 응답 성능 확보가 제시됐습니다. 기업 환경에서 실제 서비스에 적용할 추론 최적화 기술과 운영 전략도 다뤄졌습니다. 자료와 출처를 준비한 뒤에는 실제 요청을 처리할 때의 성능도 살펴야 합니다.

 

비교 전에는 같은 업무 질문과 연결 자료 조건을 맞추고, 응답 시간 측정 구간·요청 횟수·비용 집계 단위를 정해야 합니다. 실시간 응답이 필요한 기능과 문서 작업 기능은 각각 시험해 보는 방식이 적절합니다. 측정 조건을 맞춰야 후보 모델의 속도와 비용을 같은 기준으로 비교할 수 있습니다.

 

2026년 3월, 모델 경량화와 양자화가 추론 최적화 기술로 제시됐습니다. 디코딩 가속과 캐시 최적화도 함께 제시됐습니다. 효과를 미리 수치로 가정하기보다 적용할 기술과 측정 조건을 정리하는 데 쓸 수 있습니다.

 

🧪 연동 전에는 답변 근거와 현장 사용성을 확인한다

 

시범운영에서는 답변의 근거와 현장 사용성을 함께 확인해야 합니다.

 

서울시는 2026년 5월 발표에서 사업 착수 뒤 약 6개월간 개발과 시범운영을 거쳤다고 밝혔습니다. 전 직원 대상 AI 활용 교육과 단계적 시범운영으로 현장 적용성을 검증했다고도 밝혔습니다. 도입을 검토할 때도 실제 업무 질문을 넣고 답과 출처가 맞는지 확인할 수 있습니다.

 

오답이나 근거 없는 답변은 원래 업무자료와 답변 출처를 대조할 때 드러날 수 있습니다.

 

서울시의 2026년 6월 5일 결재문서 제목은 ‘LLM API 서비스 인증키 발급’입니다. 이 문서는 부분공개이며, 인증키 파일과 매뉴얼 첨부는 비공개로 표시돼 있습니다. 구체적인 연동 절차는 서울시의 해당 문서와 담당 부서에 확인해야 합니다.

 

시범운영 전에 답변·출처 일치, 오답과 근거 없는 답변, 응답 시간, 운영 비용의 허용 기준을 정하고 측정 결과와 대조해 도입 여부를 판단할 수 있습니다. 만들 기능과 연결할 자료를 정한 뒤, 업무별 운영 방식과 성능을 실제 환경에서 확인하는 순서입니다.