결론부터 말하면, 할루시네이션은 AI가 잘못된 정보를 사실처럼 말하는 현상입니다. 답변이 그럴듯해 보여도 사실과 다를 수 있습니다. 이를 단순히 자료가 오래됐거나 검색을 하지 않았기 때문이라고만 설명할 수는 없습니다. 지식재산처도 AI가 작성한 내용을 그대로 신뢰해서는 안 된다고 안내했습니다.
OpenAI는 불확실성을 인정하기보다 추측을 보상하는 훈련·평가 관행이 환각이 지속되는 이유 중 하나라고 설명합니다. 원인과 완화 방법을 한 가지로 단정하기보다, 답변의 불확실성과 사실 확인을 함께 살펴야 합니다. 참고: OpenAI, 「언어 모델이 환각을 일으키는 이유」 (2025.9.5)
이 글에서 정리한 확인 순서는 세 단계입니다. AI에게 출처를 요구해 원문이 실제로 있는지 확인하고 수치·날짜는 발표 기관 원문과 대조한 뒤 입력 전에 민감 정보를 지웁니다.
먼저 짚을 것
- 검색이나 자료 조회를 활용한 답도 원문과 대조해 확인해야 합니다.
- AI에 일반적인 지시를 넣은 결과물을 그대로 출원하거나, AI가 제시한 후보물질·효능을 실험으로 확인하지 않고 출원하면 특허 거절·무효로 이어질 수 있습니다.
- 최신 수치는 데이터를 직접 확인한 답이 더 믿을 만하다고 서울시는 설명합니다.
할루시네이션이란? 그럴듯한 거짓 답이 생기는 이유
AI의 답은 학습된 정보나 검색 결과로 '만들어진' 문장입니다.
쉽게 말해 '환각'은 AI가 없는 내용을 있는 것처럼 말하는 상태를 가리킵니다. 서울시는 2026년 7월 12일 보도자료에서 지금까지 AI에 이런 환각 현상이 발생하기도 했다고 설명했습니다. 그래서 판단 기준은 하나입니다. 말투가 자신 있어 보여도 내용이 맞는다는 보장은 없으니 따로 확인해 두세요.
지식재산처는 AI가 실제로 존재하지 않는 기술내용과 허위 효과를 만들어 낼 수 있다고 안내했습니다. 과제나 보고서에 AI가 붙인 인용·출처가 있다면, 그 원문이 실제로 있는지부터 찾아보는 것이 첫 확인입니다.
검증 없이 쓰면 생기는 일: 특허 출원 사례
AI에 일반적인 지시를 넣고 결과물을 그대로 출원하면 특허 거절·무효로 이어질 수 있습니다.
지식재산처는 2026년 6월 9일 「인공지능(AI) 시대 올바른 특허출원 안내서」를 배포한다고 밝혔습니다. 지식재산처는 AI에 일반적인 지시를 넣고 결과물을 그대로 출원하면 특허를 받을 수 없다고 안내했습니다. 이미 특허를 받았더라도 무효가 됩니다.
AI가 제시한 후보물질이나 효능을 실험으로 확인하지 않고 출원한 경우도 마찬가지입니다. 실현 가능성 등의 문제로 거절되고 받은 특허도 무효가 됩니다.
AI가 만든 실험결과를 자기 실험처럼 적어 특허를 받으면 법적 책임이 따를 수 있습니다. 특허법 제229조는 거짓이나 부정한 행위로 특허 등을 받은 자를 3년 이하의 징역 또는 3천만원 이하의 벌금에 처합니다.
※ 위 내용은 특허 출원에 한정된 사례입니다. 다만 학생의 과제나 직장인의 보고서에도 '옮기기 전에 검증한다'는 원리는 똑같이 적용됩니다.
비교표: 학습 기반 답변 vs 실시간 데이터를 확인한 답변
최신 수치가 필요한 질문일수록 데이터를 직접 확인한 답이 유리합니다.
MCP(Model Context Protocol)는 AI 애플리케이션이 외부 데이터와 도구에 연결되도록 하는 개방형 표준입니다. 공공데이터 연결은 그 활용 사례 중 하나입니다. 서울시는 MCP를 쓰면 AI가 최신 공공데이터를 직접 확인한 뒤 답해 더 정확한 정보를 줄 수 있다고 설명합니다. 이 기술은 2024년 11월 AI 기업 앤트로픽(Anthropic)이 공개했습니다. 서울시는 OpenAI, Google, Kakao 등 주요 AI 기업도 활용하는 AI 표준 기술이라고 설명합니다.
구분학습 기반 답변데이터 확인형 답변
| 답의 근거 | 학습된 정보·인터넷 검색 결과 | 서울시 최신 공공데이터 |
| 알려진 특징 | 잘못된 정보를 사실처럼 말하기도 함 | 더 정확한 정보 제공(서울시 설명) |
데이터 확인형의 예인 서울 실시간 도시데이터는 서울 주요 121개 지역의 인구 혼잡도, 대중교통, 날씨, 문화행사 등을 실시간으로 제공합니다. 이 데이터는 수초에서 최대 5분 간격으로 계속 갱신됩니다. 그래서 혼잡도처럼 수시로 바뀌는 값은 학습한 정보만으로 맞히기 어렵습니다.
서울시 공공데이터 MCP 시범 서비스(2026년 7월 발표 기준)
서울시는 공공데이터 서비스 최초로 MCP를 시범 운영한다고 밝혔습니다.
최신 공공데이터를 확인하도록 연결해 정보 정확성을 높이려는 공공 사례입니다. 서울시는 2026년 7월 12일 보도자료에서 '서울 실시간 도시데이터 MCP'를 7월 14일 오전 11시에 공개한다고 밝혔습니다. 서울시는 시범서비스를 선착순 100명 대상으로 운영한다고 안내했습니다.
서울시는 이용자가 카카오의 MCP 플랫폼인 PlayMCP를 통해 서비스를 이용할 수 있다고 안내했습니다. 서울시는 신청자에게 MCP 인증키와 이용 가이드가 제공된다고 안내했습니다. 서울시는 시범 운영 후 이용자 의견을 모아 서비스 확대 여부를 검토할 계획이라고 밝혔습니다.
안내된 공개 예정일은 이미 지났습니다. 현재 운영 여부와 신청 가능 여부는 서울시 디지털도시국 데이터전략과에 확인해야 합니다.
업무·학습에서 AI 거짓 답변을 걸러내는 확인 순서
지식재산처 안내서의 원칙을 업무·학습에 맞게 옮기면 세 단계가 됩니다.
1. 진실성과 실현 가능성 검토하기
지식재산처는 특허문서 작성 과정에서 내용의 진실성과 발명의 실현 가능성을 충실히 검토해야 한다고 안내했습니다. 확인할 때는 AI에게 근거 출처를 요구한 뒤 그 출처의 원문을 직접 찾아 대조합니다. 질문할 때 아래처럼 덧붙이면 확인할 단서를 함께 받을 수 있습니다.
답의 근거가 된 출처(기관명·날짜)를 함께 적어 주세요.
확실하지 않은 내용은 모른다고 답해 주세요.
AI가 적어 준 출처도 지어낸 것일 수 있습니다. 그래서 출처를 받은 뒤에도 원문이 실제로 있는지 찾아봐야 합니다.
2. 효과·수치는 직접 확인하기
지식재산처는 AI가 제시한 효과를 그대로 적지 말고 실시 가능성을 충분히 검토하라고 안내했습니다. 확인 행동은 수치·날짜·기관 이름을 발표 기관의 원문 공고와 한 글자씩 맞춰 보는 것입니다. 과제라면 "이 수치가 실린 원문은 어디에 있나요?"를 스스로 물어보면 됩니다.
3. 민감 정보는 입력하지 않기
입력한 자료가 외부 AI 학습에 쓰여 타인에게 알려질 수 있습니다. 확인 행동은 영업비밀이나 핵심 기술정보를 입력 전에 지우는 것입니다.
조직 차원의 대응도 시작됐습니다. 천안시는 2026년 6월 8일 시청 봉서홀에서 전 직원 대상 '생성형 인공지능(AI) 활용 전략 및 윤리 특강'을 열었습니다. 이 특강은 행정 현장의 정보 왜곡(할루시네이션) 등 기술적 한계에 대응하려고 마련됐습니다. 강의에는 오용 사례와 공직자 AI 보안·윤리 가이드라인이 포함됐습니다.
마무리: 할루시네이션은 출처·수치 확인으로 걸러냅니다
할루시네이션은 그럴듯한 답변이 사실과 어긋나는 문제입니다. 검색이나 외부 자료 연결만으로 정확성이 보장되는 것은 아니므로 답변의 내용과 근거를 확인해야 합니다. 상황별로 지금 할 일은 한 줄씩입니다.
- 학생: 과제에 옮기기 전 인용·출처의 원문이 실제로 있는지 찾아봅니다.
- 직장인: 보고서의 수치·효과는 발표 기관 원문과 대조한 뒤 씁니다.
- 공공기관 실무자: 민감 정보는 넣지 않고, 결과물은 사람이 검증한 뒤 씁니다.
'IT' 카테고리의 다른 글
| SHOPIFY 쇼피파이란｜중소 셀러 해외 자사몰 구축에 맞는지, DTC 사례·교육 정보까지 정리 (0) | 2026.10.02 |
|---|---|
| RAG 도입 사례 정리｜서울시·수원시·강서구 공공 챗봇은 어떻게 출처를 붙여 답할까 (0) | 2026.10.02 |
| OPENAI 한국 협력, 어디까지 확인됐나｜2026년 면담·교육 참여와 2023년 창업 모집 (0) | 2026.10.01 |
| 코파일럿 업무 활용법: 엑셀·파워포인트 쓰임새와 배우는 곳 3가지 (0) | 2026.10.01 |
| SUNO 음악 만들기｜첫 곡 순서와 무료 크레딧·상업적 이용 확인법 (0) | 2026.09.30 |