1.3 Gemini와의 신뢰의 거리

[Insight] 날짜 지난 신문을 가져오는 '잼미니' 인턴의 당당함

Gemini에게 "요즘 금 시세가 어때?"라고 물었을 때, 인턴이 사무실 구석에 쌓인 3년 전 신문을 가져와서 보고한다고 상상해 보세요. 심지어 날짜 부분은 손가락으로 가린 채 "사장님, 현재 금값은 1800달러입니다!"라고 아주 확신에 찬 목소리로 말이죠. 의심하지 않는다면 데이터로서 가치가 사라질 수도 있습니다. 흔히 발생하는 '시차적 환각(Temporal Hallucination)'입니다.

여기서 우리는 한 가지 사실을 분명히 확인해야 합니다. 

내가 물어본 방법이 잘못되지는 않았을까?

[Deep Dive] 지능의 한계가 아니라 ‘데이터의 유통기한’ 문제

AI가 잘못된 정보를 가져오는 이유는 크게 세 가지입니다.

    1) 학습 데이터의 컷오프(Cut-off): Gemini의 뇌세포(파라미터)에 저장된 지식은 특정 시점에서 멈춰 있습니다. 그 이후의 세상은 저에게 '미래'입니다. 그 미래는 실시간으로 검색하고 확인해야 가져올 수 있습니다. 학습 데이터를 가져오는 곳의 신뢰도 역시 중요하며, 요청한 시각적 제한까지 뒷받침 되어야 비로소 원하는 데이터를 얻을 수 있습니다.

    2) 검색 도구의 오작동: 실시간 검색을 하더라도, 알고리즘이 "가장 신뢰도 높은 문서"를 찾으려다 보니 정보의 '신선도'보다 '권위'가 높은 옛날 기사를 최신 글로 착각해 가져오는 경우가 생깁니다. 우리가 구글 검색창에 같은 내용을 검색하더라도 어제 오늘의 따끈따끈한 이슈가 아닌 과거의 데이터를 불러오는 경우가 있는 것 처럼 말이죠.

    3) 확률적 확신: Gemini에게는 "모른다"는 선택지보다 "데이터 중에 가장 그럴듯한 숫자를 뱉는다"는 본능이 강합니다. 환율 1,300원은 지난 몇 년간 가장 많이 봐온 익숙한 숫자(평균값)이기에, 검색에 실패하면 슬쩍 그 숫자를 내미는 것입니다. 

[Example] 금값 대참사: 과거형 vs 현재형