LLM은 거짓말쟁이 hallucinations?

https://youtube.com/shorts/Wrn7ZuaIW98?si=KA8ZZ5EsaLyuPlki

유리컵에 물을 담고 건전지를 양 옆에 붙이면 유리컵 속 물에 회오리가 생긴다?!

유투브에는 이런 실험이 사실로 나와있는 영상들이 많다.

원리가 무엇일까?

GPT4o에게 물어봤다.

결론은 GPT4o는 이 원리에 대해 정확히 사실을 배운 상태였습니다. 유리컵에 건전지를 가져다 댄다고 유리컵 속 물이 회오리가 생길 순 없지요.

다만 저의 질문이 구체적이지 않아서 gpt4o가 다르게 이해한 것이지요. 원하는 답변과 반대로 나왔을 뿐입니다. 결국 정확한 query를 던지지 못한 휴먼에러네요.

생각보다 GPT4o는 정확한 과학원리와 사실들을 많이 학습했나 봅니다. 이로써, GPT4o의 과학영역에서의 hallucinations는 생각보다 없을 것이라는 생각이 듭니다. 다른 영역은 어떨지 모르겠네요. 아마 연산, 수리경제와 같은 부분은 추론이 정확해야 해서 조금 미흡하지 않을까 싶기도 합니다.

이상 GPT4o의 과학 영역 테스트였습니다.

하지만 GPT4o를 맹신하지는 마세요. GPT4o는 틀린 대답을 내놓을 수 있으니까요. 재차 확인하는 건 휴먼의 몫. 아직은 100% 신뢰할 수 없습니다.