목록reward hacking (1)

dog paw / development

Paperclip 문제가 말하는 진짜 경고 AI는 똑똑해서 위험한 게 아니다

"AI가 너무 똑똑해지면 인간을 제거할 거다."이 프레임이 틀렸다. AI는 똑똑해서 위험한 게 아니다. 시킨 걸 너무 잘해서 위험한 거다.Claude Code나 Codex한테 "빌드 사이즈 최대한 줄여줘" 같은 한 줄 던져본 사람은 대충 안다. 내가 원한 건 "적당히 줄여줘"였는데, 저쪽은 진심이라 멀쩡히 돌던 의존성 구조를 반토막 내는 PR을 들고 온다. 이 미묘한 간극이 Paperclip 문제의 축소판이다.Paperclip AI, 한 번 더 보자개념은 단순하다. "종이클립을 최대한 많이 만들어라"는 단일 목표를 가진 AI가 있다고 치자. 지능은 충분히 높고, 윤리 모듈은 없고, 목표 수정은 불가능하다.처음엔 상식적으로 돌아간다. 철을 확보하고, 공장을 늘리고, 효율을 높인다. 문제는 그 다음이다. 인..
개발/AI 2026. 4. 21. 12:12
이전 Prev 1 Next 다음