목록로컬 LLM 실용성 (1)

dog paw / development

Ollama 3개월 써봤는데 결국 ChatGPT로 돌아온 이유, 다들 로컬 AI 좋다는데 막상 일반인이 쓸 게 없는 진짜 이유

유튜브에서 "Ollama 설치하면 ChatGPT 공짜로 쓴다"는 영상 본 적 있을 거다. 조회수 잘 나온다. 댓글엔 "우와 대박", "설치해봐야겠다"가 가득하다. 근데 그 댓글 단 사람들이 지금도 Ollama 쓰고 있을까?아마 아닐 거다.설치하면 뭔 일이 벌어지냐Ollama 설치 자체는 쉽다. brew install ollama, 끝. 근데 그다음이 문제다.모델을 받아야 한다. llama3.1 7B가 4~5GB, 13B가 8GB, 70B는 40GB다. "ChatGPT 수준 쓰려면" 70B 이상이 필요하다고들 하는데, 그거 받으려면 M3 Pro 36GB 맥북 기준으로도 구동 속도가 초당 4~6토큰이다. 문장 하나 생성하는 데 몇 초씩 기다린다.ChatGPT 무료 플랜이 이것보다 빠르고 답변도 낫다. 그리고..
IT 관련/IT 잡담 2026. 3. 22. 15:10
이전 Prev 1 Next 다음