로봇이 차를 만들어도 책임은 사람에게 남는다 — 오래전부터 주변에 해온 말

며칠 전 Anthropic 쪽에서 소스맵 노출 사고 얘기가 돌았을 때, 사고 내용 자체보다 더 눈에 남은 건 그 직후 커뮤니티에 제일 먼저 올라온 질문이었다.

 

“이거 사람 실수야, AI 실수야?”

 

누가 배포 설정을 잘못 만진 건지, AI 에이전트가 파일을 건드리다 놓친 건지, 진짜 원인은 바깥에서는 알 수 없다. 그건 내부에서나 확인할 일이다. 근데 내겐 그보다 이 질문이 먼저 튀어나왔다는 사실이 더 흥미로웠다.

 

이게 지금 풍경이다.
사고가 나면 원인을 사람인지 AI인지부터 가르고 싶어지는 시대.

 

그리고 그 질문 뒤에는 거의 자동으로 다음 질문이 붙는다.

 

“그래서 누가 책임지는데?”

 

요즘 진로 고민하는 학생들이나 취업 앞둔 컴공과 4학년, 주니어들이 반복해서 꺼내는 불안도 결국 이 자리로 모인다. AI가 이렇게 빨라지면 내 자리가 남을까. 지금 배우는 게 5년 뒤에도 쓸모가 있을까. 지금 이 업계에 들어가는 게 맞는 선택일까.

 

근데 이 고민의 가장 바닥에는 사실 질문이 하나밖에 없다.

 

AI가 거의 다 하게 되면,
사람한테 남는 일이 진짜 있긴 한가.

 

나는 이 질문에 꽤 오래 같은 답을 해왔다.

 

있다.
그리고 그 자리는 생각보다 안 없어진다.

 

오히려 더 또렷해진다.

 

로봇이 차를 만들어도 사고 책임은 로봇에게 안 간다

 

불안을 줄이려면 추상적인 얘기부터 하면 안 된다.
구체적인 장면 하나를 먼저 보는 게 낫다.

 

자동차 공장에 가보면 이미 오래전부터 로봇이 대부분의 공정을 돌린다. 용접도 하고, 도장도 하고, 조립도 한다. 이제 와서 새삼스러운 풍경도 아니다. 사람보다 훨씬 정확하고, 훨씬 지치지 않고, 훨씬 일정하다.

 

그럼 이렇게 생각해보자.

 

브레이크 배관이 잘못 조립된 차가 출고됐다.
결국 사고가 났다.
리콜이 걸리고 뉴스가 나온다.

 

이때 책임이 누구에게 가는가.

 

“그 라인의 로봇 때문입니다.”

 

이렇게 끝나는 사고는 없다.
아무도 그렇게 말하지 않는다.

 

책임은 결국 제조사로 간다. 더 좁히면 그 공정을 설계한 엔지니어, 품질 검수를 통과시킨 담당자, 최종 출고를 승인한 관리자 쪽으로 모인다. 로봇이 실제 손을 움직였더라도, 그 로봇이 어떤 동작을 하게 만들었는지, 그 결과가 안전한지, 그 차를 시장에 내보내도 되는지를 판단한 사람 쪽에 책임이 남는다.

 

AI도 똑같다.

 

에이전트가 코드를 짰다.
그 코드가 서비스에 들어갔다.
문제가 있었다.
장애가 났고, 데이터가 새고, 고객이 영향을 받았다.

 

이 순간 “AI가 한 일입니다”로 끝나는 사고는 없다. 그 코드를 리뷰한 사람, 머지한 사람, 배포를 승인한 사람, 그 에이전트가 그렇게 일하도록 만든 팀. 어디선가는 반드시 사람 이름이 나와야 한다.

 

그래서 “사람 실수냐 AI 실수냐”라는 질문은 사실 겉모양만 기술 질문이다. 실제로는 책임 소재를 어디에 둘 거냐는 질문이다.
그런데 그 답이 “AI”로 끝나는 사회는 아직 없다.
그리고 꽤 오래 없을 가능성이 높다.

 

책임 구조는 기술보다 훨씬 느리게 움직인다

 

여기서 사람들이 자주 섞어버리는 게 있다.

 

AI가 점점 자율적으로 움직이면, 결국 책임도 AI한테 넘어가는 거 아니냐는 기대. 방향만 보면 그럴 수 있다. 근데 속도가 완전히 다르다.

 

자율주행이 딱 그런 사례다. 센서도 좋아졌고, 판단도 좋아졌고, 제어도 예전보다 훨씬 정교해졌다. 기술 시연만 보면 “이제 거의 다 왔다”는 말이 몇 년째 반복된다. 그런데도 완전 자율주행이 사회 전체의 기본값이 안 되는 이유는 기술이 덜 좋아서만은 아니다.

 

사고가 났을 때 누구 책임인지가 안 끝났기 때문이다.

 

제조사 책임인지, 운전자인지, 소프트웨어 공급자인지, 인프라 관리자인지. 이걸 법과 보험과 판례와 내부 기준으로 정리해야 하는데, 이 층위는 기술 데모보다 훨씬 느리다. 몇 년 단위가 아니라 거의 체제 단위로 움직인다.

 

AI 코딩도 비슷한 구간에 들어와 있다.

 

AI가 코드를 많이 쓰는 건 가능하다. 이미 되고 있다.
AI가 테스트도 만들고, 수정안도 내고, PR 초안도 작성한다.
여기까진 기술 문제다.

 

근데 그 결과가 문제를 일으켰을 때 법적·조직적 책임을 AI에 귀속시키는 시스템은 아직 없다. 그리고 이건 모델 성능이 좋아진다고 저절로 따라오는 종류의 변화가 아니다. 법, 보험, 감사 기준, 내부 통제, 고객 커뮤니케이션 방식이 다 같이 움직여야 한다.

 

이 말은 결국 하나를 뜻한다.

 

기술이 더 많은 걸 하게 될수록,
그 결과를 대신 받아낼 사람의 필요는 당분간 안 사라진다.

 

기업 입장에서는 더 분명하다

 

개인 입장에서 보면 이 얘기가 약간 추상적으로 들릴 수 있다.
근데 기업 관점으로 들어가면 훨씬 선명해진다.

 

지금 많은 사람이 “AI가 빠르고 싸니까 결국 다 흡수되겠지”라는 분위기로 말한다. 큰 방향 자체는 맞다. 도메인을 이해하는 AI는 이미 들어오고 있고, 판단을 보조하는 AI도 빠르게 확장되고 있다. 근데 “기술적으로 가능하다”와 “기업이 그걸 실무 표준으로 채택할 수 있다”는 완전히 다른 문제다.

 

현실 기업 환경에서 AI 도입은 대충 세 층위로 나뉜다.

 

하나는 도메인 이해를 돕는 AI다. 문서 요약, 코드 설명, 리뷰 보조, 온보딩 지원. 이건 이미 자리 잡았다.

 

그다음은 판단을 같이 하는 AI다. 설계 대안 제시, 테스트 케이스 생성, 장애 원인 후보 좁히기. 이 정도도 빠르게 넓어지고 있다. 다만 여기서도 최종 결정은 여전히 사람이 한다.

 

문제는 마지막 단계다.
책임까지 넘기는 AI.

 

이건 말은 많이 나오는데, 실제 엔터프라이즈 표준으로 굳은 사례를 물으면 대부분 멈춘다. 이유는 단순하다. 위로 갈수록 기술 문제가 아니라 구조 문제에 걸리기 때문이다.

 

기업에서 장애가 하나 나면 모든 추적은 사람 이름으로 흘러간다.

 

누가 커밋했는지,
누가 PR을 승인했는지,
누가 배포했는지,
누가 사후 감사에서 설명할지.

 

보안팀, 감사팀, 법무팀, 경영진 보고 라인 전부 이 기준으로 움직인다. “AI가 그렇게 판단했다”는 로그는 남길 수 있다. 하지만 그 로그를 법정에서, 감사 문서에서, 고객 공지에서 책임 주체로 세울 수 있는 체계는 아직 없다.

 

이걸 바꾼다는 건 모델 하나 갈아끼우는 일과 차원이 다르다.
감사 기준, 보험 설계, 내부 통제, 업계 표준이 다 같이 바뀌어야 한다.

 

모델 성능이 10배 좋아지는 것보다,
이 구조가 바뀌는 쪽이 훨씬 느리다.

 

그래서 기업 현실의 속도는 대체로 이렇다.
도메인 이해 보조는 넓어진다.
판단을 같이 하는 AI도 더 깊게 들어온다.
근데 책임까지 넘기는 AI는 훨씬 천천히, 아주 조심스럽게 움직인다.

 

이 간극이 바로 개발자의 자리가 생각보다 오래 유지되는 이유다.

 

사람 월급과 토큰비용만 비교하면 계산이 틀어진다

 

AI 붐을 단순화하면 늘 이 두 줄로 압축된다.

 

코드를 잘 짠다.
토큰비용이 사람 인건비보다 싸다.

 

이 두 줄만 놓고 보면 경영진 입장에서 안 쓸 이유가 없어 보인다. 시니어 개발자 한 명의 월급보다 훨씬 적은 비용으로, 더 빠르게 결과물이 나온다는 이야기니까.

 

근데 이 계산에는 중요한 항이 하나 빠져 있다.

 

책임 비용이다.

 

실제 장애가 터졌을 때 기업이 감당해야 하는 건 개발자 한 명 월급보다 훨씬 클 때가 많다. 장애 대응 인건비, 고객 보상, SLA 위약금, 매출 손실, 감사 대응, 브랜드 신뢰 하락, 법적 리스크. 이 비용들은 책임 주체가 명확할 때만 관리 가능하다. 제조사는 제조물 책임 보험을 들고, 임원은 D&O 보험으로 커버하고, 개발팀은 재발 방지 프로세스로 설명할 수 있다.

 

근데 AI에게 책임을 넘긴다는 건 이런 체계를 전부 다시 설계해야 한다는 뜻이다.

 

보험도 바뀌어야 하고,
감사도 바뀌어야 하고,
법무 문서도 바뀌어야 하고,
고객 설명 방식도 바뀌어야 한다.

 

이건 모델이 더 똑똑해진다고 자동으로 해결되지 않는다.

 

그래서 현실 기업의 진짜 계산식은 “사람 월급 vs 토큰비용” 두 항만으로 끝나지 않는다.
그 뒤에 “책임 불확실성이 만드는 비용”이 붙는다.

 

토큰비용이 아무리 싸도 책임 불확실성이 높으면 절감분이 쉽게 상쇄된다. 어떤 영역에서는 오히려 마이너스가 된다.

 

그래서 실무에서는 자연스럽게 하나의 구조가 굳고 있다.

 

구현은 AI에게.
책임은 사람에게.

 

AI가 코드 대부분을 쓰더라도, 마지막 게이트에는 사람 이름이 올라간다. PR을 승인하는 사람, 배포 버튼을 누르는 사람, 사고가 났을 때 설명할 사람.

 

이 구조 안에서 개발자의 본질은 점점 “코드를 치는 사람”보다 “리스크를 받아내는 사람” 쪽으로 이동한다. 전자는 AI가 꽤 많이 가져갈 수 있다. 근데 후자는 기업이 당분간 사람에게 고정할 수밖에 없는 자리다.

 

1인 개발과 대기업은 정말 다른 게임이다

 

여기서 한 가지 더 구분해야 한다.
모든 개발자가 같은 AI 시대를 사는 건 아니라는 점이다.

 

AI가 개발자를 바로 대체하는 것처럼 체감되는 층위는 분명 있다. 1인 개발자, 인디 해커, 극초기 스타트업, 아주 작은 팀. 이쪽에서는 실제로 구현 대부분을 AI가 가져가고 있고, 운영 부담도 비교적 가볍다. 유튜브나 X에서 보이는 “AI로 혼자 앱 만들었다”, “에이전트로 SaaS 런칭했다” 같은 사례도 대부분 이 층위다. 여기서는 체감대로다. 혼자서도 꽤 많은 걸 해낼 수 있다.

 

근데 이걸 대기업에 그대로 가져오면 그림이 전혀 달라진다.

 

대기업에서 장애가 나면 보고 라인이 즉시 열린다. 팀장, 파트장, 본부장, 임원, 때로는 대외 커뮤니케이션팀까지 붙는다. 이때 팀장이 “AI가 짠 코드에서 문제가 났습니다”라는 문장 하나로 설명을 끝낼 수 있나. 못 한다. 바로 이어서 질문이 나온다.

 

누가 리뷰했는가.
누가 승인했는가.
누가 배포했는가.
이 PR에 이름 올린 사람은 누구인가.

 

이 질문에 답을 못 하면 장애의 규모보다 책임의 공백이 더 큰 문제로 지적된다.
조직은 책임 추적이 끊긴 상태를 제일 싫어한다.

 

1인 개발자는 이 체인이 자기 혼자다. 망하면 본인이 감당한다. 그래서 “AI에게 다 맡겼다”가 상대적으로 쉽게 성립한다.

 

대기업은 다르다. 수십, 수백 명의 이름이 연결된 구조다. 여기서 “AI가 했습니다”는 사실상 책임 체인을 끊는 말이다. 조직은 이걸 용납하지 않는다. 느려서가 아니다. 감당해야 하는 규모가 다르기 때문이다. 장애가 미치는 영향도, 규제 리스크도, 외부 신뢰의 비용도 비교가 안 된다.

 

그래서 똑같이 AI를 보고도 사람마다 느끼는 온도가 다르다.
1인 개발자 쪽에선 “이제 거의 다 된다”는 말이 정말 실감난다.
대기업 쪽에선 “AI가 더 많이 할수록 책임질 사람이 더 중요해진다”는 감각이 더 강해진다.

 

둘 다 맞다.
다만 서 있는 자리가 다를 뿐이다.

 

그리고 중간에 낀 층이 또 있다

 

여기서 또 하나 빼놓으면 안 되는 풍경이 있다.
중소기업, 중견기업, 월급쟁이 개발자들이 서 있는 자리다.

 

유튜브에서 자주 보이는 AI 생산성 사례는 대개 두 극단에서 나온다.
본인이 돈을 쓰더라도 레버리지가 큰 1인 개발자·창업자.
전사적으로 AI 툴을 깔아주는 대기업·테크 기업.

 

그 사이에 낀 사람들은 풍경이 다르다.

 

“AI가 좋다는 건 알겠는데, 개발자 한 명당 매달 30만 원 넘는 툴을 회사가 결제해줄 거냐?”
이 질문 앞에서 많은 중소기업은 멈춘다.

 

남은 인력도 빠듯한데 전사 라이선스를 과감하게 깔아주는 회사는 생각보다 드물다. 그래서 현장에서는 종종 “쓰고 싶으면 개인이 결제해서 쓰라”로 간다. 이쯤 되면 AI 시대의 체감은 또 달라진다. 유튜브에서는 다들 에이전트 팀을 굴리고 있는데, 실제 현장에서는 무료 플랜 한도 안에서 겨우겨우 돌리는 경우도 많다.

 

이 구간이 생각보다 크다.
그리고 이 층위에 있는 개발자가 보는 AI 시대는 콘텐츠에서 보이는 풍경과 결이 꽤 다르다.

 

그러니까 학생들이나 주니어가 “유튜브에선 다 혼자 다 하던데요?”라고 느끼는 것도 이해는 된다. 다만 그 사례 대부분은 1인 개발자 층위에서 나온다. 실제로 많은 사람이 들어가게 될 중견·대기업 환경에서는 얘기가 조금 다르다. 그쪽에서는 오히려 책임질 수 있는 사람의 가치가 더 올라가고 있다.

 

오래전부터 주변에 해온 말

 

이 얘기를 나는 꽤 오래 해왔다.
20년 가까이 비슷한 말을 반복했다.

 

그때는 AI가 아니었다. 클라우드였고, 프레임워크였고, 오픈소스였고, 자동화였다. 매번 패턴은 비슷했다. 새로운 기술이 나오면 “이걸로 다 해결된다”는 공기가 먼저 돌고, “개발자가 할 일이 줄어든다”는 불안이 뒤따른다. 몇 년 지나면 실제로 어떤 공정은 흡수된다. 근데 “개발자가 없어진다”는 예측은 매번 빗나간다.

 

사라진 건 특정 구현 작업이었다.
남은 건 그 기술을 쓰는 판단과, 그 결과를 감당하는 책임이었다.

 

그래서 늘 같은 말을 했다.

 

기술이 바뀌어도
결과에 이름 올리는 자리는 쉽게 안 없어진다.
사라질 걸 붙잡지 말고, 안 사라질 걸 쌓아라.

 

안 사라지는 게 뭔가 하면 결국 이런 쪽이다.

 

문제가 뭔지 정의할 수 있는 능력.
여러 후보 중 우리 상황에 맞는 걸 고를 수 있는 판단력.
결과가 왜 맞고 왜 틀린지 설명할 수 있는 이해도.
판단이 틀렸을 때 고쳐낼 수 있는 대응력.

 

이건 언어가 바뀌어도 남고, 프레임워크가 바뀌어도 남고, AI가 코드를 많이 쓰기 시작해도 남는다. 오히려 구현이 쉬워질수록 이 네 가지 가치는 더 올라간다. 구현이 쉬워질수록 “뭘 구현할 것인가”와 “그 구현이 우리한테 맞는가”를 정하는 사람이 더 희귀해지기 때문이다.

 

불안의 방향을 바꾸는 게 먼저다

 

학생이든 주니어든, AI 때문에 불안해하는 걸 탓할 생각은 없다. 나라도 지금 같은 시기에 커리어를 시작했으면 비슷하게 흔들렸을 것 같다. 변화 속도가 빠르다는 체감은 진짜다.

 

근데 그 불안을 어디에 걸어두느냐가 중요하다.

 

“AI가 내 자리를 뺏는 거 아닌가”로만 불안해하면 대응 방법이 별로 없다.
그건 내 바깥의 변화만 바라보게 만든다.

 

반대로 “AI 시대에 결과를 감당할 수 있는 개발자가 되려면 지금 뭘 쌓아야 하지?”라고 묻기 시작하면 대응 방법이 많아진다. 문제 정의, 설계, 실패 해석, 의사결정 근거 기록, 설명 능력. 할 일이 갑자기 구체적으로 보인다.

 

두 질문은 비슷해 보이는데 결과가 완전히 다르다.
첫 번째 질문에 갇히면 트렌드만 따라다니게 된다.
두 번째 질문을 쥐면 판단 근육을 기르게 된다.

 

몇 년 지나면 격차는 꽤 크게 벌어진다.

 

결국 남는 건 감당할 수 있는 사람이다

 

Anthropic 소스맵 노출 같은 사건은 앞으로도 반복될 것이다. AI가 코드의 더 많은 부분을 쓰게 될수록, 사고 원인이 사람인지 AI인지 헷갈리는 순간도 더 많아질 것이다. 그때마다 똑같은 질문이 나온다.

 

“그래서 누가 책임지는데?”

 

그리고 그 질문의 답은 한동안, 아마 꽤 오래, 사람으로 끝날 가능성이 높다.

 

로봇이 자동차를 만들어도 사고가 나면 제조사가 책임지듯, 에이전트가 코드를 써도 장애가 나면 그걸 배포한 팀이 책임진다. 이 구조는 기술보다 훨씬 느리게 바뀐다.

 

그래서 AI가 불안한 학생이나 주니어에게 결국 하고 싶은 말은 이거다.

 

불안한 건 자연스럽다.
근데 AI가 뭘 할 수 있게 됐는지만 보면서 불안해하지 말고,
AI가 만든 결과를 감당할 수 있는 사람이 되는 쪽에 시간을 써라.

 

도메인을 이해하고,
판단 근거를 쌓고,
실패를 해석해보고,
다른 사람에게 설명해보라.

 

AI는 계속 발전할 거다.
근데 그 발전과 함께 결과를 책임질 수 있는 사람의 가치도 같이 올라간다.

 

오래전부터 비슷한 말을 해왔는데,
이번에도 크게 틀릴 것 같지는 않다.