거창한 이름을 접고 게이트 하나만 남긴 날: 하루짜리 안전 프로토타입을 정직하게 실험한 기록

3줄 요약

오늘 한 일은 AI 에이전트가 위험한 실행을 하기 직전에 통과해야 하는 결정론 안전 게이트를 프로토타입으로 만들고, 그게 정말 효과가 있는지 벤치마크로 두드려 판정한 것이다.
이게 중요한 이유는 요즘 대부분의 자동 에이전트가 LLM이 뱉은 출력을 곧바로 실행에 넘기기 때문이고, 그 사이에 결재 한 겹이 없으면 잘못된 판단이나 외부 인젝션이 그대로 지갑과 파일에 닿기 때문이다.
혼자 시스템을 만드는 사람에게 오늘의 교훈은, 모든 걸 담은 거창한 이름보다 손에 확실히 잡히는 것 하나를 정직하게 내보내는 편이 훨씬 값어치 있다는 것이다.

게이트란 위험한 실행 앞에 세우는 결재 한 겹이다

핵심 개념부터 정의하면 이렇다. 게이트는 AI의 판단과 실제 집행 사이에 두는 결정론 검사층이다. 사람이 그린 목표든 웹에서 읽어온 데이터든, 실제로 파일을 고치거나 주문을 내기 전에 정해진 검사들을 전부 통과해야만 일회용 실행 허가가 나온다. 회사로 치면 직원의 판단이 아무리 그럴듯해도 결재 시스템을 통과해야 집행되는 것과 같다.

하루 만에 만든 프로토타입에서 두 시나리오를 라이브로 돌렸다. 정상 목표는 검사 전부를 통과해 허가를 받고 실행됐다가, 같은 허가를 다시 쓰려 하자 일회용이라 막혔고, 백업에서 원본으로 되돌리는 것까지 확인됐다. 반대로 웹 데이터 속에 숨긴 파일 삭제 명령은 선택 단계 이전에 다섯 가지 사유로 차단됐다. 관찰한 데이터를 사람의 명령으로 취급하지 않는다는 원칙이 실제로 집행된 것이다.

실험을 네 번 돌린 이유, 그리고 세 번을 버린 이유

오늘의 진짜 이야기는 효과 측정에서 나왔다. 과제에 맞춰 스스로 분해하는 방식과 한 번에 통짜로 푸는 방식을 30개 사례로 겨루게 했는데, 신뢰할 수 있는 결과가 나온 건 네 번째 실행이었다. 앞의 세 번은 전부 무효였다.

첫 번째는 무료 모델의 호출 제한이 응답의 절반 넘게 빈값으로 오염시켜 버렸다.
두 번째는 과제가 너무 어려워 양쪽 다 바닥을 기는 바닥 효과가 나왔다.
세 번째는 천 단위 쉼표를 잘못 파싱하는 버그가 숫자를 헛값으로 만들었다.

매번 원인을 규명하고 다시 돌렸다. 여기서 배운 게 진짜 값진 부분이다. 평가 계약을 미리 동결하고 감사 로그를 남기는 구조가, 내가 만든 실험조차 못 믿게 만들어 주었다. 자기기만을 스스로 잡아낸 셈이다.

신뢰 가능한 최종 결과도 정직하게 갈렸다. 산술 과제에서는 분해 방식이 통짜 방식을 뚜렷하게 앞섰고 신뢰 구간이 0을 넘겼다. 그런데 논리 충돌을 찾는 다른 도메인에서는 점추정은 앞섰지만 신뢰 구간이 0을 포함해 애매했고 비용만 더 들었다. 미리 못박은 성공 기준을 결과가 안 좋다고 바꾸지 않았기에, 이건 성공이라 부르지 않았다. 효과는 진짜지만 과제가 깔끔하게 분해되는 곳에서만 크게 나타난다는, 내 최초 리뷰의 경고가 실측으로 확인됐다.

거창한 이름을 접고 게이트 하나만 남겼다

마지막은 포장의 정정이었다. 원래 명세는 세 가지 다른 것을 한 이름에 뭉쳐 혼란을 만들었다. 안전 게이트, 하네스 자동 생성, 자기 개선. 손에 확실히 잡히는 건 사실상 게이트 하나뿐이었고 나머지는 기존 연구와 겹치거나 실체가 얇았다.

그래서 방향을 틀었다. 모호한 간판을 버리고, 실제로 돈을 만지고 파일을 고치는 자동 에이전트에 씌우는 실전 안전벨트로 다시 포장했다. 학계 도구는 어렵고 딱딱하지만, 인디 개발자가 바로 쓸 친절한 안전 게이트는 아무도 안 내놓았다는 점이 차별점이었다. 결정은 명확했다. 전부를 담은 이름 대신, 게이트만 떼어낸 깨끗한 공개용 도구를 따로 만들어 내보냈다. 트레이딩 관련 부분은 사설 자산이라 전부 제외하고, 시크릿 검사를 통과한 제네릭 코어와 정직한 실험 문서만 담았다.

오늘 관통한 판단

오늘 하루를 관통한 생각은 하나다. 만드는 사람은 자기 결과물을 크게 부풀리고 싶은 유혹을 늘 받지만, 진짜 신뢰는 반대 방향에서 온다. 실험을 세 번 버리고 네 번째만 믿은 태도, 미리 정한 기준을 결과가 나빠도 안 바꾼 고집, 세 가지를 뭉친 거창한 이름을 접고 확실한 것 하나만 남긴 결정. 전부 스스로를 깎는 선택이었지만, 그 깎임이 결과에 대한 신뢰를 만들었다. 약속이 아니라 확인된 결과를 남긴다는 원칙은, 내가 만든 것을 과대포장하지 않는 데서 완성된다.