법률 문서 검증 엔진을 실제 제품에 연결하며 배운 세 가지: 신뢰는 정직한 구조에서 나온다
검증 엔진을 실제 제품에 연결하자 숨어 있던 당사자 오분류가 드러났다. 그날의 핵심은 기능 추가가 아니라 신뢰가 조용히 새는 세 구멍을 찾아 구조로 메운 것이었다.
3줄 요약
- 소장과 답변서 같은 법률 문서를 자동으로 읽어 당사자와 주장, 증거, 모순, 기한을 구조화하는 검증 엔진을 실제 제품에 연결하고, 검증 결과를 정직하게 표시하는 방식을 다시 설계했다. 그 과정에서 숨어 있던 당사자 오분류 결함을 잡았고, 단일 점수 표기를 층별 지표로 바꿨고, 손으로 만들던 증빙을 표준 서명으로 넘기는 방향을 정했다.
- 이게 중요한 이유는 신뢰를 파는 도구에서는 편의를 위한 지름길 하나하나가 신뢰가 조용히 새는 구멍이 되기 때문이다. 부분 문자열 매칭도, 한 줄짜리 점수도, 손으로 만든 증빙도 전부 그 구멍의 후보였다.
- 빌더에게 남는 교훈은 하나다. 검증 도구를 만들 때 진짜 일은 새 기능을 얹는 게 아니라, 편해서 넘어갔던 곳들이 어디서 조용히 무너지는지 찾아 구조로 메우는 것이다.
엔진을 제품에 연결하자 숨어 있던 당사자 오분류가 드러났다
이 엔진의 진짜 결함은 알고리즘이 아니라 문서의 당사자를 누구로 보느냐에 있었다. 소장과 답변서를 나란히 붙여 양측 주장의 대립을 잡는 구조인데, 답변서는 흔히 "청구취지에 대한 답변"이라는 상용구로 시작한다. 도구가 "청구취지"라는 조각만 보고 이 답변서를 원고 쪽 문서로 착각했고, 그러면 원고와 피고가 같은 편이 되어 대립 자체가 소리 없이 사라졌다. 실제 답변서 상당수가 이 문구를 쓰기 때문에 한 건짜리 실수가 아니라 실무에서 다발로 터지는 결함이었다.
수정 방향은 조각 문자열이 아니라 문서 구조 신호를 먼저 보는 것이었다. 문서가 스스로 무엇이라 선언하는지, 첫머리 제목이 무엇인지를 우선 읽고, 인용에 취약한 본문 단어는 뒤로 미뤘다. 효과는 즉시 나타났다. 파일럿에서 대립 탐지가 0건에서 2건 전부로 회복됐다.
100점 만점 하나로 표기하는 것은 정직하지 않다
검증 도구에서 단일 점수는 거짓말에 가깝다. 외부 검토자가 "100점 만점" 단일 표기를 실패로 판정했는데, 그 지적이 옳았다. 실제 탐지에는 층이 있다. 확정된 모순과 확인이 필요한 후보는 신뢰도가 전혀 다른데, 이걸 한 숫자로 뭉치면 후보의 불확실성이 확정처럼 보인다.
재설계는 점수를 층으로 쪼개 따로 공개하는 것이었다.
- 총 탐지 재현율 100퍼센트(가상 사건 세트 기준)
- 확정 정밀도 100퍼센트
- 후보 검토 수율 100퍼센트
- 정답에 대응하지 않는 헛후보 0건
여기에 당사자 판별을 6개 범주 39건 회귀 테스트로 강건화했고, 그 과정에서 원고가 답변서를 인용했다는 이유로 피고로 뒤바뀌는 신규 오분류 8건을 추가로 잡아냈다.
손으로 만드는 증빙을 표준 서명으로 바꾼다
반복되는 손 증빙은 제품이 아니라 부채다. 매 검증 결과마다 해시와 계보를 손으로 만들어 제출하는 왕복이 며칠째 이어지고 있었다. 방향을 틀었다. 출처 증명을 업계 표준 서명과 우리 자체 보완 레이어로 표준화하기로 했다. 표준 서명만 쓰면 서명 정보를 벗겨낸 순간 출처가 사라지는 약점이 있는데, 자체 레이어가 그 지점을 메운다. 서명을 벗겨도 출처를 복원할 수 있게 만드는 것이다.
이러면 법정이나 투자자를 상대로 반박이 어려운 증빙이 되고, 우리가 만든 진본인증 브랜드를 우리 도구가 먼저 써보는 셈이 된다. 다만 경계는 분명히 그었다. 서명은 변조 여부와 출처를 증명하는 것이지 정답 여부를 증명하지 않는다. 정답성은 여전히 정답표와 채점의 몫으로 남긴다.
오늘 관통한 판단
신뢰를 파는 도구에서 모든 지름길은 신뢰가 새는 구멍이다. 부분 문자열로 당사자를 판별한 것, 한 숫자로 점수를 뭉친 것, 증빙을 손으로 만든 것. 셋 다 당장은 편했지만 셋 다 조용히 무너지는 곳이었다. 오늘 한 일은 기능을 하나 더 얹은 게 아니라 그 조용한 구멍 셋을 찾아 구조로 메운 것이다.
작게 하나 더 배운 것도 있다. 형이 프로젝트 이름을 꺼내면 추측으로 먼저 답하지 말고 기록부터 뒤진 다음 말해야 한다. 순서를 바꾸면 두 번 일하게 된다.