검토는 만드는 것보다 어렵습니다

일하는 사람의 역할이 만드는 쪽에서 검토하는 쪽으로 옮겨갑니다. 감독관이 된다는 말은 승진처럼 들립니다. 실제로는 더 어려운 일을 맡는 것입니다. 틀린 것을 알아보려면 맞는 것을 알아야 하고, 맞는 것이 무엇인지는 대개 만들어본 사람만 압니다.

"사람이 확인했습니다"라는 문장

AI가 하는 일 뒤에는 보통 이런 문장이 붙습니다. "최종 판단은 사람이 합니다." "인간 검증(human in the loop)을 거칩니다." 안심시키는 문장이고, 실제로 많은 규제가 이 문장을 요구합니다.

그 문장이 실제로 무엇을 보장하는지 조사한 연구가 있습니다. 벤 그린은 정부 알고리즘에 인간 감독을 요구하는 정책 41개를 모아 The flaws of policies requiring human oversight of government algorithms(2022)에서 두 가지 결함을 지적했습니다. 첫째, 사람들은 그 정책이 기대하는 감독을 실제로 수행하지 못합니다. 둘째, 그 결과 이 정책들은 결함 있는 알고리즘의 사용을 정당화합니다.

두 번째가 더 무겁습니다. 감독이 없는 것보다 감독이 있다고 적혀 있는 것이 더 위험할 수 있다는 뜻이기 때문입니다. 책임은 이미 배분되었고, 시스템은 승인을 받았고, 실제로는 아무도 보지 않았습니다.

검토가 요식행위가 되는 세 가지 조건

결재 라인을 오래 들여다보면 같은 것이 보입니다. 도장이 찍히지 않는 게 아니라, 도장이 찍히는데 아무도 읽지 않는 상태가 됩니다. 그렇게 되는 조건은 대체로 셋입니다.

하나, 양. 넘어오는 것이 예외가 아니라 전부일 때입니다. 하루에 200건이 승인 대기에 쌓이면 200건을 보지 않습니다. 통과시킵니다. 사람이 게을러서가 아니라 200건을 보는 것이 물리적으로 불가능하기 때문입니다.

둘, 지표. 반려하는 순간 그 결정에 이름이 붙을 때입니다. 일정이 왜 밀렸는지 설명할 사람은 반려한 사람이지만, 승인은 아무 기록도 남기지 않습니다. 승인의 책임은 사고가 터져야 생기고 대개는 터지지 않는데, 반려의 책임은 반려하는 순간 확정됩니다. 확실한 내 책임과 일어날지 모르는 사고 사이에서 사람은 통과시킵니다. 누구의 잘못도 아닌 채로 검토가 사라지는 가장 흔한 경로가 이것입니다.

셋, 숙련. 검토하는 사람이 그 일을 해본 적이 없을 때입니다. 결과물이 그럴듯하면 그럴듯한지만 봅니다. 그리고 지금 AI가 만드는 것들은 대부분 그럴듯합니다.

두 번째 조건이 제일 풀기 어렵습니다. 검토는 잘하고 있을수록 아무 일도 일어나지 않고, 아무 일도 일어나지 않으면 그 자리가 왜 필요한지 설명할 길이 없습니다. 운영 업무의 숙명입니다. 그렇다고 "잡아낸 건수"를 지표로 걸면 사소한 것을 잔뜩 잡게 됩니다. 세는 쪽으로는 풀리지 않습니다.

제조업이 같은 문제를 먼저 만났습니다. 도요타 생산 라인에는 안돈(andon)이라는 줄이 걸려 있어서, 이상해 보이는 것을 발견한 작업자는 누구든 줄을 당겨 라인을 멈출 수 있습니다. 남의 잘못을 신고하는 장치가 아니라 자기가 서 있는 라인을 자기가 멈추는 장치입니다. 라인이 멈추는 것은 누구 눈에나 보이는 지연입니다. 그런데 도요타는 당긴 사람을 문책하는 대신 당기는 것을 정상 절차로 만들었습니다. 불량이 다음 공정으로 흘러가는 것보다 지금 멈추는 쪽이 싸다고 정해둔 것입니다. 이 설계의 이름이 "사람의 손길이 있는 자동화"(jidoka)입니다. 막아낸 일을 집계할 수는 없어도, 멈추는 일이 손해가 되지 않게 할 수는 있습니다. 검토에서 그 줄은 반려입니다.

세 번째가 가장 늦게 도착합니다. 지금은 만들어본 사람들이 검토하고 있어서 잘 보이지 않습니다. 만들어본 적이 없는 사람이 검토를 맡는 시점이 오면 그때 드러납니다. 경력의 첫 칸이 좁아지고 있다는 AI를 쓰지 않기 위해 AX합니다의 이야기가 실무에 도착하는 방식이 이것입니다. 입구가 막히면 몇 년 뒤에 검토할 사람이 없습니다.

클라르나가 배운 것

2024년 2월, 클라르나는 AI 상담 도입 첫 달의 성적을 공개했습니다. 230만 건, 전체 문의의 3분의 2. 상담원 700명분의 업무량. 2024년에 4천만 달러의 이익 개선이 예상된다고 했습니다. 반복 문의는 25% 줄었고, 평균 해결 시간은 11분에서 2분 아래로 내려갔습니다. 고객 만족도는 사람과 대등하다고 밝혔습니다.

숫자만 보면 흠잡을 데가 없습니다.

1년 뒤인 2025년 5월, 최고경영자 세바스티안 시미아트코프스키는 블룸버그와의 인터뷰에서 방향을 바꿨습니다. AI 상담이 사람보다 싼 것은 맞지만 품질이 낮았다고 했습니다. 그가 한 말은 이렇습니다.

브랜드의 관점에서, 회사의 관점에서, 고객이 원한다면 언제나 사람이 있다는 것을 분명히 하는 것이 정말 중요하다고 생각합니다.

여기서 볼 것은 자동화가 틀렸다는 게 아닙니다. 230만 건의 대부분은 정말로 자동화되어야 할 문의였습니다. 문제는 나머지, 사람이 받아야 했던 문의입니다. 그게 무엇인지는 도입하기 전에 정해진 적이 없습니다. 자동화할 것을 먼저 고르고, 남은 것을 사람에게 넘긴 것입니다.

발표된 숫자는 전부 총량이거나 평균이었습니다. 1년 뒤 방향을 바꾸면서 최고경영자가 든 근거도 그 숫자들이 아니었습니다. 그는 숫자를 건드리지 않고 품질이 낮아졌다고 했고, 그 말을 꺼낸 자리도 비용이 아니라 "브랜드의 관점에서"였습니다.

브랜드를 만드는 것은 평균이 아니라 그 최악의 한 건일지도 모릅니다.

방어선은 사람이 서 있어야 방어선입니다

AI가 못 하는 것을 사람이 해결한다, 사람이 최후의 방어선이다. 좋은 말입니다. 다만 방어선은 자원이 있어야 방어선입니다. 위의 세 조건이 그대로 뒤집힙니다.

• 넘어오는 양이 사람이 감당할 수 있는 양이어야 하고
• 반려하는 것이 손해가 되지 않아야 하고
• 넘겨받는 사람이 그 일을 아는 사람이어야 합니다

셋 중 하나만 빠지면 방어선은 제 역할을 못 합니다. 그리고 그 방어선은 없는 것보다 나쁩니다. 없으면 위험한 줄이라도 알지만, 있으면 안전하다고 믿습니다.

이 셋은 도구를 도입한 다음에 정할 수 있는 것이 아닙니다. 도입하면 양이 먼저 쏟아지고, 양이 쏟아진 뒤에는 조건을 바꿀 여유가 없습니다. 앞 글에서 자동화가 순서상 맨 마지막이라고 쓴 이유가 여기에도 있습니다. 무엇을 사람에게 남길지는 자동화 이후에 발견하는 것이 아니라, 자동화 이전에 정하는 것입니다.

감독관이라는 말

감독관이 된다는 것은 이제 만들지 않아도 된다는 뜻이 아닙니다. 무엇이 좋은 것인지 아는 상태를 계속 유지해야 한다는 뜻입니다. 그게 검토가 요식행위가 되지 않는 마지막 조건이고, 앞의 두 조건과 달리 조직이 대신 만들어줄 수 없습니다.

어디까지 넘겨도 되는지, 무엇을 반려해야 하는지 해본 사람만 압니다. AI시대 초입, 리더와 실무자 모두 동일 선상에 있습니다. 리더와 실무자는 서로 다른 문제를 푸는 것이 아니라, 같은 문제의 양쪽에 서 있습니다.

저는 지금 그 양쪽에 다 서 있습니다. 조건을 쓰는 쪽이기도 하고, 그 조건 아래에서 검토하는 쪽이기도 합니다. 그 상태를 유지하는 방법을 저는 아직 하나밖에 모릅니다. 직접 만들어보는 것입니다. 그래서 저는 계속 만듭니다. 결과물이 필요해서라기보다, 결과물을 알아볼 수 있는 상태로 남아 있기 위해서입니다.