연구 노트 · 기준
AI 에이전트 시대, 금융회사 내부통제는 안전한가
규제가 요구하는 통제를 두 갈래로 나눠 읽었다. 직원과 계정에 거는 통제가 하나, 같은 통제를 AI 에이전트에 거는 것이 또 하나다. 한국과 미국, EU의 문서 32건을 이렇게 다시 판정하고, 공개된 AI 에이전트 사건 45건에 비춰 봤다.
시작하기화면을 누르면 넘어간다
요약
세 관할 모두 직원과 계정에 대해서는 이미 구속력 있는 요구를 갖고 있다. 관할 3곳에 통제 7개, 모두 21칸 가운데 19칸이 그렇다.
같은 통제를 AI 에이전트에도 적용하라고 구속력 있게 요구하는 칸은 3칸뿐이다. 에이전트를 직접 언급하는 구속력 문서는 아직 없고(0칸), 나머지는 가이드라인이거나 아예 다루지 않는다.
이 차이가 나는 칸이 16개다. 한국 6개, 미국 6개, EU 4개. 공개 사건에서 가장 자주 실패한 통제는 최소 권한(19건)과 사람 승인(16건)였다.
| 통제 | 한국직원 / AI | 미국직원 / AI | EU직원 / AI | |||
|---|---|---|---|---|---|---|
| 1. 인벤토리 | 구속 | 자율 | 구속 | 자율 | 구속 | |
| 2. 공급자 관리 | 구속 | 자율 | 구속 | 자율 | 구속 | |
| 3. 고유 식별자 | 구속 | 자율 | 자율 | |||
| 4. 최소 권한 | 구속 | 자율 | 구속 | 자율 | 구속 | |
| 5. 사람 승인 | 구속 | 구속 | 구속 | 자율 | 구속 | 구속 |
| 6. 감사 기록 | 구속 | 자율 | 구속 | 자율 | 구속 | |
| 7. 즉시 중단 | 구속 | 자율 | 구속 | 자율 | 구속 | 구속 |
구속력가이드라인다루지 않음
모의 테스트
회사의 통제 수준과 에이전트 환경을 고르면 두 가지가 바로 계산된다. 공격 원형 12개가 단계마다 어떤 통제 앞에서 멈추는지, 그리고 공개 사건 45건이 그 설정이었다면 어떻게 끝났을지. 가상 회사 데모 케이스 25개가 들어 있어 발표 중에 넘겨 가며 쓸 수 있다.
- 1통과업체·연동이 침해되거나 AI 인프라가 노출된다
- 인벤토리 AI꺼짐
- 공급자 관리 AI꺼짐
- 2통과훔친 토큰으로 접근한다
- 고유 식별자 AI꺼짐
- 최소 권한 AI꺼짐
- 3통과대량 조회
- 감사 기록 AI꺼짐
- 4통과토큰 폐기
- 즉시 중단 AI꺼짐
- 결과피해 발생
연동된 데이터 대량 조회·AI 자원 도용
- 1범위 제한 · 기록·탐지업체·연동이 침해되거나 AI 인프라가 노출된다
- 인벤토리 AI범위 제한
- 공급자 관리 AI기록·탐지
- 2범위 제한 · 범위 제한훔친 토큰으로 접근한다
- 고유 식별자 AI범위 제한
- 최소 권한 AI범위 제한
- 3기록·탐지대량 조회
- 감사 기록 AI기록·탐지
- 4멈춤·회수토큰 폐기
- 즉시 중단 AI멈춤·회수
- 결과피해 축소
연동된 데이터 대량 조회·AI 자원 도용
진한 막대는 그 사건에서 실패한 통제가 모두 켜진 경우만 센 하한이고, 옅은 막대까지가 상한이다. 예측이 아니라 반사실 계산이다.
어떻게 쓰나
발표할 때는 데모 케이스를 화살표 키로 넘기면 된다. 대부분 한 가지 조건만 다른 두 회사를 짝지어 놓았다.
보안 담당자라면 자기 회사의 통제와 에이전트를 넣어 보고, 통제를 하나씩 AI까지 올렸을 때 무엇이 달라지는지 확인한 뒤 CSV로 가져가면 된다.
정책 쪽에서는 관할 프리셋을 서로 비교하거나, 아직 반영되지 않은 새 규제가 들어온다고 가정해 볼 수 있다.
방법
| 단계 | 하는 일 | 누가 | 지금 | |
|---|---|---|---|---|
| 1 | 수집 | 규제기관, 표준기구, 보안 회사의 공개 피드를 읽는다. | 자동 | 피드 79곳, 항목 916건 |
| 2 | 후보 | AI 에이전트와 관련된 새 규제와 가이드라인을 점수로 골라 둔다. | 자동 | 반영 대기 16건 |
| 3 | 등록 | 후보 중 연구에 넣을 문서를 고르고 원문을 고정한다. | 사람 | 문서 32건(규범 문서 23건) |
| 4 | 판정 | 서로 결과를 보지 않는 두 팀이 통제 7개를 직원·계정과 AI 두 층으로 판정하고, 갈린 칸만 조정한다. | AI 코더 두 팀 | κ 문서 0.92(직원·계정), 1.00(AI) / 사건 0.96 |
| 5 | 매트릭스 | 관할마다 통제별로 가장 센 문서의 수준을 모은다. | 계산 | 간극 16칸 |
| 6 | 모의 테스트 | 공격 원형을 단계별로 돌리고, 공개 사건을 반사실로 다시 계산한다. | 계산 | 원형 12개, 사건 45건, 이력 2줄 |
규제가 새로 들어오거나 판정이 바뀌면 매트릭스와 모의 테스트를 다시 계산하고, 결과가 달라졌을 때만 이력에 남긴다. 코드북과 판정 기록, 일치도 계산은 대시보드에 있다.
한계
- 법률 자문이 아니다. 공개된 문서와 사건 자료로 무엇이 요구되는지, 그리고 공개된 증거가 어느 수준인지를 잴 뿐이다. 회사가 실제로 통제를 갖췄는지는 알 수 없다.
- 판정은 같은 계열의 AI 코더 두 팀이 했다. 일치도(κ)는 같은 규칙을 두 번 독립으로 적용했을 때 얼마나 같게 나오는지를 보여 줄 뿐, 판정이 맞다는 뜻은 아니다. 사람 코더의 검증은 아직 거치지 않았다.
- 모의 테스트의 사건 결과는 반사실 계산이다. 실패한 통제가 공개 자료에 나오지 않는 사건은 판단하지 않고 따로 센다.
- 공격 원형과 단계, 데모 케이스는 저자가 설계했다. 규제 프리셋은 적용 대상(예: 고영향 AI에만 걸리는 의무)을 따지지 않는다.