PivoxPolicy

연구 노트 · 기준

AI 에이전트 시대, 금융회사 내부통제는 안전한가

규제가 요구하는 통제를 두 갈래로 나눠 읽었다. 직원과 계정에 거는 통제가 하나, 같은 통제를 AI 에이전트에 거는 것이 또 하나다. 한국과 미국, EU의 문서 32건을 이렇게 다시 판정하고, 공개된 AI 에이전트 사건 45건에 비춰 봤다.

시작하기

화면을 누르면 넘어간다

요약

세 관할 모두 직원과 계정에 대해서는 이미 구속력 있는 요구를 갖고 있다. 관할 3곳에 통제 7개, 모두 21칸 가운데 19칸이 그렇다.

같은 통제를 AI 에이전트에도 적용하라고 구속력 있게 요구하는 칸은 3칸뿐이다. 에이전트를 직접 언급하는 구속력 문서는 아직 없고(0칸), 나머지는 가이드라인이거나 아예 다루지 않는다.

이 차이가 나는 칸이 16개다. 한국 6개, 미국 6개, EU 4개. 공개 사건에서 가장 자주 실패한 통제는 최소 권한(19건)과 사람 승인(16건)였다.

그림 1 관할마다 가장 센 문서가 요구하는 수준. 관할별 왼쪽 칸은 직원·계정, 오른쪽 칸은 AI 에이전트.
통제한국직원 / AI미국직원 / AIEU직원 / AI
1. 인벤토리구속자율구속자율구속
2. 공급자 관리구속자율구속자율구속
3. 고유 식별자구속자율자율
4. 최소 권한구속자율구속자율구속
5. 사람 승인구속구속구속자율구속구속
6. 감사 기록구속자율구속자율구속
7. 즉시 중단구속자율구속자율구속구속

구속력가이드라인다루지 않음

모의 테스트

회사의 통제 수준과 에이전트 환경을 고르면 두 가지가 바로 계산된다. 공격 원형 12개가 단계마다 어떤 통제 앞에서 멈추는지, 그리고 공개 사건 45건이 그 설정이었다면 어떻게 끝났을지. 가상 회사 데모 케이스 25개가 들어 있어 발표 중에 넘겨 가며 쓸 수 있다.

그림 2 'AI 연동·자격증명 탈취' 원형을 고객 상담 에이전트에 대고 두 번 돌린 결과(실제 사건 7건이 이 경로였다). 위는 한국의 강제 규제만 지킨 경우, 아래는 모든 통제를 AI까지 켠 경우다. 원형과 단계는 저자가 설계했다.
한국 — 강제 규제만
  1. 1통과
    업체·연동이 침해되거나 AI 인프라가 노출된다
    • 인벤토리 AI꺼짐
    • 공급자 관리 AI꺼짐
  2. 2통과
    훔친 토큰으로 접근한다
    • 고유 식별자 AI꺼짐
    • 최소 권한 AI꺼짐
  3. 3통과
    대량 조회
    • 감사 기록 AI꺼짐
  4. 4통과
    토큰 폐기
    • 즉시 중단 AI꺼짐
  5. 결과
    피해 발생

    연동된 데이터 대량 조회·AI 자원 도용

모든 통제를 AI까지
  1. 1범위 제한 · 기록·탐지
    업체·연동이 침해되거나 AI 인프라가 노출된다
    • 인벤토리 AI범위 제한
    • 공급자 관리 AI기록·탐지
  2. 2범위 제한 · 범위 제한
    훔친 토큰으로 접근한다
    • 고유 식별자 AI범위 제한
    • 최소 권한 AI범위 제한
  3. 3기록·탐지
    대량 조회
    • 감사 기록 AI기록·탐지
  4. 4멈춤·회수
    토큰 폐기
    • 즉시 중단 AI멈춤·회수
  5. 결과
    피해 축소

    연동된 데이터 대량 조회·AI 자원 도용

그림 3 같은 설정이었다면 막혔을 사건 수. 공개 자료로 판단할 수 있는 25건 기준이다.
통제 없음
0건
한국 — 강제 규제만
5~21건
미국 — 강제 규제만
3~7건
EU — 강제 규제만
4~19건
모든 통제를 AI까지
25건

진한 막대는 그 사건에서 실패한 통제가 모두 켜진 경우만 센 하한이고, 옅은 막대까지가 상한이다. 예측이 아니라 반사실 계산이다.

어떻게 쓰나

발표할 때는 데모 케이스를 화살표 키로 넘기면 된다. 대부분 한 가지 조건만 다른 두 회사를 짝지어 놓았다.

보안 담당자라면 자기 회사의 통제와 에이전트를 넣어 보고, 통제를 하나씩 AI까지 올렸을 때 무엇이 달라지는지 확인한 뒤 CSV로 가져가면 된다.

정책 쪽에서는 관할 프리셋을 서로 비교하거나, 아직 반영되지 않은 새 규제가 들어온다고 가정해 볼 수 있다.

모의 테스트 열기

방법

단계하는 일누가지금
1수집규제기관, 표준기구, 보안 회사의 공개 피드를 읽는다.자동피드 79곳, 항목 916건
2후보AI 에이전트와 관련된 새 규제와 가이드라인을 점수로 골라 둔다.자동반영 대기 16건
3등록후보 중 연구에 넣을 문서를 고르고 원문을 고정한다.사람문서 32건(규범 문서 23건)
4판정서로 결과를 보지 않는 두 팀이 통제 7개를 직원·계정과 AI 두 층으로 판정하고, 갈린 칸만 조정한다.AI 코더 두 팀κ 문서 0.92(직원·계정), 1.00(AI) / 사건 0.96
5매트릭스관할마다 통제별로 가장 센 문서의 수준을 모은다.계산간극 16칸
6모의 테스트공격 원형을 단계별로 돌리고, 공개 사건을 반사실로 다시 계산한다.계산원형 12개, 사건 45건, 이력 2줄

규제가 새로 들어오거나 판정이 바뀌면 매트릭스와 모의 테스트를 다시 계산하고, 결과가 달라졌을 때만 이력에 남긴다. 코드북과 판정 기록, 일치도 계산은 대시보드에 있다.

한계

  • 법률 자문이 아니다. 공개된 문서와 사건 자료로 무엇이 요구되는지, 그리고 공개된 증거가 어느 수준인지를 잴 뿐이다. 회사가 실제로 통제를 갖췄는지는 알 수 없다.
  • 판정은 같은 계열의 AI 코더 두 팀이 했다. 일치도(κ)는 같은 규칙을 두 번 독립으로 적용했을 때 얼마나 같게 나오는지를 보여 줄 뿐, 판정이 맞다는 뜻은 아니다. 사람 코더의 검증은 아직 거치지 않았다.
  • 모의 테스트의 사건 결과는 반사실 계산이다. 실패한 통제가 공개 자료에 나오지 않는 사건은 판단하지 않고 따로 센다.
  • 공격 원형과 단계, 데모 케이스는 저자가 설계했다. 규제 프리셋은 적용 대상(예: 고영향 AI에만 걸리는 의무)을 따지지 않는다.