Excessive Agency

개요

Excessive Agency(과도한 자율성)는 대규모 언어 모델(LLM) 기반 시스템이 과도한 권한과 자율적 의사결정을 허용받아 발생하는 보안 위험을 의미합니다. AI가 사용자 대신 자동으로 행동하거나 외부 시스템과 상호작용할 때, 제어되지 않은 권한 남용이나 오작동이 발생할 수 있습니다.

---

1. 개념 및 정의

구분	내용
정의	Excessive Agency는 LLM이 불필요하게 광범위한 권한을 갖고 자율적으로 행동할 때 발생하는 위험입니다.
목적	LLM의 권한을 최소화하고 안전한 범위 내에서 동작 보장
필요성	AI 에이전트·플러그인 사용 확산으로 LLM의 권한 오남용 가능성 증가

이는 OWASP LLM Top 10의 여덟 번째 주요 위험 요소로 지정되어 있습니다.

---

2. 특징

특징	설명	비교
권한 과다 부여	필요 이상의 파일·네트워크 접근 권한	최소 권한 원칙 위반
자율적 행동	사람의 승인 없이 자동 의사결정 수행	인간 중심 워크플로우 대비 위험 증가
외부 연계	API, DB 등과 직접 상호작용	단순 응답 생성형 LLM과 차별화

Excessive Agency는 AI 에이전트형 시스템에서 특히 중요한 보안 이슈입니다.

---

3. 발생 사례 유형

유형	설명	예시
파일 조작	AI가 사용자 승인 없이 파일 삭제·수정	"임시 파일 정리" 자동 실행
외부 API 호출	승인 없이 외부 API 호출·데이터 전송	민감 데이터 외부 송신
금융 거래 수행	자동 결제·송금 실행	사용자 승인 없는 송금 실행

잘못된 권한 설계는 재정적·법적 위험으로 이어질 수 있습니다.

---

4. 기술 요소

기술 요소	설명	적용 사례
최소 권한 원칙	LLM이 필요한 권한만 보유	파일 시스템 읽기 전용 설정
휴먼 인 더 루프(HITL)	중요한 의사결정에 사용자 승인 필수	결제 승인 절차
권한 관리 시스템	권한 요청·부여·취소를 중앙 관리	IAM(Identity Access Management) 연계

보안 아키텍처는 인간 승인과 권한 제한을 중심으로 설계되어야 합니다.

---

5. 장점 및 이점 (대응 시)

장점	상세 내용	기대 효과
보안 강화	불필요한 권한 제한으로 공격 표면 축소	침해사고 예방
사용자 신뢰	중요한 작업 시 사용자 승인 필요	서비스 신뢰도 향상
규제 대응	금융·개인정보 보호 규제 준수	법적 리스크 완화

Excessive Agency 대응은 AI 서비스 확산의 핵심 안전 장치입니다.

---

6. 주요 활용 사례 및 고려사항

사례	적용 내용	고려사항
금융 서비스	자동 송금·결제 서비스 보호	다단계 승인 절차 필요
기업 AI 에이전트	사내 시스템 자동화	내부 데이터 접근 최소화
의료 AI	환자 데이터·치료 권고 자동화	최종 결정은 반드시 전문가 승인 필요

AI 권한은 업무 중요도와 위험도에 따른 세분화가 필수입니다.

---

7. 결론

Excessive Agency는 LLM 보안에서 점점 더 중요한 위협으로, 특히 AI 에이전트와 플러그인 생태계에서 심각한 리스크를 초래합니다. 최소 권한 원칙, 인간 승인 체계, IAM 연계 같은 다계층 방어를 통해 안전한 AI 운영이 가능하며, 이는 규제 준수와 사용자 신뢰 확보의 핵심 기반이 될 것입니다.