728x90
반응형

휴먼 인 더 루프 2

Overreliance

개요Overreliance(과도한 의존)는 대규모 언어 모델(LLM) 의 출력 결과를 사용자가 비판적 검증 없이 그대로 수용할 때 발생하는 보안 및 운영상의 위험입니다. LLM은 설득력 있는 텍스트를 생성하지만, 항상 사실적이거나 안전하지 않을 수 있기 때문에 무비판적 의존은 심각한 피해를 초래할 수 있습니다.1. 개념 및 정의 구분 내용 정의Overreliance는 LLM 출력에 대한 사용자 또는 시스템의 무비판적 신뢰를 의미합니다.목적AI 활용 시 인간의 검증 절차를 포함해 오류 및 위험을 최소화필요성LLM은 불완전한 정보와 환각(Hallucination)을 생성할 수 있음이는 OWASP LLM Top 10의 아홉 번째 주요 보안 위험으로 지정됩니다.2. 특징특징설명비교환각(Hallucination..

Topic 2025.09.22

Excessive Agency

개요Excessive Agency(과도한 자율성)는 대규모 언어 모델(LLM) 기반 시스템이 과도한 권한과 자율적 의사결정을 허용받아 발생하는 보안 위험을 의미합니다. AI가 사용자 대신 자동으로 행동하거나 외부 시스템과 상호작용할 때, 제어되지 않은 권한 남용이나 오작동이 발생할 수 있습니다.1. 개념 및 정의 구분 내용 정의Excessive Agency는 LLM이 불필요하게 광범위한 권한을 갖고 자율적으로 행동할 때 발생하는 위험입니다.목적LLM의 권한을 최소화하고 안전한 범위 내에서 동작 보장필요성AI 에이전트·플러그인 사용 확산으로 LLM의 권한 오남용 가능성 증가이는 OWASP LLM Top 10의 여덟 번째 주요 위험 요소로 지정되어 있습니다.2. 특징특징설명비교권한 과다 부여필요 이상의 파..

Topic 2025.09.22
728x90
반응형