ITPE * JackerLab

개요NIST AI RMF(National Institute of Standards and Technology AI Risk Management Framework)는 인공지능 시스템의 위험을 식별, 평가, 관리하기 위한 표준 프레임워크이다. 2023년 NIST에서 공식 발표되었으며, AI의 신뢰성(Trustworthy AI)을 확보하기 위해 조직이 따라야 할 지침과 프로세스를 제공한다. 특히 공정성, 설명가능성, 안전성, 보안 등 다양한 리스크를 통합적으로 관리하는 것이 핵심이다.1. 개념 및 정의NIST AI RMF는 AI 시스템의 전 생애주기(설계, 개발, 배포, 운영)에서 발생할 수 있는 위험을 체계적으로 관리하기 위한 가이드라인이다. 이는 조직이 AI를 책임감 있게 활용하도록 지원하며, 기술적·관리..

개요AI Agent Security(AI 에이전트 보안)는 자율적으로 판단하고 행동하는 AI 에이전트가 외부 위협으로부터 안전하게 동작하도록 보호하는 보안 체계이다. Agentic AI의 확산으로 인해 프롬프트 인젝션, 데이터 유출, 권한 오용 등 새로운 공격 벡터가 등장하고 있으며, 이에 대응하기 위한 보안 전략이 필수적으로 요구된다. 특히 LLM 기반 에이전트는 외부 도구와 API를 활용하기 때문에 공격 표면(Attack Surface)이 크게 확장되는 특징을 가진다.1. 개념 및 정의AI 에이전트 보안은 에이전트의 입력(프롬프트), 내부 추론, 외부 도구 호출, 출력 결과까지 전 과정에서 발생할 수 있는 보안 위협을 식별하고 방어하는 기술 및 정책을 의미한다. 이는 전통적인 애플리케이션 보안(App..

개요AI Observability(AI 관측 가능성)는 머신러닝 및 LLM 기반 시스템의 내부 상태와 동작을 가시화하고, 문제를 진단하며, 성능을 지속적으로 개선하기 위한 체계적인 접근 방식이다. 기존 시스템 모니터링을 넘어 데이터 품질, 모델 출력, 추론 과정까지 포함하여 AI 시스템 전반을 관찰하는 것이 핵심이다. 최근 MLOps와 LLMOps의 확산과 함께 필수 기술로 부상하고 있다.1. 개념 및 정의AI Observability는 로그(Log), 메트릭(Metrics), 트레이스(Trace)뿐만 아니라 모델 입력/출력, 피처 분포, 프롬프트 및 응답 등을 종합적으로 분석하여 AI 시스템의 상태를 이해하고 문제를 식별하는 기술이다.2. 특징항목설명영향전체 스택 가시성데이터부터 모델까지 관찰문제 원인..