ITPE * JackerLab

개요HELM(Holistic Evaluation of Language Models)은 대형언어모델(LLM)의 성능을 단순 정확도나 정답률을 넘어, 공정성, 편향성, 신뢰성, 견고성, 효율성 등 다차원적 관점에서 정량·정성 평가하는 포괄적 벤치마크 프레임워크입니다. 스탠포드 CRFM(Center for Research on Foundation Models)이 주도하여 개발하였으며, LLM에 대한 책임 있는 도입과 운영을 위한 필수 도구로 부상하고 있습니다.1. 개념 및 정의 구분 내용 정의LLM을 다양한 사용 시나리오와 평가 차원에서 분석·비교하는 벤치마크 체계목적단일 지표 평가의 한계를 극복하고, LLM의 전반적 신뢰성 및 사회적 영향력까지 진단필요성AI 사용 확대에 따른 윤리·안전·공정성 문제를 사전..

개요Algorithmic Auditing(알고리즘 감사 또는 모델 감사)은 인공지능 및 알고리즘 기반 시스템의 공정성, 투명성, 책임성을 확보하기 위해 설계·학습·운영 과정 전반을 점검하고 평가하는 활동이다. 점점 더 많은 기업과 정부가 AI에 의사결정을 위임하는 상황에서, 모델의 편향, 차별, 오류 가능성을 사전에 식별하고 대응하기 위한 핵심적인 AI 거버넌스 절차로 주목받고 있다.1. 개념 및 정의Algorithmic Auditing은 알고리즘이 어떻게 작동하는지, 누구에게 어떤 영향을 미치는지를 평가하고, 사회적 책임을 기반으로 그 위험을 최소화하려는 시도이다.목적: 불투명한 알고리즘 의사결정으로 인한 피해 예방 및 규제 대응범위: 데이터 수집부터 학습, 배포, 운영, 유지보수까지 전 단계 포함형식..