ITPE * JackerLab

개요Segment Anything Model(SAM)은 Meta AI에서 개발한 범용 이미지 분할 모델로, 입력 이미지에서 사용자가 지정한 영역을 즉시 분할할 수 있는 강력한 비전 모델입니다. 사전 학습된 거대한 데이터셋과 Prompt 기반 분할 기술을 바탕으로 다양한 도메인에서 고정밀 이미지 인식과 객체 탐지를 가능하게 하며, 컴퓨터 비전, 의료 영상, 로보틱스, 생성형 AI 등 다양한 분야에서 폭넓게 활용됩니다.1. 개념 및 정의SAM은 사전 학습(pretrained)된 Transformer 기반의 이미지 분할 모델로, 사용자의 간단한 입력(prompt)에 따라 객체 단위의 마스크를 빠르게 생성합니다.Segment Anything: 텍스트, 점, 박스 등 다양한 입력으로 객체 분할 가능모델 구조: 이..

개요Habitat 3.0은 Meta AI가 주도하여 개발한 Embodied AI 연구용 시뮬레이션 플랫폼으로, 물리적으로 현실적인 환경에서 로봇 및 AI 에이전트가 ‘걷고 보고 조작하는’ 능력을 학습할 수 있도록 지원합니다. 특히 실내 환경에서 인간과의 상호작용, 객체 탐색 및 운반, 복잡한 경로 계획 등이 가능한 고해상도 멀티센서 시뮬레이션과 상호작용 가능한 사람형 아바타(avatars)를 포함한 것이 핵심 차별점입니다.1. 개념 및 정의 구분 내용 정의Embodied AI를 위한 대규모 3D 시뮬레이션 플랫폼으로, 현실적 물리 환경과 인간-에이전트 상호작용을 학습 가능하게 함목적실제 환경 이전에 안전하고 확장성 높은 사전 학습 제공필요성로봇의 자율성 강화를 위한 비싼 실험 비용, 현실적 리스크를 시..

개요Toolformer는 대형 언어 모델(LLM)이 API, 계산기, 검색 엔진 등 다양한 외부 도구(tool)를 언제, 어떻게, 왜 사용할지를 스스로 학습하는 프레임워크입니다. 이는 Meta AI에서 제안한 혁신적인 접근으로, LLM이 사전 감독 없이도 툴 사용 능력을 내재화함으로써 복잡한 실세계 태스크에서 성능을 대폭 향상시킬 수 있도록 설계되었습니다. 특히 도구 호출 시점과 인자(argument)를 자율적으로 예측하고, 그로 인한 응답을 추론 흐름에 통합하는 것이 핵심입니다.1. 개념 및 정의 구분 설명 정의LLM이 API 호출을 포함한 외부 도구 사용을 스스로 학습하여 통합적으로 문제를 해결하는 학습 구조목적외부 툴을 통해 LLM의 계산 능력, 정보 검색, 사실 정확도 등 보완필요성LLM의 한계..