ITPE * JackerLab

Prefect 2.0

개요Prefect 2.0은 Python 기반의 데이터 워크플로우 오케스트레이션 프레임워크로, 복잡한 데이터 파이프라인을 코드 기반으로 정의하고 신뢰성 있게 실행 및 모니터링할 수 있도록 설계되었습니다. 기존 Prefect 1.0의 DAG 기반에서 벗어나 동적, 이벤트 기반 워크플로우를 지원하며, 유연성과 확장성이 뛰어난 현대적 오케스트레이션 플랫폼으로 진화했습니다.1. 개념 및 정의 항목 내용 비고 정의Python 코드로 데이터 워크플로우를 선언하고 오케스트레이션하는 프레임워크PrefectHQ 개발, 오픈소스 기반목표코드 중심의 선언적 + 동적 파이프라인 구현Apache Airflow 대안주요 대상데이터 엔지니어, ML 엔지니어, 분석팀Python 친화적 환경 선호 조직2. 특징항목설명비고DAG 비의..

Weaviate

개요Weaviate는 벡터 임베딩 기반의 고속 검색과 구조화된 메타데이터 쿼리를 동시에 지원하는 오픈소스 벡터 데이터베이스입니다. AI 검색(RAG), 추천 시스템, 멀티모달 검색, 의미 기반 필터링 등의 기능을 통합 제공하며, 벡터 인덱싱부터 LLM 통합까지 모두 처리 가능한 통합형 플랫폼으로 각광받고 있습니다.1. 개념 및 정의 항목 내용 비고 정의의미 기반 벡터 검색과 구조화된 쿼리를 결합한 벡터 데이터베이스GraphQL/REST/gRPC API 제공핵심 목적유사도 기반 검색 + 속성 기반 필터링을 통합 제공RAG, AI 서비스에 적합주요 도메인검색, 추천, 질문응답, 시맨틱 분류LLM 통합 운영 가능2. 특징항목설명비고하이브리드 검색벡터 유사도 + 구조화 필터 쿼리 조합GraphQL 기반 질의..

Qdrant

개요Qdrant는 벡터 임베딩 기반의 데이터 검색을 고속으로 처리할 수 있도록 설계된 오픈소스 벡터 검색 엔진입니다. 자연어 처리(NLP), 이미지 검색, 추천 시스템, AI 기반 검색 등에서 사용되며, ANN(Approximate Nearest Neighbor) 알고리즘과 필터링 기능을 결합하여 정확도와 속도 모두를 보장합니다. REST, gRPC, WebSocket 등 다양한 인터페이스를 지원하여 AI/ML 파이프라인과 쉽게 통합됩니다.1. 개념 및 정의 항목 내용 비고 정의고차원 벡터 공간에서 유사한 데이터를 빠르게 찾는 벡터 검색 엔진Rust 기반 구현목적벡터 임베딩 기반 검색 및 유사성 탐색 최적화AI 응용 서비스 강화대상 도메인검색, 추천, 분류, 클러스터링 등자연어, 이미지, 코드 등 다..