Tree-of-Thought (ToT) Prompting

개요

Tree-of-Thought(ToT) Prompting은 Chain-of-Thought(CoT)를 확장한 고급 추론 전략으로, 단일 선형 추론 흐름이 아닌 트리(tree) 형태의 다중 사고 경로를 탐색하고 평가하여 최적의 정답을 도출하는 방식입니다. LLM이 다양한 생각의 가지(branch)를 생성한 후, 이들을 평가하고 선택함으로써 창의적 문제, 퍼즐, 설계, 스토리 생성 등에서 더욱 깊이 있는 사고와 정확도를 확보할 수 있습니다.

---

1. 개념 및 정의

ToT는 다음과 같은 방식으로 작동합니다:

1. LLM이 문제를 기반으로 다양한 아이디어 또는 추론 경로 생성 (Tree Branching)
2. 각 경로의 다음 단계를 반복 생성 (Tree Expansion)
3. 가지(branch)마다 평가 또는 선택 기준을 적용 (Scoring or Pruning)
4. 최종적으로 가장 유망한 사고 경로를 선택 (Best Path Selection)

이는 마치 인간이 여러 아이디어를 떠올린 뒤, 하나하나 확장해보고 평가하여 결정하는 사고 패턴과 유사합니다.

---

2. 특징

항목	설명	비고
분기 기반 추론	다수의 사고 흐름을 생성 후 탐색	CoT보다 다양성과 깊이 확보
자가 평가 가능	스스로 생각을 평가하거나 외부 평가 함수 사용	Agent 구성에도 활용 가능
탐색 + 추론 결합	Tree Search + Language Reasoning	AI 사고 시뮬레이션 구조

ToT는 특히 정답이 하나로 수렴되지 않는 고차 창의 문제에 효과적입니다.

---

3. 구조 및 흐름

단계	설명	구현 예시
초기 문제 제시	사용자 또는 시스템 입력	“다음 스토리를 완성해줘…”
첫 단계 아이디어 생성	브레인스토밍 방식으로 다양하게 생성	답안 3~5개 동시 생성
각 가지 확장	선택된 생각을 기반으로 다음 단계 생성	트리형 재귀 구조
평가 및 선택	스스로 또는 함수로 각 브랜치 평가	유망도, 일관성, 목표 적합성 기준
최종 응답 결정	가장 설득력 있는 가지 선택	사용자 응답 or 내부 결정

---

4. ToT vs CoT vs ReAct 비교

항목	ToT	CoT	ReAct
구조	트리형	선형	사고 + 도구 행위 병합
목적	창의성 + 탐색	논리적 단계화	실행 기반 AI 에이전트
특징	분기 + 평가	단계별 출력	API/도구 호출 포함

ToT는 CoT의 논리성과 ReAct의 행위력 사이에서 구조화된 사고 확장에 특화된 전략입니다.

---

5. 활용 사례

분야	적용 예시	기대 효과
스토리텔링	다양한 줄거리 분기 생성 후 최종 선택	창의적 결과 도출
수학/퍼즐	다양한 해법 경로를 트리로 구성	정답률 향상, 오류 방지
설계/기획	아이디어 다각화 및 평가 기반 선택	제품 기획, 정책 분석 등
게임 AI	다단계 결정 시뮬레이션	전략 생성, NPC 대화 트리

ToT는 멀티스텝 사고가 필요한 문제에 특히 강력한 성능을 보입니다.

---

6. 구현 고려사항

• 트리 깊이 제한: 무한 확장을 방지하기 위한 max-depth 설정 필요
• 브랜치 수 조절: 성능과 속도의 균형을 위한 beam size 설정
• 평가 기준 명시: “가장 논리적인”, “가장 창의적인” 등 명확한 평가 지표 설계 필요
• 외부 함수 활용: 스코어링을 위해 코드 함수, 모델 평가결과 등을 활용 가능

---

7. 결론

Tree-of-Thought Prompting은 LLM에게 생각을 다양하게 펼치고, 비교하고, 선택하게 만드는 고차 추론 전략으로, CoT의 확장형이자 차세대 멀티스텝 문제 해결 메커니즘입니다. 앞으로는 멀티에이전트 CoT, 다중 프롬프트 기반 협업, 시뮬레이션 기반 에이전트 시스템과의 융합을 통해 더욱 강력한 인간 수준 사고력에 가까운 AI 응용을 이끌 것으로 기대됩니다.