Agent | LLM은 무엇일까?

 

이전 섹션에서 각 agent는 core에 AI model이 필요하고, LLM이 가장 일반적인 AI 모델 유형이라는 것을 배웠다.

 

 

 

What is a Large Language Model?

The original Transformer architecture looked like this, with an encoder on the left and a decoder on the right.

 

LLM은 방대한 양의 텍스트 데이터를 통해 언어 패턴이나 구조, 뉘앙스 등을 학습한다. 대부분의 현대 LLM은 transformer 아키텍처를 기반으로 하는데, transformer는 아마 다들 잘 알고 있을 attention 알고리즘을 사용한 딥러닝 아키텍처이다.

 

---

transformers의 3가지 유형

 

[1] Encoders

인코더 기반 트랜스포머는 input text를 embeddings으로 변환한다.

- 예시: Google의 BERT

- semantic search, NER

- 일반적으로 수백만 개의 매개변수

 

[2] Decoders

디코더 기반 트랜스포머는 한 번에 하나의 토큰을 생성하면서 sequence를 완성한다.

- 예시: Meta의 Llama

- 텍스트 생성, 챗봇
- 일반적으로 수십억 개의 매개변수

 

[3] Seq2Seq (Encoder-Decoder)

Seq2Seq 트랜스포머는 인코더와 디코더를 결합한 형태이다. 인코더는 입력 sequence를 context representation으로 변환하고, 디코더가 output sequence를 생성한다. 

- 예시: T5, BART

- 번역, 요약, paraphrasing

- 일반적으로 수백만 개의 매개변수

 

---

대표적인 LLM들

Model	Provider
Deepseek-R1	DeepSeek
GPT4	OpenAI
Llama 3	Meta (Facebook AI Research)
SmolLM2	Hugging Face
Gemma	Google
Mistral	Mistral

 

[원리]: 이전 seq를 기반으로 다음 token을 예측한다. (token이란, LLM의  unit of information이다.) token을 '단어'라고 생각해도 되긴 하지만, LLM은 효율성 문제로 전체 단어를 사용하지 않는다. 예를 들어, 영어는 약 60만개의 단어가 있지만 LLM에서는 약 32,000개의 token으로 구성될 수 있다. 

 

 

---

Model	Provider	EOS Token	Functionality
GPT4	OpenAI	<|endoftext|>	End of message text
Llama 3	Meta (Facebook AI Research)	<|eot_id|>	End of sequence
Deepseek-R1	DeepSeek	<|end_of_sentence|>	End of message text
SmolLM2	Hugging Face	<|im_end|>	End of instruction or message
Gemma	Google	<end_of_turn>	End of conversation turn

 

각 LLM에는 모델 별로 고유한 특수 token이 존재한다. LLM은 이 token들을 사용해서 생성하는 text를 구조적으로 열고 닫을 수 있다. 예를 들어, seq의 시작과 끝, 메세지와 응답을 나타내려고 사용한다. 우리가 모델에 입력하는 입력 프롬프트도 특수 token을 포함한 구조로 작성된다. 그 중 가장 중요한 EOS(End of sequence) token은 종료 token인데 위의 표와 같이 모델마다 다양하다. 

 

 

 

---

Understanding next token prediction

 

LLM은 autoregressive 방식으로 작동한다. 이전 출력이 다음 input이 되는 방식으로 이 과정이 반복된다. EOS token이 예측되면 text 생성을 중단한다. 

 

 

---

How are LLMs used in AI Agents?

그래서 가장 중요한 LLM은 Agent에서 어떻게 사용되는가? LLM은 자연어를 이해하고 생성하는 역할을 하므로 사용자 명령을 해석하고 계획을 세우고 어떤 도구를 사용할지 결정할 수 있다. 즉, LLM은 agent의 두뇌 역할을 하므로 뗄레야 뗄 수가 없다. 이것이 핵심이다.

 

 

 

 

 

Reference

• What are LLMs?