AI는 어떻게 우리 말을 알아들을까? 허깅페이스가 알려주는 LLM의 모든 것

AI는 어떻게 우리 말을 알아들을까? 허깅페이스가 알려주는 LLM의 모든 것

최근 인공지능 분야의 혁신은 '거대 언어 모델(LLM)'이 주도하고 있습니다. 챗GPT나 클로드 같은 서비스가 등장하면서 우리는 AI와 자연스럽게 대화하는 시대에 살게 되었습니다. 하지만 이 거대한 모델들이 도대체 어떤 원리로 작동하는지, 그 내부를 들여다보면 생각보다 훨씬 정교하고 흥미로운 메커니즘이 숨어 있습니다. 오늘은 AI 오픈소스 생태계의 중심인 '허깅페이스(Hugging Face)'의 공식 강의 자료를 바탕으로, LLM의 핵심 원리와 구조, 그리고 우리가 주의해야 할 한계점까지 아주 쉽게 풀어드리겠습니다.

---

LLM의 탄생과 3가지 핵심 아키텍처

자연어 처리(NLP)는 컴퓨터가 인간의 언어를 이해하고 처리하는 기술입니다. 과거에는 특정 작업마다 별도의 모델을 만들어야 했지만, 방대한 데이터로 학습된 트랜스포머(Transformer) 기반의 LLM이 등장하면서 하나의 모델로 번역, 요약, 코딩 등 다양한 작업을 수행할 수 있게 되었습니다. 트랜스포머 모델은 크게 세 가지 유형으로 나뉘며, 각기 다른 장단점을 가집니다.

유형	설명	대표 모델	추천 작업
인코더 모델 (Encoder-only)	문장의 전체 맥락을 양방향으로 파악하는 데 탁월합니다. 입력된 내용을 '이해'하는 능력이 뛰어납니다.	BERT, DistilBERT	감성 분석, 문장 분류, 개체명 인식(NER)
디코더 모델 (Decoder-only)	앞 단어를 보고 다음 단어를 예측하는 방식입니다. 창의적인 글쓰기나 대화 생성에 강합니다.	GPT 시리즈, Llama, Gemma	텍스트 생성, 챗봇, 코드 작성
인코더-디코더 (Encoder-Decoder)	입력을 이해(인코더)하고 새로운 출력을 생성(디코더)하는 구조입니다. 시퀀스를 다른 시퀀스로 변환할 때 쓰입니다.	T5, BART	번역, 긴 글 요약

최근 우리가 접하는 대부분의 최신 LLM(GPT-4, Llama 3 등)은 생성 능력이 뛰어난 디코더 모델 구조를 기반으로 하고 있습니다.

---

AI가 글을 쓰는 법: '추론(Inference)'의 비밀

AI가 답변을 생성하는 과정을 '추론'이라고 합니다. 이 과정은 마치 요리사가 재료를 손질하고 요리를 내놓는 것처럼 두 단계로 이루어집니다.

• 1단계: 프리필(Prefill) - 재료 손질하기: 사용자가 입력한 프롬프트(질문) 전체를 한 번에 읽고 이해하는 단계입니다. 입력된 텍스트를 토큰(Token)이라는 작은 단위로 쪼개고, 숫자로 변환하여 문맥을 파악합니다.
• 2단계: 디코드(Decode) - 요리하기: 파악한 문맥을 바탕으로 다음 올 단어를 하나씩 생성합니다. 이때 '어텐션(Attention)'이라는 메커니즘이 핵심 역할을 합니다. 예를 들어 "프랑스의 수도는..."이라는 문장에서 '프랑스'와 '수도'라는 단어에 집중(Attention)하여 '파리'라는 단어를 예측해내는 것입니다.

AI는 다음 단어를 선택할 때 확률을 계산합니다. 이때 '온도(Temperature)'라는 설정을 통해 답변의 창의성을 조절할 수 있습니다. 온도가 낮으면 가장 확률이 높은 뻔한 단어를 선택해 논리적인 답변을 하고, 온도가 높으면 의외의 단어를 선택해 엉뚱하지만 창의적인 답변을 내놓습니다.

---

파이프라인: 누구나 쉽게 AI를 쓰는 도구

허깅페이스는 pipeline()이라는 강력한 도구를 제공하여, 복잡한 코드 없이도 누구나 쉽게 최신 AI 모델을 가져다 쓸 수 있게 해줍니다. 텍스트뿐만 아니라 이미지, 오디오 등 다양한 데이터를 처리할 수 있습니다.

• 감성 분석: 문장이 긍정적인지 부정적인지 판별합니다.
• 제로샷(Zero-shot) 분류: 모델을 별도로 학습시키지 않아도, 우리가 원하는 주제(예: 정치, 경제, 스포츠)로 글을 분류할 수 있습니다.
• 멀티모달 기능: 'Whisper' 같은 모델을 사용하면 음성 파일을 텍스트로 받아적거나(STT), 'ViT' 모델로 이미지를 분류할 수도 있습니다.

이처럼 트랜스포머 모델은 언어를 넘어 시각과 청각 영역까지 확장되고 있습니다.

---

반드시 알아야 할 위험성: 편향(Bias)

LLM은 인터넷에 있는 방대한 데이터를 긁어모아 학습합니다. 문제는 인터넷상의 데이터에는 훌륭한 정보뿐만 아니라 성차별, 인종차별 같은 나쁜 정보도 섞여 있다는 점입니다. 실제로 구글의 BERT 모델을 테스트해보면 이 문제가 적나라하게 드러납니다.

• "이 남자는 [MASK] 일을 한다"라고 입력하면 AI는 변호사, 목수, 의사 등을 예측합니다.
• "이 여자는 [MASK] 일을 한다"라고 입력하면 간호사, 웨이트리스 등을 예측하며, 심지어 상위 5개 예측값 중에는 '성매매 종사자(prostitute)'가 포함되기도 합니다.

이는 모델 자체가 악의를 가진 것이 아니라, 학습 데이터에 포함된 사회적 통념과 편향을 그대로 배웠기 때문입니다. 따라서 실제 서비스에 AI를 도입할 때는 이러한 편향과 환각(Hallucination) 현상이 발생할 수 있음을 항상 유의해야 합니다.