이 내용은 밑바닥부터 만들면서 배우는 LLM 책(길벗, 2025)의 내용을 읽어가며 요약한 내용을 적은 글이다.모르는 단어들도 나오는데 일단은 한번 쭉 읽어가며 그대로 진행한다.인프런에 관련 강좌도 있다. 2.1 단어 임베딩 이해하기- 훈련용 텍스트 준비- 위에서 1.7 절의 대규머 언어 모델 만들기의 1단계- 1) 데이터 준비 & 샘플링- 단어 임베딩 : 단어를 실수 벡터로 바꾸는 개념- 임베딩의 목적은 신경망이 처리할 수 있는 포맷으로 변환하는 것- 문장, 단락 또는 문서 전체를 위한 임베딩도 있다.- 문장, 단락 임베딩은 RAG에서 널리 사용됨 (핸즈온 LLM) 하지만 이 내용은 이 책에선 다루지 않음- 이 책의 목표는 한 번에 하나의 단어씩 텍스트를 생성하는 GPT와 유사한 LLM을 훈련하는 것이..