코드헌터

이 내용은 밑바닥부터 만들면서 배우는 LLM 책(길벗, 2025)의 내용을 읽어가며 요약한 내용을 적은 글이다.모르는 단어들도 나오는데 일단은 한번 쭉 읽어가며 그대로 진행한다.인프런에 관련 강좌도 있다. 현재 2장까지 실습과 정리가 끝난 상태다. 앞으로 할 작업들이다. 7.1 지시 미세 튜닝 소개 7.2 지도 학습 지시 미세 튜닝을 위해 데이터셋 준비하기 7.3 훈련 배치 만들기 7.4 지시 데이터셋을 위한 데이터 로더 만들기 7.5 사전 훈련된 LLM 로드하기 7.6 응답을 추출하여 저장하기 7.8 미세 튜닝된 LLM 평가하기

이 내용은 밑바닥부터 만들면서 배우는 LLM 책(길벗, 2025)의 내용을 읽어가며 요약한 내용을 적은 글이다.모르는 단어들도 나오는데 일단은 한번 쭉 읽어가며 그대로 진행한다.인프런에 관련 강좌도 있다. 현재 2장까지 실습과 정리가 끝난 상태다. 앞으로 할 작업들이다. 6.1 여러가지 미세 튜닝 방법 6.2 데이터셋 준비 6.3 데이터 로더 만들기 6.4 사전 훈련된 가중치로 모델 초기화하기 6.5 분류 헤드 추가하기 6.6 분류 손실과 정확도 계산하기 6.7 지도 학습 데이터로 모델 미세 튜닝하기 6.8 LLM을 스팸 분류기로 사용하기

이 내용은 밑바닥부터 만들면서 배우는 LLM 책(길벗, 2025)의 내용을 읽어가며 요약한 내용을 적은 글이다.모르는 단어들도 나오는데 일단은 한번 쭉 읽어가며 그대로 진행한다.인프런에 관련 강좌도 있다. 현재 2장까지 실습과 정리가 끝난 상태다. 앞으로 할 작업들이다. 5.1 텍스트 생성 모델 평가하기 5.2 LLM 훈련하기 5.3 무작위성을 제어하기 위한 디코딩 전략 5.4 파이토치로 모델 로드하고 저장하기 5.5 오픈 AI에서 사전 훈련된 가중치 로드하기

이 내용은 밑바닥부터 만들면서 배우는 LLM 책(길벗, 2025)의 내용을 읽어가며 요약한 내용을 적은 글이다.모르는 단어들도 나오는데 일단은 한번 쭉 읽어가며 그대로 진행한다.인프런에 관련 강좌도 있다. 현재 2장까지 실습과 정리가 끝난 상태다. 앞으로 할 작업들이다. 4.1 LLM 구조 구현하기 4.2 층 정규화로 활성화 정규화하기 4.3 GELU 활성화 함수를 사용하는 피드 포워드 네트워크 구현하기 4.4 숏컷 연결 추가하기 4.5 어텐션과 선형 층을 트랜스포머 블록에 연결하기 4.6 GPT 모델 만들기 4.7 텍스트 생성하기

이 내용은 밑바닥부터 만들면서 배우는 LLM 책(길벗, 2025)의 내용을 읽어가며 요약한 내용을 적은 글이다.모르는 단어들도 나오는데 일단은 한번 쭉 읽어가며 그대로 진행한다.인프런에 관련 강좌도 있다. 현재 2장까지 실습과 정리가 끝난 상태다. 앞으로 할 작업들이다. 3.1 긴 시퀀스 모델링의 문제점 3.2 어텐션 매커니즘으로 의존성 포착하기 3.3 셀프 어텐션으로 입력의 서로 다른 부분에 주의 기울이기 3.4 훈련 가능한 가중치를 가진 셀프 어텐션 구현하기 3.5. 코잘 어텐션으로 미래의 단어를 감추기 3.6 싱글 헤드 어텐션을 멀치 해드 어텐션으로 확장하기

이 내용은 밑바닥부터 만들면서 배우는 LLM 책(길벗, 2025)의 내용을 읽어가며 요약한 내용을 적은 글이다.모르는 단어들도 나오는데 일단은 한번 쭉 읽어가며 그대로 진행한다.인프런에 관련 강좌도 있다. 2.1 단어 임베딩 이해하기- 훈련용 텍스트 준비- 위에서 1.7 절의 대규머 언어 모델 만들기의 1단계- 1) 데이터 준비 & 샘플링- 단어 임베딩 : 단어를 실수 벡터로 바꾸는 개념- 임베딩의 목적은 신경망이 처리할 수 있는 포맷으로 변환하는 것- 문장, 단락 또는 문서 전체를 위한 임베딩도 있다.- 문장, 단락 임베딩은 RAG에서 널리 사용됨 (핸즈온 LLM) 하지만 이 내용은 이 책에선 다루지 않음- 이 책의 목표는 한 번에 하나의 단어씩 텍스트를 생성하는 GPT와 유사한 LLM을 훈련하는 것이..