코드헌터

이 내용은 밑바닥부터 만들면서 배우는 LLM 책(길벗, 2025)의 내용을 읽어가며 요약한 내용을 적은 글이다.모르는 단어들도 나오는데 일단은 한번 쭉 읽어가며 그대로 진행한다.인프런에 관련 강좌도 있다. 현재 2장까지 실습과 정리가 끝난 상태다. 앞으로 할 작업들이다. 7.1 지시 미세 튜닝 소개 7.2 지도 학습 지시 미세 튜닝을 위해 데이터셋 준비하기 7.3 훈련 배치 만들기 7.4 지시 데이터셋을 위한 데이터 로더 만들기 7.5 사전 훈련된 LLM 로드하기 7.6 응답을 추출하여 저장하기 7.8 미세 튜닝된 LLM 평가하기

이 내용은 밑바닥부터 만들면서 배우는 LLM 책(길벗, 2025)의 내용을 읽어가며 요약한 내용을 적은 글이다.모르는 단어들도 나오는데 일단은 한번 쭉 읽어가며 그대로 진행한다.인프런에 관련 강좌도 있다. 현재 2장까지 실습과 정리가 끝난 상태다. 앞으로 할 작업들이다. 6.1 여러가지 미세 튜닝 방법 6.2 데이터셋 준비 6.3 데이터 로더 만들기 6.4 사전 훈련된 가중치로 모델 초기화하기 6.5 분류 헤드 추가하기 6.6 분류 손실과 정확도 계산하기 6.7 지도 학습 데이터로 모델 미세 튜닝하기 6.8 LLM을 스팸 분류기로 사용하기

이 내용은 밑바닥부터 만들면서 배우는 LLM 책(길벗, 2025)의 내용을 읽어가며 요약한 내용을 적은 글이다.모르는 단어들도 나오는데 일단은 한번 쭉 읽어가며 그대로 진행한다.인프런에 관련 강좌도 있다. 현재 2장까지 실습과 정리가 끝난 상태다. 앞으로 할 작업들이다. 5.1 텍스트 생성 모델 평가하기 5.2 LLM 훈련하기 5.3 무작위성을 제어하기 위한 디코딩 전략 5.4 파이토치로 모델 로드하고 저장하기 5.5 오픈 AI에서 사전 훈련된 가중치 로드하기

이 내용은 밑바닥부터 만들면서 배우는 LLM 책(길벗, 2025)의 내용을 읽어가며 요약한 내용을 적은 글이다.모르는 단어들도 나오는데 일단은 한번 쭉 읽어가며 그대로 진행한다.인프런에 관련 강좌도 있다. 현재 2장까지 실습과 정리가 끝난 상태다. 앞으로 할 작업들이다. 4.1 LLM 구조 구현하기 4.2 층 정규화로 활성화 정규화하기 4.3 GELU 활성화 함수를 사용하는 피드 포워드 네트워크 구현하기 4.4 숏컷 연결 추가하기 4.5 어텐션과 선형 층을 트랜스포머 블록에 연결하기 4.6 GPT 모델 만들기 4.7 텍스트 생성하기

이 내용은 밑바닥부터 만들면서 배우는 LLM 책(길벗, 2025)의 내용을 읽어가며 요약한 내용을 적은 글이다.모르는 단어들도 나오는데 일단은 한번 쭉 읽어가며 그대로 진행한다.인프런에 관련 강좌도 있다. 현재 2장까지 실습과 정리가 끝난 상태다. 앞으로 할 작업들이다. 3.1 긴 시퀀스 모델링의 문제점 3.2 어텐션 매커니즘으로 의존성 포착하기 3.3 셀프 어텐션으로 입력의 서로 다른 부분에 주의 기울이기 3.4 훈련 가능한 가중치를 가진 셀프 어텐션 구현하기 3.5. 코잘 어텐션으로 미래의 단어를 감추기 3.6 싱글 헤드 어텐션을 멀치 해드 어텐션으로 확장하기

이 내용은 밑바닥부터 만들면서 배우는 LLM 책(길벗, 2025)의 내용을 읽어가며 요약한 내용을 적은 글이다.모르는 단어들도 나오는데 일단은 한번 쭉 읽어가며 그대로 진행한다.인프런에 관련 강좌도 있다. 2.1 단어 임베딩 이해하기- 훈련용 텍스트 준비- 위에서 1.7 절의 대규머 언어 모델 만들기의 1단계- 1) 데이터 준비 & 샘플링- 단어 임베딩 : 단어를 실수 벡터로 바꾸는 개념- 임베딩의 목적은 신경망이 처리할 수 있는 포맷으로 변환하는 것- 문장, 단락 또는 문서 전체를 위한 임베딩도 있다.- 문장, 단락 임베딩은 RAG에서 널리 사용됨 (핸즈온 LLM) 하지만 이 내용은 이 책에선 다루지 않음- 이 책의 목표는 한 번에 하나의 단어씩 텍스트를 생성하는 GPT와 유사한 LLM을 훈련하는 것이..

이 내용은 밑바닥부터 만들면서 배우는 LLM 책(길벗, 2025)의 내용을 읽어가며 요약한 내용을 적은 글이다.모르는 단어들도 나오는데 일단은 한번 쭉 읽어가며 그대로 진행한다.인프런에 관련 강좌도 있다. 제 1 장제 2 장

이 내용은 밑바닥부터 만들면서 배우는 LLM 책(길벗, 2025)의 내용을 읽어가며 요약한 내용을 적은 글이다.모르는 단어들도 나오는데 일단은 한번 쭉 읽어가며 그대로 진행한다.인프런에 관련 강좌도 있다. 1.1 LLM이란 무엇인가요?- LLM은 사람의 텍스트를 이해하고, 생성하고, 응답하도록 고안된 신경망이다.- 신경망에는 다양한 구조가 있고 여기서는 그중에서도 트랜스포머 구조에만 초점을 맞춤- 트랜스포머는 기계 번역을 위해 고안된 신경망 구조임.- 머신러닝 모델은 크게 지도학습과 비지도 학습 방법으로 훈련하는데 이 책에서는 비지도 학습은 설명하지 않는다. 1.2 LLM 애플리케이션- 텍스트 분류, 요약 : 예) 검색 엔진의 결과를 개선- 사용자의 지시를 따라 응답 : 예) 챗GPT- 언어 번역이나 ..

공식적으로 학습할 자료는 아래와 같다.유니티 공식 블로그, DOTS - 유니티의 데이터 지향 기술 스택 DOTS - Unity’s Data-Oriented Technology Stack위 사이트에서 제공하는 유니티 공식 튜터리얼 프로젝트GitHub - Unity-Technologies/EntityComponentSystemSamples 유니티 코리아의 유튜브 채널 ([유니티 TIPS] 유니티의 DOTS 시스템, ECS 신규 업데이트!)https://www.youtube.com/watch?v=anoA9d2vn9A 유니티 코리아의 유튜브 채널 초기 개념(약간 오래된 영상이지만 개념 파악용으로 좋음)https://www.youtube.com/watch?v=hAp5nx2_Hpg DOTS 에 대해 잘 정리한 다른..

시중에 별다른 서적도 없고 공식적으로 있는거라곤 유니티의 매뉴얼과 동영상이 전부라 이런것들을 잡다하게 공부하면서 느낀것을 정리해보고자 한다. 개념파악 3가지 기본 기술ECSJobSystemBurst 활용법