설명
강의 소개: 트랜스포머 모델로 GPT 만들기
이 강의는 머신러닝 기반이 약한 분들도 쉽게 트랜스포머 모델을 이해하고, 파이썬 코드 수준에서 GPT를 적용할 수 있도록 도와줍니다. 최신 언어 모델의 강의 업데이트가 이루어져 최신 트랜스포머 기반 모델에 대한 최신 정보도 제공됩니다.
강의 목표:
1. 트랜스포머 논문의 핵심 메커니즘인 어텐션 기법을 이해합니다.
2. 트랜스포머 논문을 기반으로 한 GPT를 파이썬 코드 수준에서 이해하고 구현합니다.
3. 이를 통해 참여자들은 자신만의 GPT를 만들 수 있는 기반을 마련하게 됩니다.
강의 특징:
트랜스포머 논문의 핵심 메커니즘인 어텐션 기법을 자세히 이해합니다.
트랜스포머 논문을 바탕으로 한 GPT를 파이썬 코드로 구현하고 실습합니다.
자신만의 GPT 모델을 만들 수 있는 도약을 이룰 수 있습니다.
강의 커리큘럼:
1. 트랜스포머 논문을 기반으로 한 GPT 구현을 위한 입력 처리, 토큰화, positional 임베딩에 대해 배웁니다.
2. 실습을 통해 GPT 코드를 실행해보며 구현 방법을 익힙니다.
3. 잔차 처리, 정규화, 어텐션 처리, Feed Forward, 아웃풋 임베딩(linear), 소프트맥스 등 GPT의 구성 요소와 처리 방법에 대해 학습합니다.
4. GPT-2 모델의 문장 생성 기능(generate)을 구현해봅니다.
5. Transformer Block의 구성 요소와 동작 원리를 이해합니다.
6. 내적 연산과 다중 헤드 어텐션 (MHA)에 대해 학습합니다.
7. Scaled Dot-Product Attention과 GPT 제작 과정을 마무리합니다.
이 강의를 통해 참여자들은 트랜스포머 모델과 GPT의 핵심 개념과 구현 방법을 자세히 이해하고, 이를 기반으로 자신만의 GPT를 만들 수 있는 능력을 갖출 수 있습니다.