트랜스포머 모델로 GPT만들기

트랜스포머 모델로 GPT만들기

이 강의는 트랜스포머 모델과 GPT(Generative Pre-trained Transformer)에 대한 이해와 구현 방법을 학습하는 과정입니다. 머신러닝 기반이 약한 분들도 쉽게 따라올 수 있도록 구성되어 있으며, 파이썬 코드 수준에서의 적용 방법을 배우게 됩니다.

22명의 학생들이 수강


개발자는 많지만 고급 AI개발자는 구하기 어려운 시대!

국내에서도 최근 네이버가 SK텔레콤에서 ‘AI인재 빼가는 행위’ 중단 요구의 내용증명을
보낼정도지만 수준높은 개발자를 구하기 어려운 상황이죠.
그나마 국내 AI 업체는 해외 채용을 통해 재택근무 조건으로 버티는 수준입니다.
이처럼 전세계는 파격적인 조건으로 숙련된 고급 AI개발자 구인 경쟁중인데요,
이 강의를 통해 환골탈퇴 하세요!

 

강의 소개: 트랜스포머 모델로 GPT 만들기

이 강의는 머신러닝 기반이 약한 분들도 쉽게 트랜스포머 모델을 이해하고, 파이썬 코드 수준에서 GPT를 적용할 수 있도록 도와줍니다. 최신 언어 모델의 강의 업데이트가 이루어져 최신 트랜스포머 기반 모델에 대한 최신 정보도 제공됩니다.

강의 목표:
1. 트랜스포머 논문의 핵심 메커니즘인 어텐션 기법을 이해합니다.
2. 트랜스포머 논문을 기반으로 한 GPT를 파이썬 코드 수준에서 이해하고 구현합니다.
3. 이를 통해 참여자들은 자신만의 GPT를 만들 수 있는 기반을 마련하게 됩니다.

강의 특징:

트랜스포머 논문의 핵심 메커니즘인 어텐션 기법을 자세히 이해합니다.
트랜스포머 논문을 바탕으로 한 GPT를 파이썬 코드로 구현하고 실습합니다.
자신만의 GPT 모델을 만들 수 있는 도약을 이룰 수 있습니다.

 

강의 커리큘럼 섹션 1 :
1. 트랜스포머 논문을 기반으로 한 GPT 구현을 위한 입력 처리, 토큰화, positional 임베딩에 대해 배웁니다.
2. 실습을 통해 GPT 코드를 실행해보며 구현 방법을 익힙니다.
3. 잔차 처리, 정규화, 어텐션 처리, Feed Forward, 아웃풋 임베딩(linear), 소프트맥스 등 GPT의 구성 요소와 처리 방법에 대해 학습합니다.
4. GPT-2 모델의 문장 생성 기능(generate)을 구현해봅니다.
5. Transformer Block의 구성 요소와 동작 원리를 이해합니다.
6. 내적 연산과 다중 헤드 어텐션 (MHA)에 대해 학습합니다.
7. Scaled Dot-Product Attention과 GPT 제작 과정을 마무리합니다.

강의 커리큘럼 섹션 2 :

섹션 1의 기반 지식으로 배경으로 라마, 알파카 , 비쿠나의 코드를 설명을 업데이트 해 갑니다.
코드의 전체 흐름 뿐 아니라 유틸적인 측면과 수학적 개념까지 강의에서 세부적으로 다루기 때문에, 실제 코드를 완전히 이해해서 자신만의 GPT를 새롭게 만드시려는 분에게 도움이 되는 강의 입니다.

 

이 강의를 통해 참여자들은 트랜스포머 모델과 GPT의 핵심 개념과 구현 방법을 자세히 이해하고, 이를 기반으로 자신만의 GPT를 만들 수 있는 능력을 갖출 수 있습니다.

 

강의 업데이트 안내

2023-11-1 “스탠포드 알파카를 활용한 기계 생성 데이터 생성 방법” 강의가 추가되었습니다. 이 강의를 통해 여러분은 Self Instruct 논문 기반으로 GPT를 이용해, 기계 스스로 데이터를 생성 하는 방법의 이해를 얻게 됩니다.

2023-11-5 “비쿠나(Vicuna AI)설치와 Vicuna 13B 모델 Cli 실행” 강의가 추가되었습니다.
Vicuna는 현재 “경량” LLM 중에서는 뛰어난 모델로 평가받고 있습니다. 이 강의를 통해 여러분은 Vicuna를 설치하고
직접 실행해 보는 경험을 통해, 경량 LLM이 가진 놀라운 미래를 체험하게 됩니다.

2023- 11-7 AI 스타트업 창업의 좋은 기반 모델 – “메타 Llama 2 설치와 13B 모델 실행 (Text Generation WebUI – Oobabooga)”이
추가 되었습니다. 메타 라마2는 상업적 사용이 가능하기에 AI 창업을 하시는 분에게 좋은 선택이 되고 있습니다.

2023-11-26 자신만의 특화된 GPT 만들기 – AI학습 시키기 섹션이 추가되었습니다. 이 섹션을 통해 AI를 여러분 조직의 용도에 적합하도록 학습시키는 방법을 배우게 됩니다.

2023 – 11- 29 증강검색 기능 만들기 – 임베딩(Embedding) -Vector Search(벡터 검색) + 랭체인(Langchain) 이 추가되었습니다. 이 강의를 통해 지식 기반의 벡터 검색을 여러분 AI에 구현하는 것을 학습하게 됩니다.

2023-12-17 GPT 다중 AI 에어진트 만들기 – autogen, langchain 등 활용이 추가 되었습니다. 이 강의를 통해 GPT 언어모델은 채팅이 가능한 에이전트들을 만들어, AI끼리 대화를 통해 수준높은 결과를 도출 해 냅니다,  AI들은 각자 맏은 역활에 따라 외부 API를 통해 검색, 스크래핑, 에어테이블 데이터 베이스 업데이트 까지 합니다. 여러분은 인간의 업무와 같은 새로운 패러다임의 GPT 의 작동을 보게 됩니다.

 

강좌 교육과정 소개 (COURSE CURRICULUM)

GPT (Generative Pre-trained Transformer) 언어 모델(Language Model) 구조 살펴보기
트랜스포머 논문보고 GPT 만들기 1 입력, 토큰화, positional 임베딩 처리 00:18:00
트랜스포머 논문보고 GPT 만들기 2 실습 참고 GPT 코드 실행해 보기 00:12:00
트랜스포머 논문보고 GPT 만들기
트랜스포머 논문보고 GPT 만들기 3 잔차 처리, 정규화, 어탠션처리,Feed Forwad,아웃풋 임베딩(linear)과 소프트맥스 00:15:00
트랜스포머 논문보고 GPT 만들기 4 GPT-2 모델의 문장 생성 기능(generate) 구현 00:31:00
트랜스포머 논문보고 GPT 만들기 5 Transformer Block의 구성 요소와 동작 원리 00:12:00
트랜스포머 논문보고 GPT 만들기 6 내적연산과 다중 헤드 어텐션 (MHA) 00:29:00
트랜스포머 논문보고 GPT 만들기 7 Scaled Dot-Product Attention 과 마무리 00:10:00
트랜스포머 논문 보고 라마 만들기
라마(LLaMA)를 사용한 텍스트 생성 1 : 토큰화 및 모델 설정 00:41:00
라마(LLaMA)를 사용한 텍스트 생성 2 : generation.py 파일 분석 완료 하기 00:55:00
라마(LLaMA)를 사용한 텍스트 생성 3 : MODEL 00:21:00
스탠포드 알파카 (Stanford Alpaca)
스탠포드 알파카를 활용한 기계 생성 데이터 생성 방법 00:47:00
비쿠나 (Vicuna AI)
비쿠나(Vicuna AI)설치와 Vicuna 13B 모델 Cli 실행 00:17:00
메타 라마 2 (Llama 2)
AI 스타트업 창업의 좋은 기반 모델 – 메타 Llama 2 설치와 13B 모델 실행 (Text Generation WebUI – Oobabooga) 00:12:00
자신만의 특화된 GPT 만들기 - A I학습 시키기
파인튜닝(Fine-Tuning) – GPT 3.5-Turbo + 랭체인(Langchain) 00:15:00
증강검색 기능 만들기 – 임베딩(Embedding) -Vector Search(벡터 검색) + 랭체인(Langchain) 00:20:00
GPT 에이전트
GPT 다중 AI 에어진트 만들기 -autogen, langchain 등 활용 00:32:00

강의 평가

해당없음

개의 수강평
  • 5 stars0
  • 4 stars0
  • 3 stars0
  • 2 stars0
  • 1 stars0

처음으로 강의 평가를 해 주세요~

강좌 수강 Take This Course
  • 30,000.00
  • 평생
  • 위시리스트
  • 6 시간, 27 분
  • 강좌 수16

샵투스쿨의 목표

교육은 백년지대계 !
개인과 국가 발전의 초석은 교육과 배움입니다.새로운 지식과 기술 재교육의 갈망을 샵투스쿨에서 채우세요.

shop2school 제휴 문의1-302-613 -1812 |이메일 info@shop2world.com | 법인명: SHOP2WORLD, INC. | 2801 CENTERVILLE RD 1ST FLOOR PMB 8085 WILMINGTON DE 19808 USA.