ChatGPT 대안을 제시하다 - 스탠포드 알파카 Stanford Alpaca 코드리뷰 (feat, LLaMa + GPT3.5 vs ChatGPT)
Рет қаралды 10,069
Жыл бұрынStanford University에서 공개한 LLaMA 파인튜닝 모델인 알파카(Alpaca) 코드에 대해 분석한 내용입니다.
00:20 알파카 소개
01:55 학습 프로세스
04:00 모델 평가
04:25 self-instruct
07:15 Prompt 템플릿
08:20 데모
09:40 학습 데이터 링크
10:25 데이터 생성 코드
12:50 코드분석
이 모델은 Self-Instruct 방식으로 OpenAI의 text-davinci-003 API를 사용하여 대화 스크립트를 생성하고, A100 GPU 8대로 3시간 학습하여 100달러 미만의 가격으로 파인튜닝을 수행했습니다. 이 모델의 성능은 GPT3.5와 유사하다고 주장하고 있습니다. 이번 공개된 정보는 Self-Instruct 기법을 사용하여 모델차원에서 파인튜닝을 위한 데이터세트를 자동으로 생성하는 방법을 이해할 수 있으며, 적은 비용으로 직접 생성할 수 있다는 점에서 의미가 있습니다. 😎
Stanford alpaca
github.com/tatsu-lab/stanford...
alpaca-lora 경량화
github.com/tloen/alpaca-lora
LLaMA 소개영상
• ChatGPT보다 성능이 더 뛰어나다? ...
@aiacademy131 11 ай бұрын
언어모델교육 전문 브랜드 ExLM, 오픈특가로 공개! "언어모델 실용강의"는 이론부터 실질적인 구현까지, 그리고 최신 언어모델 기술 트렌드에 이르기까지 전반적인 내용을 아우르며, 귀하의 언어모델 활용 능력을 한 단계 업그레이드 시켜줄 것입니다. 이 강의를 통해, 실제 언어모델 문제에 직면했을 때, 효율적으로 해결책을 제시할 수 있는 실력을 키울 수 있게 됩니다. 언어모델의 전문성을 갖춘 탁월한 AI 언어모델 엔지니어로 나아가는 길, '언어모델 실용강의'가 그 첫걸음이 될 것입니다. 자세히 보기: exlm.kr/course-details?id=23
@hojunkim8482 Жыл бұрын
와 미쳤다.. 감사합니다!!
@aiacademy131 Жыл бұрын
간간히 영상 올릴 예정입니다~ 좋아요~ 구독~ 알람신청 눌러두세요~^^
@user-um8bv2uh2r Жыл бұрын
고맙습니다 ~~^^!♡
@aiacademy131 Жыл бұрын
간간히 영상올릴 예정입니다. 미리미리 좋아요~ 구독~ 알람신청! 눌러두세요~^^
@user-hp7ut9gp5e Жыл бұрын
wow... 보물 같은 영상입니다
@aiacademy131 Жыл бұрын
감사합니다. ^^ 자막추가 버전도 있으니 참고하십시오. kzfaq.info/get/bejne/mNeKpc931L66lnU.html
@user-kh9vv6cb6s Жыл бұрын
너무 좋네요
@aiacademy131 Жыл бұрын
간간히 영상 올릴 예정입니다~ 좋아요~ 구독~ 알람신청 눌러두세요~^^
@PD-go7wf Жыл бұрын
강의 너무 잘 보았습니다. 한글이 가능하게 할려면 어떤작업이 필요할까요? 단순히 한글 데이터로 학습만 하면 되나요?
@aiacademy131 Жыл бұрын
네, 우선은 영상과 같이 한글 데이터로 추가학습(파인튜닝)이 필요해보이네요. ^^
@cantoo97 Жыл бұрын
강의 너무 감사합니다.! 알파카나 라마에도 혹시 langchain처럼 pdf파일을 바로 읽어주고 학습하는 라이브러리가 있을까요? peft 파인튜닝도 어려워 보여서요 ^^;;
@aiacademy131 11 ай бұрын
langchain 의 경우 open LLM 의 경우도 사용가능합니다. 아래 링크 참고하시면 좋을듯해요 ^^ iamgeekydude.com/2023/06/02/alpaca-llm-load-model-using-langchain-hf/
@codeplaywatch Жыл бұрын
이런모델 집에서 돌리려면 pc사양을 어느정도 갖추어야 하나요 ?
@loganshin9119 Жыл бұрын
v100 4대로 4일정도 학습이 필요합니다
@hk8322 Жыл бұрын
훈련의 경우이고 훈련된 모델을 가지고 서비스를 돌리는 경우에는 라즈베리파이 위에서 돌린 사례도 있습니다
@SW-vc9jm Жыл бұрын
Alpaca는 논문으로 나와있는 건가요?
@aiacademy131 Жыл бұрын
아래의 페이지에 공개되어있어요. ^^ crfm.stanford.edu/2023/03/13/alpaca.html
@SW-vc9jm Жыл бұрын
@@aiacademy131 음...논문인건가요? 아니면 그냥 웹페이지에 소개된건가요?
@hiongun Жыл бұрын
황송하게 고퀄리티 세미나...
@aiacademy131 Жыл бұрын
감사합니다.^^ 자막있는 버전도 있으니 참고하십시오. kzfaq.info/get/bejne/mNeKpc931L66lnU.html
한국인공지능아카데미
Рет қаралды 22 М.
한국인공지능아카데미
Рет қаралды 26 М.
디글 :Diggle
Рет қаралды 601 М.