😎파인튜닝 fine-tuning 😎 내 데이터로 학습해보자 - 스탠포드 알파카 Stanford Alpaca 코드분석 (feat, LLaMa + GPT3.5 vs ChatGPT)

Рет қаралды 22,206

Жыл бұрын

😎파인튜닝 fine-tuning 😎 내 데이터로 학습해보자
스탠포드 알파카 Stanford Alpaca 파인튜닝 코드분석을 통해 나만의 ChatGPT 를 만들기 위한 기술을 배우는 시간입니다. 이번 영상에서는 학습 데이터를 만드는 팁을 얻으실 수 있습니다.
03:35 코드리뷰 시작
13:50 SupervisedDataset 클래스 살펴보기
18:20 데이터 전처리
stanford_alpaca
github.com/tatsu-lab/stanford...
alpaca-lora
github.com/tloen/alpaca-lora
LLaMA 소개영상
• ChatGPT보다 성능이 더 뛰어나다? ...

Пікірлер: 22

@minsuksung 5 ай бұрын

감사합니다. 항상 많은 도움 받고 있습니다.

@user-yv1me5uu8z Жыл бұрын

딱 필요했던 코드리뷰에요! 감사합니다 :)

@aiacademy131 Жыл бұрын

도움이 되셨다면~ 좋아요. 구독, 알람설정 해두세요~ ^^

@user-vl4ms5ud2v 2 ай бұрын

이걸 하려면 파이썬을 알아야 되겟네요... 아직 자바 밖에 모르는데 어렵네요

@lianmeikay7439 Жыл бұрын

고맙습니다 😊😊😊

@aiacademy131 Жыл бұрын

감사합니다. ^^

@qn1723 Жыл бұрын

현 시점 저에게 가장 필요한 영상이었습니다. 파인튜닝이 뭔지 감도 안잡혔던 상황이었는데, 코드리뷰 부터 설명까지 이렇게 자세하게 이해쉽게 해주시다니... 감사할 따름입니다. 앞으로도 좋은 영상 꼭꼭 만들어주세요 ㅠㅠㅠ 감사합니다~

@aiacademy131 Жыл бұрын

감사합니다.~^^

@hashmarjr Жыл бұрын

정말 감사합니다 여러 번 봐야겠어요 😊 질문 몇가지가 있습니다! 라마모델에 한국어 RLHF 러닝 -> 한국어instruct learning 하면 좋은 성능의 모델을 기대해볼 수 있다고 보면 될까요? 그리고 모델의 입출력 최대 토큰수를 더 늘릴 수도 있을까여??

@aiacademy131 Жыл бұрын

현재 공개된 다양한 논문 및 프로젝트를 보면 LLaMA 모델을 파인튜닝한 경우 좋은 성능을 보여주고 있어요. 한국어 데이터로도 학습이 가능하고 데이터의 품질에 따라서 성능이 좋아진다고 볼수 있을것 같네요 ^^

@user-hp6jo1qe9c Жыл бұрын

정말 좋은 영상 감사합니다. "양자화(quantization) 후 LoRA 를 붙이면 콜랩에서도 한국어 데이터로 학습하여 한국어 대화모델 구현 가능하다"라 하셨는데, 혹시 추가적인 정보를 얻을 수 있는 포스트가 있을까요??

@aiacademy131 Жыл бұрын

해당 내용은 alpaca-lora 를 참고해서 코드를 좀 수정해야 합니다. 조만간 영상을 찍어서 올릴 예정이에요. 좋아요, 구독, 알람신청 부탁드려요~ ^^ github.com/tloen/alpaca-lora

@icranHS Жыл бұрын

정말 필요한 영상입니다! ❤ 실질적으로 퀀트(주식) 트레이딩 같은 데이터를 학습시켜서 활용할 수도 있을까요? 혹시 관련해서 영상 만들어주시면 너무 재밌고 도움될 것 같습니다 :)

@memehsforever Жыл бұрын

훌륭한 강의 잘 듣고 있습니다. 너무 감사하게 생각하고 있습니다. 혹시 알파카 소스에 강사님께서 소스 주석 달은 코드를 얻을 수 없을까요? 차분히 다시 복습을 하고 싶어서요.

@aiacademy131 11 ай бұрын

검토해볼게요 ^^

@user-id6ou7ij6z 4 ай бұрын

혹시 만들고 어떻게 사용하는지 알 수 있을까요?, 타 html 검색엔진으로 사용할려 하는디..

@hasiclim4073 Жыл бұрын

'민들레는 미백 효과가 있다 .... ' : ' 미백' 과 같이 학습 데이터를 학습시켜서 해당 문장에 어떤 효능이 있는지, 어떤 소재가 그것을 가능하게 하는지 추론하는 모델을 만들 수 있을까요?

@aiacademy131 Жыл бұрын

해당 분야 도메인 데이터를 충분하다는 전제로, 말씀하신 기능을 추론하게 하는 모델은 이론적으로는 만들 수 있을것 같네요. ^^

@Dooby-ey7np Жыл бұрын

안녕하세요, 좋은 영상 감사합니다. fine-tuning을 로컬에서 진행하려고 합니다. colab으로 했을 때는 오류가 안나오는데 꼭 로컬로 하면, trainer에서 오류가 나네요... 또한, 대부분의 영상이나 레퍼들이 colab을 기준으로 양자화 fine-tuning을 하는데... 이유가 따로 있나요?

@aiacademy131 11 ай бұрын

로컬 환경은 각자가 세팅한 환경에 영향을 많이 받아서, 교육 목적상 동일한 환경에서 전달하려는 지식에 집중하고자 colab 을 사용하고 있습니다~