항상 좋은 영상 만들어주셔서 많은 도움 받고 있습니다 테디님 ㅎㅎ 저를 비롯하여 다른 구독자 분들을 위하여 Timestamp 생성해보았으니 참고하세요:) ⏰ Timestamp 00:00 파인튜닝 소개 00:07 오늘의 예제: 문서 기반 질의응답 모델 01:00 파인튜닝 프로세스 설명 01:25 문서 기반 질의응답 모델 생성 과정 02:00 데이터셋의 중요성 03:00 QA Pair 데이터셋 저장 방식: 로컬 & 허깅페이스 허브 03:35 모델 튜닝: 베이스 모델 + LoRA/QLoRA 어댑터 04:44 파인튜닝 완료된 모델 저장 & 변환 05:00 실제 파인튜닝된 모델 예시: TeddyNote 05:55 데이터셋 생성 코드 설명 07:17 JSONL 형식으로 데이터셋 저장 07:30 허깅페이스 데이터셋 라이브러리 활용 07:46 데이터셋 업로드 준비 08:20 토큰 발급 08:50 파인튜닝 코드 설명 09:20 언슬로스(Unsloth) 소개 10:10 베이스 모델 선택: 라마 3 Open Ko 8B 11:09 파인튜닝 실행 12:14 추론 실행 13:00 모델 저장 13:50 허깅페이스 허브에 업로드 14:00 GGUF 파일 형식 변환 15:20 LM Studio에서 모델 활용 16:00 테스트 질문 16:40 파인튜닝 실습 요약 17:00 파인튜닝 주의사항 17:30 마무리

정말 유익하고 좋은 영상 감사합니다.. 세상에는 고수분들이 정말 많은것 같아요.. 잘 배우고 갑니다!!

LoRA 막연히 부담스러운 작업일거라 생각했는데.. 와. 너무 좋은 강의 였습니다~

소중한 지식 공유 감사합니다

좋은 내용 공유해 주셔서 감사합니다.

강의 잘 들었습니다. 감사합니다.

한달동안 gguf 변환때문에 해맸는데.. 너무 감사합니다!!❤❤

aya를 ollama에 올려 보려고 구했던 gguf가 ollama에 올릴때 계속 오류가 나서 사용을 못해보고있었는데, 이 방법으로 직접 변경해봐야겠네요~~^^ 항상 감사합니다~:)

감사합니다 ^^

감사합니다.

안녕하세요! 영상을 보면서 궁금한 부분이 있어서 질문드립니다. 11:34 에서 instruction, output은 매핑은 하지만 input에 값을 넣을 경우에는 어떤 방식으로 진행해야 하나요? alphacaprompt에는 instruction, response 이렇게만 있는데 Context를 추가하는 방법으로 진행하나요..?

소중한 강의 감사 합니다. 이번 강의는 gpu vram이 얼마나 필요 하나요?

좋은 영상 감사합니다! 그런데 혹시 torch를 사용하시는 이유가 있으실까요? 초보적인 질문인 것 같긴 한데 다른 파인튜닝 영상들도 대부분 torch를 사용하는 것 같아서 질문드립니다.

좋은 영상 감사합니다 테디님. 한가지 질분이 있어 여쭤보려 댓글을 남깁니다. 혹시 베이스모델과 Lora 어댑터부분을 병합해서 저장한 1차 학습 모델을, 2차 학습시에 다시 베이스모델로 설정해 재학습시키는 것이 가능한지 여쭤보고 싶습니다. 현재는 2,000 문장 정도 되는 데이터를 500문장씩 끊어서 학습시키고 있지만, 기존 학습시킨 병합모델을 베이스모델로 새로 학습시킨 모델에서는, 이전에 학습시킨 문장들의 response가 동일하게 도출되지 않고있네요. 학습이 덮어쓰기 되는 것 같다는 느낌입니다. 혹시 지속적인 학습이 가능한 방식이 있다면 관련된 키워드를 여쭤보고 싶습니다.

안녕하세요. QA 데이터셋을 LLM 모델에 훈련시킬 때, 최종적으로 RAG모델에 활용하려고 합니다. 이 경우, input 키(인스트럭션 튜닝할 때..)으로 retriever가 검색한 문장들을 포함시키는 것이 맞을까요? 만약 입력에 retriever 문장이 포함되지 않으면, 모델이 답변 스타일만 학습하는 것으로 볼 수 있을까요?"

테디노트 영상들을 로컬로 실행하려면 어느정도 사양이 되어야 하나요?

실제 train할 때 loss는 디폴트로 어떤 loss 계산식인지 알 수 있나요?

16:07 부분에서 지금까지 학습및 베이스모델이 전부 라마3인데 프리셋을 알파카로 해야하는 이유가 무엇인가요?? 설명도 알파카로 사용하셔야 한다고 하시는데,.

안녕하세요 해당 모델을 ollama 에 올리기 위해서 사용해야할 Modelfile 은 어떤걸 참고하면 될까요?

안녕하세요! 항상 양질의 지식 감사합니다. 제가 flash-attn 설치에 애를 먹고 있는데 혹시 window 로컬에서 해당 개발 환경을 구축해보신 경험이 있으신가요?

RAG랑 파인 튜닝 중에 각각 어떤 상황에서 쓰는게 더 좋은 방향일까욤?

제가 가지고 있는 데이터셋에서 지문시퀀스 길이가 2000자정도로 최대 토큰길이가 4000자 정도 나오는데 여기 영상에서 나오는 것을 따라해도 괜찮을까요? 슬라이딩 윈도우나 longfomer모델 사용안하고 가능할지 여쭤봅니다 ㅠㅠ

테디노트님 항상 좋은 강의 감사합니다. 테디노트님 따라서 gguf 변환까지 잘 따라해보았습니다. 변환된 모델을 gguf로 ollama 에 올리려니까 template을 어떻게 해야 할지 모르겠더라구요. (llama3 공식 template으로 하니 잘 안되더라구요!) 혹시 gguf 변환된 파일을 ollama 에 올릴 때 template을 어떻게 하면 좋을지 아시는 분 계실까요?

데이터셋 생성시 instruction, input, output구조로 생성하시는데 input이 비어있네요 input의 역할은 뭘까요?

안녕하세요 해당 영상보면서 파인튜닝 공부중인데 질문이있어서 댓글 남깁니다. 원하는 데이터셋을 기반으로 베이스 모델과 병합하여 파인튜닝 모델을 생성하게 되면, 답변이 학습시킨 데이터에 많이 치우친 대답을 하게됩니다. 기존 베이스 모델로 테스트 해봤을때 정상적으로 하던 답변도 파인튜닝 후에는 제가 학습시킨 데이터와 관련된 대답만 하게됩니다.. 제가 기대했던 파인튜닝 결과물은 기존 베이스 모델이 가지고있던 데이터 + 일부 내가 학습시킨 데이터 인데, 제가 잘못이해하고 있었던건지 영상속 방법으로는 제가 학습시킨 데이터에 치우친 결과물만 낼 수 있는건지 .. 아니면 제가 파인튜닝을 잘못한건지.... 답변이 가능할까요...

테디노트님, 매번 감사합니다. 혹시, 문서 기반 QA 데이터셋이 잘 생성되었는지는 어떻게 평가할 수 있나요?

가지고 있는 문서에서 질문과 답변을 생성해 파인튜닝을 진행해 보려고 하는데 가지고 있는 문서의 언어 비율이 영어 70% 한국어 30%일 때라면 한국어로 파인튜닝된 모델을 사용하는 게 맞을까요?

안녕하세요 테디님 테디님 유튜브 영상 잘 보고 있습니다. 다름이 아니라 테디님 github에서 파인튜닝 하는 코드로 개인 커스텀 데이터셋을 파인튜닝했는데 결 학습시킨 데이터로 결과가 나오진 않는데...혹시 파인튜닝을 여러번 해야하는 걸까요?

갑자기 코랩에서 오류가 입니다. ㅠㅠ 모델 로드하는 소스에서 나기 시작하는데. 잘 되었는데. 왜 그럴까요 ㅠㅠ ImportError: Unsloth: If you are in Colab, we updated the top cell install instructions - please change it to below then press Disconnect Runtime and then Restart it.

맥에서 cuda가 아니더라도 mps로 pytorch 가 되던데 뭔가 파인튜닝에서 mps로 할려하면호환성문제인지 에러코드가 우수수 뜨던데 혹시 방법이 없나요? m4도 나오고 통합메모리라 32gb 모델쓰면 그래픽에서도 좋은성능 나올거같아서 휴대용 중에선 괜찮다 생각해서 맥으로 준비하고 있습니다

안녕하세요 지나가는 그냥 직장인입니다. 제가 비슷한 생각으로 Gpts를 만들고 회사 보고규정, 보고서샘플, 매뉴얼 등을 pdf로 업로드시키고 업로드된 파일에 근거해서 답변하라고 했는데 할루지네이션도 많고 보고양식에 맞지않게 대답할때도많고 출처를 물어보니 엉뚱한페이지를 대답하는경우도 있더라구요 그래서 포기하고있었는데 이 방식은 저같이 비개발자도 접근이가능할까요?

QA데이터를 만드는 과정에서 문서를 불러오는 부분은 어디에 있는건가요?? 그리고 elements가 어디에 정의돼있는지 모르겠어요 ㅠ

EEVE 대신 범이님꺼 쓰신 이유가 있으실까용?

A few comments in following the code. 1. an error with mismatch of peft version and unsloth, please give us the versions for the packages. ( I manually sloved the issues. No module named 'peft.tuners.lora.layer'; 'peft.tuners.lora' is not a package) (my system uses unsloth 2.0 and peft 0.5.0) 2. model name should be full path (model_name = "unsloth/llama-3-8b-bnb-4bit", not model_name="llama-3-8b-bnb-4bit")

다른 건 다 잘 되는데 (merge 한 후에 다시 로딩, gguf 파일 저장 후 ollma에서 사용 등은 잘됩니다.) , Lora adaptor 만 저장한 후에 다시 로딩하여 실행할 때 여러가지 문제가 생기는데 혹시 동작하는 코드를 공유해 줄 수 있을까요? 사용한 코드는 우선 저장은 로컬에 다음과 같이 하였구요. adaptor_model_path = "llama-3-8b-lora" peft_model.save_pretrained(adaptor_model_path) 이후에 다시 두가지 방식으로 로딩을 했습니다. 두 가지다 문제를 발생합니다. from peft import PeftConfig, PeftModel from transformers import AutoModelForCausalLM, AutoTokenizer if True: base_model = AutoModelForCausalLM.from_pretrained(base_model_name) # not working when generated peft_model = PeftModel.from_pretrained(base_model, adaptor_model_path) else: from peft import AutoPeftModelForCausalLM peft_model = AutoPeftModelForCausalLM.from_pretrained(adaptor_model_path, load_in_4bit=True) # 4bit needed for GPU VRAM 그리고 나서 제공한 코드를 함수화 하여 테스트 합니다. test(alpaca_prompt, peft_model, tokenizer)그 이 두 가지 경우 모두 다음 에러가 발생하고 auto-gptq 는 0.4.2 로 업데이트 했구요 결과는 마찬가지 입니다. File "/home/gpt/anaconda3/envs/text2sql/lib/python3.11/site-packages/unsloth/models/llama.py", line 309, in LlamaAttention_fast_forward Q, K, V = self.apply_qkv(self, hidden_states) ^^^^^^^^^^^^^^ File "/home/gpt/anaconda3/envs/text2sql/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1695, in __getattr__ raise AttributeError(f"'{type(self).__name__}' object has no attribute '{name}'") AttributeError: 'LlamaSdpaAttention' object has no attribute 'apply_qkv' ''' 좀 특이한 점은 첫번째 방법의 경우 base_model을 이전에 로딩했던 것을 그대로 사용하면 동작을 하는데. 이게건 사실상 사용할 수없는 시나리오기 때문에 의미가 없구요. 동일하게 다시 로딩을 해봐도 문제가 발생하는 것을 보면 peft_model = FastLanguageModel.get_peft_model 를 하면서 모델에 base model 자체에/에도 변화를 주는 것으로 보이는데. 이건 소스코드를 봐야 알 것 같네요.

안녕하세요 영상보며 따라하고 있는데 ImportError Traceback (most recent call last) Cell In[11], line 1 ----> 1 from unsloth import FastLanguageModel 부분에서 계속 에러가 발생합니다 unsloth 설치가 안되는거 같은데 cuda: 12.1 python: 3.9.0 torch: 2.2.0+cu121 사용 환경에서 unsloth를 어떻게 설치해야 하나요?

Colab에서 파인튜닝 중에 모델 훈련하기 > SFTTrainer 사용 구간에서 아래에러가 발생하는데 원인과 해결방법 알 수 있을까요..ㅠㅠ -> NotImplementedError: Cannot copy out of meta tensor; no data! Please use torch.nn.Module.to_empty() instead of torch.nn.Module.to() when moving module from meta to a different device.

gpt에서 생성 후 qa_pair 리스트에 담는 과정에서 생성되는 질문 3개를 전부 담는게 아니라 최초1개만 담는 문제가 발생하네요..ㅠㅠ gpt가 생성할 때에는 문제 3개를 생성하는걸 프린트로 보여주는데 실제 저장이 되지 않는 이유가 있을까요?? 그대로 따라 했는데 ㅠㅠ

많은 도움을 받고 있습니다. 좋은 영상 감사합니다. 올려주신 소스 코드 실행 중 에러가 발생하는데 해결책에 조언을 구합니다. 파인튜닝 코드 실행 중 trainer_stats = trainer.train() 에서 나는 에러입니다. Unsloth: Untrained tokens found, but embed_tokens & lm_head not trainable, causing NaNs. 실행환경은 Colab pro. GPU는 L4 할당받아 실행해 보았습니다. 도움 부탁 드립니다.