이지쌤 챗봇 (with ChatGPT)
0:37
deepbot
0:39
5 жыл бұрын
Пікірлер
@user-vl4ms5ud2v
@user-vl4ms5ud2v 2 ай бұрын
이걸 하려면 파이썬을 알아야 되겟네요... 아직 자바 밖에 모르는데 어렵네요
@user-id6ou7ij6z
@user-id6ou7ij6z 4 ай бұрын
혹시 만들고 어떻게 사용하는지 알 수 있을까요?, 타 html 검색엔진으로 사용할려 하는디..
@minsuksung
@minsuksung 5 ай бұрын
감사합니다. 항상 많은 도움 받고 있습니다.
@Amolang991
@Amolang991 8 ай бұрын
데이터셋을 만들고 싶은데 그 데이터셋의 포맷은 어떻게 볼 수 있나요:?
@user-kh4tm9ed4p
@user-kh4tm9ed4p 9 ай бұрын
혹시 강의 내용에 대해 질문드리고 싶은데 어디에 여쭤볼 수 있을까요? 여기에 물어봐도 괜찮을까요?
@aiacademy131
@aiacademy131 8 ай бұрын
이메일로 질문 주시면 됩니다~
@user-zr1ex8hq6c
@user-zr1ex8hq6c 10 ай бұрын
5:50 그 많은 양의 데이타의 사전학습이 가능했던게 바로 트래스포머 덕분 아닌가요?
@jay_jang5604
@jay_jang5604 11 ай бұрын
내용 감사합니다!! 한가지 궁금한점이 생겼는데 Fine Tuning의 경우에는 A100 하나 기준 epoch당 대략 1시간이 걸린다고 들었습니다. 같은 경우 추론시 내장 GPU가 어느정도 되어야 하는지 알 수 있을까요? A100 하나정도면 추론에 40초정도가 걸리는게 맞을까요?
@aiacademy131
@aiacademy131 11 ай бұрын
모델의 크기, 학습하려는 데이터의 크기 등에 따라서 케바케입니다. ^^
@user-kh4tm9ed4p
@user-kh4tm9ed4p 11 ай бұрын
결제 화면에서는 이용기간: 3개월 이렇게 나오는데 6개월 이용이 맞나요?
@aiacademy131
@aiacademy131 11 ай бұрын
6개월이 맞습니다. 해당 내용 수정해놨습니다. 질문 감사합니다.
@SW-vc9jm
@SW-vc9jm 11 ай бұрын
13B를 학습시키려면 어느정도 GPU 용량이 필요한가요?
@user-nh5yn9wc8m
@user-nh5yn9wc8m 11 ай бұрын
강의를 6개월간 볼 수 있다고 안내가 나와있더라구요!! 혹시 강의 보는거 중간에 킵 할 수 있나요? 몇개월 정도 멈출 수 있는지 궁금해요 제가 지금은 앱 개발 공부중이어서요!
@aiacademy131
@aiacademy131 11 ай бұрын
강의 신청 이후 중간에 킵하는 기능은 아직 고려하지 않고 있어요~ 6개월이면 공부하기에는 충분할수 있긴한데요. 추후 공부 시작할때 신청하시면 좋을것 같아요~
@AI-DJ
@AI-DJ 11 ай бұрын
*map은 무슨 의미인가요??? trainer.py에서요
@AI-DJ
@AI-DJ 11 ай бұрын
파이썬의 -> 표시는 뭘 의미하나요 ???
@aiacademy131
@aiacademy131 11 ай бұрын
함수의 return 타입을 지정해 주는 용법이에요 ^^
@AI-DJ
@AI-DJ 11 ай бұрын
감사합니다 @@aiacademy131
@kyuwanchoi
@kyuwanchoi 11 ай бұрын
지금 여기서는 wikipedia 문서를 가지고 pre-training 하는것을 보여주신 건가요? Fine-tuning의 경우에는 Q and A가 필요할 것 같은데, Fine-tuning의 경우도 보여주세요.
@aiacademy131
@aiacademy131 11 ай бұрын
Llama2 모델을 가지고 파인튜닝하는 내용도 기회되면 다루도록 할게요~
@aiacademy131
@aiacademy131 11 ай бұрын
언어모델교육 전문 브랜드 ExLM, <언어모델 실용강의 VOD> 오픈특가로 공개! "언어모델 실용강의"는 이론부터 실질적인 구현까지, 그리고 최신 언어모델 기술 트렌드에 이르기까지 전반적인 내용을 아우르며, 귀하의 언어모델 활용 능력을 한 단계 업그레이드 시켜줄 것입니다. 이 강의를 통해, 실제 언어모델 문제에 직면했을 때, 효율적으로 해결책을 제시할 수 있는 실력을 키울 수 있게 됩니다. 언어모델의 전문성을 갖춘 탁월한 AI 언어모델 엔지니어로 나아가는 길, '언어모델 실용강의'가 그 첫걸음이 될 것입니다. 자세히 보기: exlm.kr/course-details?id=23
@aiacademy131
@aiacademy131 11 ай бұрын
언어모델교육 전문 브랜드 ExLM, <언어모델 실용강의 VOD> 오픈특가로 공개! "언어모델 실용강의"는 이론부터 실질적인 구현까지, 그리고 최신 언어모델 기술 트렌드에 이르기까지 전반적인 내용을 아우르며, 귀하의 언어모델 활용 능력을 한 단계 업그레이드 시켜줄 것입니다. 이 강의를 통해, 실제 언어모델 문제에 직면했을 때, 효율적으로 해결책을 제시할 수 있는 실력을 키울 수 있게 됩니다. 언어모델의 전문성을 갖춘 탁월한 AI 언어모델 엔지니어로 나아가는 길, '언어모델 실용강의'가 그 첫걸음이 될 것입니다. 자세히 보기: exlm.kr/course-details?id=23
@aiacademy131
@aiacademy131 11 ай бұрын
언어모델교육 전문 브랜드 ExLM, <언어모델 실용강의 VOD> 오픈특가로 공개! "언어모델 실용강의"는 이론부터 실질적인 구현까지, 그리고 최신 언어모델 기술 트렌드에 이르기까지 전반적인 내용을 아우르며, 귀하의 언어모델 활용 능력을 한 단계 업그레이드 시켜줄 것입니다. 이 강의를 통해, 실제 언어모델 문제에 직면했을 때, 효율적으로 해결책을 제시할 수 있는 실력을 키울 수 있게 됩니다. 언어모델의 전문성을 갖춘 탁월한 AI 언어모델 엔지니어로 나아가는 길, '언어모델 실용강의'가 그 첫걸음이 될 것입니다. 자세히 보기: exlm.kr/course-details?id=23
@aiacademy131
@aiacademy131 11 ай бұрын
언어모델교육 전문 브랜드 ExLM, <언어모델 실용강의 VOD> 오픈특가로 공개! "언어모델 실용강의"는 이론부터 실질적인 구현까지, 그리고 최신 언어모델 기술 트렌드에 이르기까지 전반적인 내용을 아우르며, 귀하의 언어모델 활용 능력을 한 단계 업그레이드 시켜줄 것입니다. 이 강의를 통해, 실제 언어모델 문제에 직면했을 때, 효율적으로 해결책을 제시할 수 있는 실력을 키울 수 있게 됩니다. 언어모델의 전문성을 갖춘 탁월한 AI 언어모델 엔지니어로 나아가는 길, '언어모델 실용강의'가 그 첫걸음이 될 것입니다. 자세히 보기: exlm.kr/course-details?id=23
@aiacademy131
@aiacademy131 11 ай бұрын
언어모델교육 전문 브랜드 ExLM, <언어모델 실용강의 VOD> 오픈특가로 공개! "언어모델 실용강의"는 이론부터 실질적인 구현까지, 그리고 최신 언어모델 기술 트렌드에 이르기까지 전반적인 내용을 아우르며, 귀하의 언어모델 활용 능력을 한 단계 업그레이드 시켜줄 것입니다. 이 강의를 통해, 실제 언어모델 문제에 직면했을 때, 효율적으로 해결책을 제시할 수 있는 실력을 키울 수 있게 됩니다. 언어모델의 전문성을 갖춘 탁월한 AI 언어모델 엔지니어로 나아가는 길, '언어모델 실용강의'가 그 첫걸음이 될 것입니다. 자세히 보기: exlm.kr/course-details?id=23
@aiacademy131
@aiacademy131 11 ай бұрын
언어모델교육 전문 브랜드 ExLM, <언어모델 실용강의 VOD> 오픈특가로 공개! "언어모델 실용강의"는 이론부터 실질적인 구현까지, 그리고 최신 언어모델 기술 트렌드에 이르기까지 전반적인 내용을 아우르며, 귀하의 언어모델 활용 능력을 한 단계 업그레이드 시켜줄 것입니다. 이 강의를 통해, 실제 언어모델 문제에 직면했을 때, 효율적으로 해결책을 제시할 수 있는 실력을 키울 수 있게 됩니다. 언어모델의 전문성을 갖춘 탁월한 AI 언어모델 엔지니어로 나아가는 길, '언어모델 실용강의'가 그 첫걸음이 될 것입니다. 자세히 보기: exlm.kr/course-details?id=23
@aiacademy131
@aiacademy131 11 ай бұрын
언어모델교육 전문 브랜드 ExLM, <언어모델 실용강의 VOD> 오픈특가로 공개! "언어모델 실용강의"는 이론부터 실질적인 구현까지, 그리고 최신 언어모델 기술 트렌드에 이르기까지 전반적인 내용을 아우르며, 귀하의 언어모델 활용 능력을 한 단계 업그레이드 시켜줄 것입니다. 이 강의를 통해, 실제 언어모델 문제에 직면했을 때, 효율적으로 해결책을 제시할 수 있는 실력을 키울 수 있게 됩니다. 언어모델의 전문성을 갖춘 탁월한 AI 언어모델 엔지니어로 나아가는 길, '언어모델 실용강의'가 그 첫걸음이 될 것입니다. 자세히 보기: exlm.kr/course-details?id=23
@aiacademy131
@aiacademy131 11 ай бұрын
언어모델교육 전문 브랜드 ExLM, <언어모델 실용강의 VOD> 오픈특가로 공개! "언어모델 실용강의"는 이론부터 실질적인 구현까지, 그리고 최신 언어모델 기술 트렌드에 이르기까지 전반적인 내용을 아우르며, 귀하의 언어모델 활용 능력을 한 단계 업그레이드 시켜줄 것입니다. 이 강의를 통해, 실제 언어모델 문제에 직면했을 때, 효율적으로 해결책을 제시할 수 있는 실력을 키울 수 있게 됩니다. 언어모델의 전문성을 갖춘 탁월한 AI 언어모델 엔지니어로 나아가는 길, '언어모델 실용강의'가 그 첫걸음이 될 것입니다. 자세히 보기: exlm.kr/course-details?id=23
@aiacademy131
@aiacademy131 11 ай бұрын
언어모델교육 전문 브랜드 ExLM, <언어모델 실용강의 VOD> 오픈특가로 공개! "언어모델 실용강의"는 이론부터 실질적인 구현까지, 그리고 최신 언어모델 기술 트렌드에 이르기까지 전반적인 내용을 아우르며, 귀하의 언어모델 활용 능력을 한 단계 업그레이드 시켜줄 것입니다. 이 강의를 통해, 실제 언어모델 문제에 직면했을 때, 효율적으로 해결책을 제시할 수 있는 실력을 키울 수 있게 됩니다. 언어모델의 전문성을 갖춘 탁월한 AI 언어모델 엔지니어로 나아가는 길, '언어모델 실용강의'가 그 첫걸음이 될 것입니다. 자세히 보기: exlm.kr/course-details?id=23
@aiacademy131
@aiacademy131 11 ай бұрын
언어모델교육 전문 브랜드 ExLM, <언어모델 실용강의 VOD> 오픈특가로 공개! "언어모델 실용강의"는 이론부터 실질적인 구현까지, 그리고 최신 언어모델 기술 트렌드에 이르기까지 전반적인 내용을 아우르며, 귀하의 언어모델 활용 능력을 한 단계 업그레이드 시켜줄 것입니다. 이 강의를 통해, 실제 언어모델 문제에 직면했을 때, 효율적으로 해결책을 제시할 수 있는 실력을 키울 수 있게 됩니다. 언어모델의 전문성을 갖춘 탁월한 AI 언어모델 엔지니어로 나아가는 길, '언어모델 실용강의'가 그 첫걸음이 될 것입니다. 자세히 보기: exlm.kr/course-details?id=23
@aiacademy131
@aiacademy131 11 ай бұрын
언어모델교육 전문 브랜드 ExLM, <언어모델 실용강의 VOD> 오픈특가로 공개! "언어모델 실용강의"는 이론부터 실질적인 구현까지, 그리고 최신 언어모델 기술 트렌드에 이르기까지 전반적인 내용을 아우르며, 귀하의 언어모델 활용 능력을 한 단계 업그레이드 시켜줄 것입니다. 이 강의를 통해, 실제 언어모델 문제에 직면했을 때, 효율적으로 해결책을 제시할 수 있는 실력을 키울 수 있게 됩니다. 언어모델의 전문성을 갖춘 탁월한 AI 언어모델 엔지니어로 나아가는 길, '언어모델 실용강의'가 그 첫걸음이 될 것입니다. 자세히 보기: exlm.kr/course-details?id=23
@aiacademy131
@aiacademy131 11 ай бұрын
언어모델교육 전문 브랜드 ExLM, <언어모델 실용강의 VOD> 오픈특가로 공개! "언어모델 실용강의"는 이론부터 실질적인 구현까지, 그리고 최신 언어모델 기술 트렌드에 이르기까지 전반적인 내용을 아우르며, 귀하의 언어모델 활용 능력을 한 단계 업그레이드 시켜줄 것입니다. 이 강의를 통해, 실제 언어모델 문제에 직면했을 때, 효율적으로 해결책을 제시할 수 있는 실력을 키울 수 있게 됩니다. 언어모델의 전문성을 갖춘 탁월한 AI 언어모델 엔지니어로 나아가는 길, '언어모델 실용강의'가 그 첫걸음이 될 것입니다. 자세히 보기: exlm.kr/course-details?id=23
@cantoo97
@cantoo97 Жыл бұрын
수업 너무 잘 들었습니다 👍🏻👍🏻 10:47에서 파인튜닝 데이터로 사용하신 train_dataset은 어떤 형식으로 구성되어 있었는지 알 수 있을까요? 저희 대학원 보유 데이터로 파인튜닝을 해보고 싶어서요.!
@aiacademy131
@aiacademy131 11 ай бұрын
아래 링크 참고해주세요 ^^ huggingface.co/datasets/lcw99/wikipedia-korean-20221001
@kyuwanchoi
@kyuwanchoi Жыл бұрын
이번에 Fine-tuning 하시는데, 비용이 얼마나 드셨나요? Databrikcs의 Dolly 2의 경우에는 약 30불 정도 들었다고 하는데, 적은 비용으로도 Fine-tuning을 할 수 있는지 궁금합니다.
@aiacademy131
@aiacademy131 11 ай бұрын
가볍게 돌아가는지만 체크한거라 10달러 미만 사용했습니다. 파인튜닝은 크게 비용이 들지 않고도 가능하지만, 학습하려는 데이터가 많아지면 당연히 비용도 늘어나게 됩니다. ^^
@cantoo97
@cantoo97 Жыл бұрын
강의 너무 감사합니다.! 알파카나 라마에도 혹시 langchain처럼 pdf파일을 바로 읽어주고 학습하는 라이브러리가 있을까요? peft 파인튜닝도 어려워 보여서요 ^^;;
@aiacademy131
@aiacademy131 11 ай бұрын
langchain 의 경우 open LLM 의 경우도 사용가능합니다. 아래 링크 참고하시면 좋을듯해요 ^^ iamgeekydude.com/2023/06/02/alpaca-llm-load-model-using-langchain-hf/
@user-oy2fx8jj2n
@user-oy2fx8jj2n Жыл бұрын
옵티마이저로 paged_adamw_32bit 사용하셨던데 llama-2-recipes에 있는 quickstart.ipynb에서는 adamw_torch_fused 를 사용했더라구요. 혹시 어떤 차이점 때문에 paged_adamw_32bit 사용했는지 알 수 있을까요?
@aiacademy131
@aiacademy131 11 ай бұрын
이번 영상에서는 가볍게 돌아가는지 정도 체크한 용도라서 옵션을 디테일하게 검토하진 않았습니다 ^^
@kyuwanchoi
@kyuwanchoi Жыл бұрын
좋은 영상 정말로 감사드립니다. 저도 데이터셋을 만들어 보려고 하는데요. 혹시 wikipedia-korean-202221001을 어떻게 만드셨는지 궁금합니다. 영상을 한번 올려 주실 수 있으신지요?
@kyuwanchoi
@kyuwanchoi Жыл бұрын
아주 재미있는 데모 감사합니다. 저에게는 정말로 커다란 도움이 되었습니다. 혹시 pdf 파일을 사용해서 트레이닝 할 수도 있나요? pdf 파일을 어떻게 업로드 하여 트레이닝 할 수 있는지 궁금합니다.
@kyuwanchoi
@kyuwanchoi Жыл бұрын
논문과 같은 PDF 파일로 부터 hugging face의 dataset을 만드는 것이 가능한가요? PDF 파일로 부터 load_dataset을 사용하여 읽어오고 싶습니다. 아니면, PDF 파일의 경우에는 langchain을 사용해야 하나요?
@bug0513
@bug0513 Жыл бұрын
이해가 조금 부족하신듯 한데 차라리 ChatGPT를 활용할 수 있는 방법을 찾으시던가 하는데 어떨까 싶습니다.
@aiacademy131
@aiacademy131 11 ай бұрын
PDF 파일로 부터 말뭉치를 추출하여 excel 등의 파일로 저장한 후에 load_dataset 형태로 읽어올 수 있습니다. 기회되면 해당 주제도 다뤄보도록 할게요~
@user-ys2tc4mo4l
@user-ys2tc4mo4l Жыл бұрын
영상 감사 합니다 파인튜닝 코드는 공개 안될까요?
@user-sd4tp8rq9i
@user-sd4tp8rq9i Жыл бұрын
저도 궁금합니다
@aiacademy131
@aiacademy131 11 ай бұрын
가볍게 테스트한 버젼이라서 공개하기에는 애매하네요~ 나중에 별도로 영상을 준비하게 되면 코드도 같이 공개하도록 할게요 ^^
@user-mf7zi2tt5p
@user-mf7zi2tt5p Жыл бұрын
인류역사상 이렇게 빠르게 발전하는 분야가 또있었을까 ㅠㅠ
@user-mf7zi2tt5p
@user-mf7zi2tt5p Жыл бұрын
ㅠㅠ 인공지능 너무 빨라요 ㅠㅠ천천히좀 가
@BGS_BUDZZI
@BGS_BUDZZI Жыл бұрын
좋은 자료 감사합니다. 열심히 구독 중입니다. 앞으로도 많은 지식 공유 부탁드립니다!
@aiacademy131
@aiacademy131 Жыл бұрын
관심주셔서 감사드립니다.
@user-ku5zx5pe6i
@user-ku5zx5pe6i Жыл бұрын
인공지능 NLP 부캠 듣고있는데 정말 흐름이 빠르다고 느껴지네요 ㄷㄷ 몇달 전에 공개된 kullm도 데이터만 바꿔서 학습한걸로 알고 있는데, 양질의 데이터를 gpu 많으신 어느 분께서 학습시켜보시길 기다리겠습니다 ㅋㅋ
@aiacademy131
@aiacademy131 Жыл бұрын
저희도 같이 기다리겠습니다. ㅎㅎ
@user-oy2fx8jj2n
@user-oy2fx8jj2n Жыл бұрын
좋은 정보 감사합니다. 아쉬운 점 하나 있다면 자세히 듣고 싶은데 소리를 최대로 키워도 목소리가 작아서 잘 들리지 않아요ㅠ
@aiacademy131
@aiacademy131 Жыл бұрын
피드백 감사합니다!
@user-es9zc9kh8g
@user-es9zc9kh8g Жыл бұрын
와 유용한 지식 잘 얻고 갑니다. 감사합니다~!
@aiacademy131
@aiacademy131 Жыл бұрын
도움이 되셨다니 다행입니다.
@user-es9zc9kh8g
@user-es9zc9kh8g Жыл бұрын
​ @aiacademy131 다음과 같은 에러가 계속 뜨는데, 찾아봐도 잘 모르겠네요 ㅠ 혹시 아시는게 있다면 공유 부탁드립니다. RepositoryNotFoundError: 404 Client Error. Repository Not Found for url: xxx Please make sure you specified the correct `repo_id` and `repo_type`. If you are trying to access a private or gated repo, make sure you are authenticated.
@ZalylKim
@ZalylKim Жыл бұрын
llama2 3시간 가지고 놀아본 느낌으로는 그냥 딱 고만 고만 한 수준이네요. gpt3.5에 못비벼요. gpt4는 넘사벽이고...
@aiacademy131
@aiacademy131 Жыл бұрын
순수하게 공개된 언어모델만 가지고는 서비스에 가까운 ChatGPT와 비교하는기에는 어려움이 있고요. 이번에 공개된 Llama2 모델을 베이스로 해서 오픈 커뮤니티에서 또한번 다양한 모델들과 데이터세트의 조합을 통해 한번더 발전이 올것같네요. 거대언어모델 생태계에 바람직한 흐름이 생기리라 봅니다. ^^
@user-hp8ie4nm2l
@user-hp8ie4nm2l Жыл бұрын
@@Skinwalker-666 팩트말했더니 급발진 무엇ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 근데 LLAMA2 한국어도 구리긴하던데
@user-kb1bf6yh1c
@user-kb1bf6yh1c Жыл бұрын
그냥 수백억 기부한 건데 감사해야하는게 팩트임
@user-tw3yp9cw6u
@user-tw3yp9cw6u Жыл бұрын
일단 언어모델이 다름.. 라마를 통해 학습시키고 다시 rlhf랑 finetune을 통한 거대모델이 나오면 gpt3.5급이 나올순있죠 물론 chatgpt3.5 4가 시장을 지배하고있고 서비스대부분은 그걸이용하는건맞죠
@user-sd4tp8rq9i
@user-sd4tp8rq9i Жыл бұрын
공개해도 불만 안해도 불만
@woosunglee2676
@woosunglee2676 Жыл бұрын
정말 빠르십니다 무한 따봉 누르고 갑니다.
@aiacademy131
@aiacademy131 Жыл бұрын
칭찬 감사합니다!
@twincolorful
@twincolorful Жыл бұрын
미쿡의 레이블링은 상당히 고수준이로군요 ㅠ.ㅠ
@user-nh5yn9wc8m
@user-nh5yn9wc8m Жыл бұрын
12:58
@neverfok
@neverfok Жыл бұрын
항상 감사합니다
@mirae91
@mirae91 Жыл бұрын
좋은 GPT4All 영상 감사합니다
@aiacademy131
@aiacademy131 Жыл бұрын
감사합니다^^
@Dooby-ey7np
@Dooby-ey7np Жыл бұрын
안녕하세요, 좋은 영상 감사합니다. fine-tuning을 로컬에서 진행하려고 합니다. colab으로 했을 때는 오류가 안나오는데 꼭 로컬로 하면, trainer에서 오류가 나네요... 또한, 대부분의 영상이나 레퍼들이 colab을 기준으로 양자화 fine-tuning을 하는데... 이유가 따로 있나요?
@aiacademy131
@aiacademy131 11 ай бұрын
로컬 환경은 각자가 세팅한 환경에 영향을 많이 받아서, 교육 목적상 동일한 환경에서 전달하려는 지식에 집중하고자 colab 을 사용하고 있습니다~
@memehsforever
@memehsforever Жыл бұрын
훌륭한 강의 잘 듣고 있습니다. 너무 감사하게 생각하고 있습니다. 혹시 알파카 소스에 강사님께서 소스 주석 달은 코드를 얻을 수 없을까요? 차분히 다시 복습을 하고 싶어서요.
@aiacademy131
@aiacademy131 11 ай бұрын
검토해볼게요 ^^
@user-ze6fu9nx9s
@user-ze6fu9nx9s Жыл бұрын
선생님 안녕하세요,, 영상 잘 시청했습니다. 감사합니다. 혹시 질문 하나 드려도 괜찮을까요? 현재 저는 chatgpt를 활용하여 의학 국가고시의 성능을 높이는 연구를 해보려고 하는데요,, 혹시 이럴경우에, chat gpt에 국가고시에 알맞는 txt 데이터(시험과목의 이론서 txt 파일을 갖고있습니다.)를 학습시켜준뒤에, 이 성능을 테스트해서 학습전후의 성능차이를 비교해보려고하는데, 제가 그 의학서 데이터를 chat gpt에 학습시키는 과정에서 masked language model 을 이용해서 사전학습을 시키고 (마스크로 가린 완벽한 문장을 정답으로 넣고 불완전한 문장을 갖고 완벽한 정답 문장을 생성하는 것을 시켜서 지식을 추가하는방식입니다,,), 그리고 작년 국시 문제를 JSONL 파일형식으로 바꾼뒤에 finetuning 시켜서 성능을 개선시키려는 idea를 갖고있는데, 혹시 이게 전문가 선생님께서 보시기에 방법론적으로 적절할지 여쭤볼수 있을까요? 검색해보니 masked language model 은 bert에서만 학습이 되는것같기도해서,,, 제가 컴공이아니여서 질문드립니다 ㅠㅠㅠ
@gcback1
@gcback1 Жыл бұрын
별도 마스킹을 하지 마시고 책자의 txt들을 잘 정규화(지식에 불필요한 서식이나 헤더 등등)하여 가능한 {질문, 답변} 형태로 가공하여 주입하는 방법이 가능할 것 같습니다. 이때는 가능한 많이 많이 넣어주는게 중요하고요. 그 이후에 fine-tuning으로 좀 더 타깃팅해서 즉, 실제 국가고시의 기출문제 등으로 다시 학습시키는 절차로 하면 될 듯 합니다.
@loveyoumaxin
@loveyoumaxin Жыл бұрын
아니... 훈련 데이터를 훔쳐온거네요 ㅋㅋㅋㅋㅋㅋ
@justinkim6556
@justinkim6556 Жыл бұрын
네이버 하이퍼 클로바 X는 성능이나 수준이 어떨 것으로 예상되시나요?
@user-jd1xk9xs3b
@user-jd1xk9xs3b Жыл бұрын
내용이 간결하고, 정리가 잘 되어있어서 19분이 5분도 안되는 시간처럼 느껴졌습니다^^ 좋은정보 감사합니다!
@aiacademy131
@aiacademy131 Жыл бұрын
감사합니다^^