ChatGPT보다 성능이 더 뛰어나다? _ 메타의 언어모델, LLaMA 라마 코드분석
Рет қаралды 43,913
Күн бұрын🔥 ChatGPT보다 뛰어나다는 메타의 "LLaMA" 코드분석🔥
(Large Language Model Meta AI)
00:00 페이스북의 LLaMa 모델 크기 65B
03:50 LLaMa 코드 리뷰
14:23 Tokenizer 코드 리뷰
15:53 Transformer코드 리뷰
18:19 GPT 아키텍쳐 구조
LLaMa Links
llama origin
github.com/facebookresearch/l...
llama-hf (float16 비트 경량화 모델)
github.com/ypeleg/llama
llama-int8 (int8 비트 경량화 모델)
github.com/tloen/llama-int8
llama-dl (체크포인트 다운로드)
github.com/shawwn/llama-dl
chatllama
github.com/juncongmoo/chatllama
OPT
github.com/facebookresearch/m...
Transformer-RL
huggingface.co/blog/trl-peft
[ChatGPT를 위한 자연어처리] Zoom 실시간 강의
총 35차시 중 29차시
2023.03.11
#LLaMA #라마
@quitryne Жыл бұрын
openAI API 로 제품 개발중인데 기술담당이 어제 이거 이야기 하더라구요. 자세히 설명해 주셔서 감사합니다.
@aiacademy131 Жыл бұрын
최근에 GPT 계열 모델들이 오픈소스로 많이 풀리고 있고, 모델 경량화 기술들이 빠르게 발전하고 있어서 한번쯤 기술검토는 해 보면 좋을것 같어요 ^^
@user-kz3yo8it6s Жыл бұрын
아직은 상용화는 불가 한다고 하는데 많은 개발자들이 반대하고 상용화 허용하라고 애기하고 있어요
@aiacademy131 11 ай бұрын
언어모델교육 전문 브랜드 ExLM, 오픈특가로 공개! "언어모델 실용강의"는 이론부터 실질적인 구현까지, 그리고 최신 언어모델 기술 트렌드에 이르기까지 전반적인 내용을 아우르며, 귀하의 언어모델 활용 능력을 한 단계 업그레이드 시켜줄 것입니다. 이 강의를 통해, 실제 언어모델 문제에 직면했을 때, 효율적으로 해결책을 제시할 수 있는 실력을 키울 수 있게 됩니다. 언어모델의 전문성을 갖춘 탁월한 AI 언어모델 엔지니어로 나아가는 길, '언어모델 실용강의'가 그 첫걸음이 될 것입니다. 자세히 보기: exlm.kr/course-details?id=23
@hojunkim8482 Жыл бұрын
오오 나온지 따끈따끈한 정보네요. 혹시 LLaMA를 이용해서 Chatbot 만드는 영상 만들어주실 수 있을까요?
@aiacademy131 Жыл бұрын
고려해 보도록 할게요~ 좋아요~ 구독 눌러두세요 ^^b
@아라리카 Жыл бұрын
기대합니다 ❤
@아라리카 Жыл бұрын
라마 파인튜닝과 gpt3 파인튜닝 중 어느것을 추천하시나요
@aiacademy131 Жыл бұрын
둘다 GPT 베이스라 큰 차이가 있나 싶은데요. 한켠으로는, LLaMA 는 오픈소스로 코드를 공개하였고, 추가로 다양한 오픈소스들이(llama.cpp, aplaca-lora) 연이어서 나오고 있어서 다양한 시도가 가능합니다. 이런 이유로 LLaMA 를 추천드립니다.
@humanetool Жыл бұрын
@@aiacademy131 gpt3 파인튜닝은 쿼리당 비용이 너무 비싸서 고민이고 LLaMA는 Apache2로 라이센스가 바뀔지 아직 알 수 없어 고려하지 못하고 있습니다. 파인튜닝을 사업 목적으로 하려면 넘어야 할 산이 좀 있는 것 같습니다.
@user-iy6qs9xt6c Жыл бұрын
영상 내 말씀하시는 맥락 상 해당 영상은 특정 강좌에서 파트를 끊어 주신거 같은데 혹시 전체 커리큘럼이 들어있는 강좌가 있으실까요??
@aiacademy131 Жыл бұрын
실제 강의 영상을 일부 편집해서 올린 내용이에요. 이후에 강의 진행할때 VOD 제작을 고려중인데 올리게되면 알려드리도록 할게요. 관심 감사합니다. ^^
@user-ys2tc4mo4l Жыл бұрын
그럼 제가 집에 가지고 있는 gpu서버에 해당 모델 다운받아서 챗봇 구현도 가능한가요??
@aiacademy131 Жыл бұрын
alpaca-lora 를 활용하면 콜랩에서도 LLaMA 7B사이즈의 모델을 파인튜닝 할수 있어요~
@be.ttubee Жыл бұрын
참 나 이거 소스코드 다 유출되서 지금 전세계 엔지니어들이 다 자기 컴터에 깔아보고 난리자나.
@fourdiza Жыл бұрын
알파카로 깔아서 써보니까 괜찮더라구요. 한국어가 안 돼서 아쉬울 뿐
@bnmy6581i Жыл бұрын
유출 ㄴㄴ 공개 해줬어요 다만 pretrained model에 유출된거지
@cosmic_view Жыл бұрын
샤마 ㅡ
조코딩 JoCoding
Рет қаралды 41 М.
Kirill Multitool
Рет қаралды 65 МЛН
한국인공지능아카데미
Рет қаралды 10 М.
한국인공지능아카데미
Рет қаралды 22 М.
3Blue1Brown
Рет қаралды 2,7 МЛН