이해하기 쉽게 자동완성과 스프레드시트로 설명하였지만 이러한 llm의 뒤에는 매우 큰 인공신경망과 그로 이루어진 Self-attention-layer가 있다는 것을 생각하지 않으면 안됩니다. 그냥 인공지능이 자동완성 알고리즘으로 이루어져 있다면 이렇게 큰 각광을 받지 못했겠지요, 인공지능의 논리력과 사고력의 대부분은 인공신경망에서 나오고 이는 llm의 성능에 매우 큰 영향을 미칩니다.
@gpt_rule_the_world10 ай бұрын
2019년 전까진 생성형 인공지능의 패러다임이 seq2seq + attention layer 였는데, seq2seq 모델은 Encoder 층과 Decoder 층으로 이루어진 lstm입니다. 쉽게 말해서 번역이나 요약을 해주는 모델이라고 보시면 됩니다. 문제는 seq2seq모델은 문장이 길어지면 이해를 못한다는 점이었는데, 이에 전체 Input의 Embedding을 여러 수치로 압축해서 각 layer에 넣어주는 attention layer라는게 만들어져서 이게 또 seq2seq 모델의 성능을 비약적으로 상승시켜줍니다. 그런데 2019년에 구글에서 Attention is all you need 라는 논문을 발표하는데요, 여기에서는 아예 attention-layer 을 개조해서 전체 문맥을 보고 뒤에 나올 Embedding(단어)를 예측하는 self-attention-layer라는 것을 개발해서 그것만으로 전체 신경망을 구성합니다. 이에 bert, gpt-1 등 여러 모델들이 나오다가 2020년 gpt-3 모델이 나오면서 모델의 크기를 단순히 키우는 것 만으로 인공지능이 더 많은 상황에 대처할 수 있다는 사실이 밝혀졌죠. 그때 생각하면 아직도 가슴이 떨리네요. 요즘 트랜드는 모델의 크기가 너무 커져서 크기를 줄이고 최적화 하는 편이긴 합니다. 여기까지 오신 분들 제 부족한 식견 봐주셔서 너무 감사합니다.
@user-ug9qc2lm1s10 ай бұрын
좋은 부가정보 감사합니다 :)
@user-wo6yh8jp8m10 ай бұрын
@@gpt_rule_the_world상당한 이해수준을 가지신 분이라는 것이 경험적으로 느껴집니다. 많은 분들이 이 내용을 이해하진 못하시더라도 큰 틀을 잡으셨으면 긍정적이겠습니다👍
@taek979310 ай бұрын
@@gpt_rule_the_world 좋은 설명 감사합니다 :)
@goodandtak133110 ай бұрын
@@gpt_rule_the_world 그러니깐 임베딩을 압축해서 파라미터 조정에 쓰고, 모델에 넣을 데이터의 크기가 다르다. 제가 잘 이해한게 맞나요? 사고력이나 논리력은 어떻게 구현하는지 궁금하네요. 연역적 추론이 가능하다는건지 단순히 계산만 가능하다는건지
@cjlee61287 ай бұрын
LLM 이 하는 것 - 데이터 상에서 가장 많은 빈도를 찾아주기 (LOOKUP 함수) 온도 : 가중치를 반영한 랜덤 (차가운 머리 vs 따뜻한 심장 사이의 어딘가) 파인튜닝 : 출력교정 (글, 그림, 소리, 동작, 3D모델 등등 표현 가능한 모든 형식과 분야로 확장&진화중. . . ) 강화학습 : 라벨러(선생님)에 의한 현장교육, 실전학습
@yongjunkim79110 ай бұрын
오늘도 정말 유익하네요. GPT 3에서 4로 넘어갈때 조금 더 기계적인 느낌을 받았었는데, 이게 GPT4는 유료 구독한 개발자 등등의 활용을 염두에 두고 개발해서 Temperature 값을 낮춘것으로 개념적으로 이해할 수 있을것 같네요, 물론 이 뒤엔 정말 수많은 알고리즘이 있겠지만요 ㅎㅎ
@user-pq2vfgbq5j10 ай бұрын
항상 감사합니다
@user-bt9zl5vq9u10 ай бұрын
요즘 신기하게 관심 있는 주제만 골라서 영상으로 올라옴ㅋㅋ 잘 보고 있습니다
@user-ce2dh7lu8z10 ай бұрын
쉽고 좋은 설명이네여. 감사합니다
@Goldsmith3610 ай бұрын
Great as always!!! 😁
@nomadcoders10 ай бұрын
Thanks again!
@한보람10 ай бұрын
3:39 '주의력만 있으면 된다' -> '어텐션만 있으면 된다' 어텐션이 기술적 용어이므로 이 번역이 좀 더 자연스러운 것 같습니다.
@nomadcoders10 ай бұрын
앗 참고하겠습니다~~
@ylogicmachine681210 ай бұрын
ㅇㅈ
@hellonicetomeetu795110 ай бұрын
저처럼 주의력이란 번역을 더 좋아하는 사람도 있답니다. 니꼬쌤 건강하세요!@@nomadcoders
@user-iu9fn8ng7x9 ай бұрын
GPT 원리 이해하려면 한 1~2 시간은 집중해서 공부해야 할 줄 알았는데, 이 영상 하나로 이해가 됐어요 ㅎㅎ
@plot-ri4yz10 ай бұрын
제가 너무너무너무너무너무너무너무너무 원했던 주제의 영상입니다 🥹🥹🥹
@user-sp9ig1ly1o10 ай бұрын
선생님들 gpt로 공통점이 있는 정보들 한번에 끌어모으는 거 가능한가요? 정보수집을 잘하고 싶어요. 가능한것만 알면 공부해보겠습니다
@SEOULPIZZA3 ай бұрын
전혀 모르겠지만 똑똑해지는 기분이에요!
@77I77I_10 ай бұрын
쉽고 빠른 설명!👍
@nomadcoders10 ай бұрын
시청해 주셔서 감사합니다 😊
@user-fn9xn4gb9q10 ай бұрын
구글이 Transform 논문을 발표할 때, 이 정도로 큰 기술적 영향력을 미칠지 상상했을까..?
@user-ly6yc7sf7c10 ай бұрын
1년전에 트랜스포머와 gpt 2버전에 대해 배웠지만 3.0이 나오면서부터 모든게 급성장해버린..
@enoeht962910 ай бұрын
GPT와 스테이블 디퓨전이라는 가장 유명한 두 AI가 사실 원래 목적과 다르게 사용된다는게 좀 신기하죠. GPT는 원래 자동완성 AI였지만 대화형 AI로 사용중이고 스테이블 디퓨전은 원래 단순히 이미지 화질을 높이거나 모자이크를 제거하는 AI였지만 그림을 새로 그려내는 AI로 사용중이죠.
@ljh041210 ай бұрын
그런 편협한 용도로 개발된 기술들은 아닙니다. 언어 모델은 기본적으로 다양한 언어 문제를 다룰 수 있게 하는게 목적이고, 디퓨전은 데이터를 특정 조건에 따라 생성하는 생성 모델을 만드는게 목적이죠. 오히려 목적에 맞게 잘 발달한 셈입니다.
@user-sv7sl9hy2f10 ай бұрын
AI가 이번 전쟁 좀 막아줬으면...
@kaligula223510 ай бұрын
미사일은 막고 있다네요~
@user-ph2gm9jp1b10 ай бұрын
전쟁! 절대 전쟁!
@user-xj5fc7ye1x10 ай бұрын
오늘 길가다가 봤는데 혹시 나중에 마주치면 인사드려도 될까요?
@eoreumipnida10 ай бұрын
❤
@user-xw1ti5mp1m9 ай бұрын
수상할정도로 한국에 친숙한 외국인 코딩 아저씨 고마워요
@ssossoking10 ай бұрын
난 내가 배속을 켜놓을 줄 알았다.
@sudo364810 ай бұрын
엑셀시트까진 설명이 좋았는데 트랜스포머 설명할땐 점프가 많이 되어서 아쉽
@user-ndjissnwbsjs10 ай бұрын
제목을 인간이 생각하는 방법으로 바꿔도 이질감 모를거야 ㅋㅋ
@user-ndjissnwbsjs10 ай бұрын
창의성은 모델 앞에 1-2개만 더 두면 됨. “야 확률말고 개소리 해봐. 그래도 말이 되는거로”, “이거 말 되는거나?” , “되면 문장으로 만들어”
@user-yu3cq4ou1g6 ай бұрын
봐도 나만 이해안가나
@user-vx4bd1nj1i10 ай бұрын
오
@dingsu10 ай бұрын
llm의 컨셉 자체는 한 10년 전부터 나왔던 word2vec의 훈련 방식들하고 일맥상통하네요 아직까지 정말 '지능적인 인공지능'이라고 부를만한 인공지능은 없는듯.. 지능이라는걸 어떻게 정의해야할 모르겠지만..
@ffdalkins10 ай бұрын
지능을 수많은 데이터에 의한 통계 작업이라고 정의한다면 llm 개념에서 AGI까지 갈 수 도 있지 않을까요?
@sudo364810 ай бұрын
뉴럴넷이면 다 똑같죠.. 여전히 연금술임
@user-sj8uw5xc9b10 ай бұрын
'Attention Is All You Need' 는 어텐션 메커니즘의 논문이죠!
@bongleonel304810 ай бұрын
ㄴㄴ transformer논문 맞아요 어텐션 메커니즘은 한참 전에 나왔어요
@NewHakSang10 ай бұрын
Attention is All You Need 논문은 Transformer 논문이 맞습니다! Transformer라는 개념또한 결국 필요한건 Attention메커니즘이다라는걸 재치있게 표현한 제목이라고 볼수있어요:D
@bjh587810 ай бұрын
형을 열린음악회에서 본거같은데
@nomadcoders10 ай бұрын
😱?!
@bjh587810 ай бұрын
@@nomadcoders 인천 다녀오셨나요?🤔🤔🤔
@lrnngman294210 ай бұрын
한국정부가 cloudflare를 차단했다네요
@1Q8172510 ай бұрын
도대체 이번정권 들어와서 왜이렇게 잡음도 많고 지멋대로 하는게 많은지 모르겠는데.. 임기전에 뭔가 사단이 나도 날것같다. 에브리바디가 힘들고 혼란스러움