2019년 전까진 생성형 인공지능의 패러다임이 seq2seq + attention layer 였는데, seq2seq 모델은 Encoder 층과 Decoder 층으로 이루어진 lstm입니다. 쉽게 말해서 번역이나 요약을 해주는 모델이라고 보시면 됩니다. 문제는 seq2seq모델은 문장이 길어지면 이해를 못한다는 점이었는데, 이에 전체 Input의 Embedding을 여러 수치로 압축해서 각 layer에 넣어주는 attention layer라는게 만들어져서 이게 또 seq2seq 모델의 성능을 비약적으로 상승시켜줍니다. 그런데 2019년에 구글에서 Attention is all you need 라는 논문을 발표하는데요, 여기에서는 아예 attention-layer 을 개조해서 전체 문맥을 보고 뒤에 나올 Embedding(단어)를 예측하는 self-attention-layer라는 것을 개발해서 그것만으로 전체 신경망을 구성합니다. 이에 bert, gpt-1 등 여러 모델들이 나오다가 2020년 gpt-3 모델이 나오면서 모델의 크기를 단순히 키우는 것 만으로 인공지능이 더 많은 상황에 대처할 수 있다는 사실이 밝혀졌죠. 그때 생각하면 아직도 가슴이 떨리네요. 요즘 트랜드는 모델의 크기가 너무 커져서 크기를 줄이고 최적화 하는 편이긴 합니다. 여기까지 오신 분들 제 부족한 식견 봐주셔서 너무 감사합니다.

좋은 부가정보 감사합니다 :)

@@gpt_rule_the_world상당한 이해수준을 가지신 분이라는 것이 경험적으로 느껴집니다. 많은 분들이 이 내용을 이해하진 못하시더라도 큰 틀을 잡으셨으면 긍정적이겠습니다👍

@@gpt_rule_the_world 좋은 설명 감사합니다 :)

@@gpt_rule_the_world 그러니깐 임베딩을 압축해서 파라미터 조정에 쓰고, 모델에 넣을 데이터의 크기가 다르다. 제가 잘 이해한게 맞나요? 사고력이나 논리력은 어떻게 구현하는지 궁금하네요. 연역적 추론이 가능하다는건지 단순히 계산만 가능하다는건지

Thanks again!

앗 참고하겠습니다~~

ㅇㅈ

저처럼 주의력이란 번역을 더 좋아하는 사람도 있답니다. 니꼬쌤 건강하세요!@@nomadcoders

시청해 주셔서 감사합니다 😊

그런 편협한 용도로 개발된 기술들은 아닙니다. 언어 모델은 기본적으로 다양한 언어 문제를 다룰 수 있게 하는게 목적이고, 디퓨전은 데이터를 특정 조건에 따라 생성하는 생성 모델을 만드는게 목적이죠. 오히려 목적에 맞게 잘 발달한 셈입니다.

미사일은 막고 있다네요~

전쟁! 절대 전쟁!

창의성은 모델 앞에 1-2개만 더 두면 됨. “야 확률말고 개소리 해봐. 그래도 말이 되는거로”, “이거 말 되는거나?” , “되면 문장으로 만들어”

지능을 수많은 데이터에 의한 통계 작업이라고 정의한다면 llm 개념에서 AGI까지 갈 수 도 있지 않을까요?

뉴럴넷이면 다 똑같죠.. 여전히 연금술임

ㄴㄴ transformer논문 맞아요 어텐션 메커니즘은 한참 전에 나왔어요

Attention is All You Need 논문은 Transformer 논문이 맞습니다! Transformer라는 개념또한 결국 필요한건 Attention메커니즘이다라는걸 재치있게 표현한 제목이라고 볼수있어요:D

😱?!

@@nomadcoders 인천 다녀오셨나요?🤔🤔🤔

정치병 환자

이정도면 지능적 민주당 안티 아님? 하나같이 개멍청한 소리만 하네 ㄷㄷ.