저 번호 문장들을 백터 DB에 저장한 다음에 1번 문장 검색하면 검색이 잘 될까요?

해당 문제는 인간으로 비유히자면 암기와 이해의 차이가 아닐까 하는 생각이 문득 드네요. 인간의 학습은 암기 후 암기된 내용을 다시 재구성하면서 본인의 지식으로 체득하는데, 만약 동일한 현상이라고 가정한다면 Ai를 파인튜닝 과정에서 순차접근(sequential access)으로 학습된 내용을 점진적으로 키 값(주어 등 키워드)을 중심으로 요약하고 다시 확대하는 과정에서 다양한 접근 값을 가진다면 접근의 순차에 대한 가중치가 약해질 수 있지 않을까요? 혹시 이런 논문들에서 제기하는 문제들에 대하여 토론이 활발한 ai커뮤니티가 있을까요? 독학으로 배워가고 있어서 이런 저런 생각들을 이야기해보고 인사이트를 얻고 싶은데 이야기할 상대는 Gpt 밖에 없어서 좀 답답합니다ㅠ

인간의 직관의 영역을 LLM 이 못하는것과 같을수도?.

실물 데이터 10~20%만 넣어도 문제가 거의 사라지도록 개선되는건 안적는걸로봐서 하꼬의 이유가있다

제가 알기로는 영역추론 못할거라 생각하는데요. 물론 연구중에 연역적이 가능할지도 모른다는 연구 가능성에 대한 내용은 있는거 같지만요.

전체 영상은 8/7 수요일에 업로드 됩니다 🙂

중국어방 논증이 생각나네요.

좋은 영상 감사 합니다. 많은 도움이 되었습니다.

그래 이거야! ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ가려운 부분을 긁어주는 ㅋㅋㅋ 근데 알파고는 자기들끼리 데이터 만들고는 했다던데... 둘의 차이점을 알면 해결이 가능하지 않을까요?

이는 인지과학과 철학에서 중요한 문제입니다. 인공지능의 경우 환경과 상호작용하는 신체가 없기 때문에 모든 출력이 오로지 입력되는 데이터에 의존하게 됩니다. 결국 확률적으로 수렴하게 되죠. 이는 생성형 인공지능이 일정 수준 이상의 능력을 발휘하지 못하는 문제의 유력한 원인 후보입니다. 다만 테슬라 자동차와 옵티머스의 경우 환경과 상호작용할 수 있는 센서가 있습니다. 따라서 다양성과 창의성을 챗봇보다 더 높게 유지할 수 있을 것으로 기대합니다. 이미 LLM 학습에 필요한 데이터셋이 고갈될 것을 경고하는 수준에 이르렀습니다.(물론 석유가 그러하듯 학습 효율 향상과, 새로운 데이터셋 발굴 등으로 실제 고갈될 확률은 낮습니다만 그만큼 남은 데이터셋은 학습을 위해 사용하기에 순도가 떨어지거나, 고갈될 위험이 있다는 것이죠.) 이미 생성형 모델은 1950년대 철학계와 과학계에서 이론적으로 검토가 끝난 모델이며, 이론적 한계도 논리적으로는 확인된 상태입니다. 그래서 개인적으로는 또 다른 인공지능 모델이 혁신적인 돌파구가 되어 인공지능의 수준을 한단계 끌어올리지 않을까 기대합니다.

난 장기기억이 자구 사라짐, 다시 배움...

너무 흥미롭네요

커피 머신이 그리 좋아도 드립커피를 2배를 주고 마시고, 기계가 빵을 아무리 잘 만들어도 동네 수제 빵집은 많습니다. 기계와 Ai는 효율, 효과 극대화로 가지만 인간의 다양성 욕구는 AI가 이해를 못하기에 인간 수제 데이터 수요도 꾸준하긴 할겁니다. 다양성을 잃진 않을 겁니다. 매니아틱해지긴 하겠지만요.

창의적 답변은 정보의 유형이나 속성 자체는 비슷하면서도 두 정보의 지역성이나 거리자체는 떨어져 있어서, 떠올리기 힘든.. 그런 성질이 있는게 아닐까 싶습니다. 그게 잘 떠오르는 사람을 창의력이 높거나 비유를 잘하는사람이라고 일컬어지니까요. 사람도 랜덤한 메모리 접근이 취약한건 매한가지 같긴 합니다. 친구가 "너 그때 A한다음에 B했잖아~" 하고 인덱싱 된 기억A를 건드려줘야 B가 떠오르는 것처럼요. 3일전에 무슨일했어? 하면 아무것도 기억안나죠. 캘린더를 통해서 그날 아침에 무슨업무, 누구를 만났고를 통해서 차근차근 접근하는것처럼요

정말 중요한 논문이네요ㅎㅎㅎㅎ 어려운 부분도 쉽게 설명해주셔서 감사합니다! 다른 영상들도 기대하겠습니다!!

반달돌칼이 나를 여기로 끌고 왔다...

AI의 원리가 결국 인간이 만든 작업물을 합성해 출력하는 거라서 결국 인간이 데이터를 만들어주지 않으면 존재할 수가 없고, AI가 AI의 데이터를 따 온다면 당연히 결과물의 질은 떨어지겠죠. AI를 만드는 기업들도 바보는 아니라서 AI가 만든 작업물을 구분하는 기술을 속속 개발하고 있죠. 그 기술이 AI가 작업물을 생성하기 위해 데이터를 머신 러닝하는 과정에서 AI에 의해 생성된 데이터를 걸러줄 수만 있다면 저런 사태는 일어나지 않을지도 모르겠네요.

너무 재밌는 주제 가져와주셔서 잘 보고 있습니다 감사합니다ㅎㅎ 읽으시는 논문 선정 기준은 어떻게 되는지 알 수 있을까요?

비현실적인 가정에 기반한 결론으로 많은 비판을 받고 있는 논문입니다. ai의 결과물에 원래의 데이타를 10퍼센트 이상만 섞어줘도 모드붕괴는 일어나지 않습니다. 저 논문의 가정은 데이타셋이 더 늘어나지 않고 기존의 데이타는 전혀 쓰지 않는다는 억지 가정에 기반한 결과이지만 현실은 다르죠

Suno ai로 일주일동안 1000곡을 만들어 보니 어느순간 어디로 수렴 되는 느낌이긴해여

반년 전에 나온 떡밥 이제야 푸노

근친교배를 계속하는거랑 같죠 결국 멸종

와 이럴거 같다고 미뤄짐작은 했는데 진짜로 이런 논문이 나왔다니… 구독박고 갑니다!

그래서 지난 질문을 예로 들어줘야 대답이 제대로 나왔군...

어려운 내용인데, 이해하기 쉽게 설명해 주셔서 잘 배우고 갑니다.

도움이 많이 됩니다.

영상 잘봤습니다! 논문 링크가 더보기나 댓글에 있으면 더 좋겠네요 ㅎㅎ 감사합니다~

인간처럼 인공지능 신경망을 만든다고 했는데, LLM이 어떻게 정보에 접근하는지 관점은 처음이네요. 흥미로운 논문 소개 감사합니다. bumjini님은 인공지능을 공부를 어떤 방식으로 하시나요?? 예전에 누구한테 어떻게 논문에 있는 방식을 코드로 구현하냐고 물어본적 있습니다. 이럴때 paper with code를 보면 된다고 했는데, 어떻게 구현하는지 이해하는지 이해 못한적이 있어서요. 그리고 회소 인코딩 같이 제가 모르는 새로운 개념을 보면 항상 부족함을 느낍니다. 그런것을 잘 아는 사람들은 많은 노력을 했구나 라고 생각합니다. 이런 다양한 개념을 알기 위해서는 계속 공부하는 방법밖에 없나요?? 아니면 공부하는 것일지 궁금해서요.

생명은 창발하고 엔트로피는 늘어나는데 ai는 소멸해요?

시퀀셜한 데이터를 학습했으니 어찌보면 당연한 결과일지도요. 뇌과학에서도 옛날부터 비슷한 연구가 많은걸 보면 지능으로써 어찌보면 당연하게 가져야할 inductive bias라고 생각됩니다. Random access성능을 높여야 되는게 아니라 조절할수 있도록 해야되지 않을까요? 창의성이 필요한 Task에선 높이도록 말이죠. 심하게 높이면 ADHD 걸리게 만들수도 있겠군요 ㅋㅋ

영상 잘 봤습니다. gpt4o 사용하고 있는데, random access 성능이 좀 되는 거 같기는 한데 그래도 문맥과 함축성을 가득 담아서 짧게 입력하는 것보다 길게, 질문을 구체적으로 해서 입력해줄 때 확실히 제 성능을 발휘하더라고요. conlang grammar quiz를 낼 때도 순차적으로 단계를 밟으면서 rule application하도록 하면 정확하게 맞추는데, 맥락없이 A라는 어휘의 α 곡용은 뭐야? 라고 하면 제멋대로 다른 언어에서 참고해서 붙혀버리는 경우도 있었고요. 그래서 요즘에는 이 GPT의 성질을 경험적으로 이해해서 십분 활용하고 있습니다. Random access 성능을 향상시키더라도 구조적 한계로 그 향상의 상한은 있을 거 같아요.

좋은 영상 잘 봤습니다. 영상 말미처럼 최근에 AI-generated images를 보면 각각의 엔진(stable diffusion, midjourney, etc...)의 스타일로 업로더들이 정착해서 그대로 올리는 거 같더라고요. 또 개인적으로도 이미지를 NovelAI를 통해 생성하는데, 나름대로 다양해지도록 prompts를 넣고 시도해도 어느 정도의 bias가 있는 것 같다는 생각이 들었습니다.

그래도 대부분 사람보다 우수해요.

논문 제목: Beyond Memorization: The Challenge of Random Memory Access in Language Models 🔗 arxiv.org/abs/2403.07805 초기 컴퓨터(1940-1950년대)는 순차 접근 메모리를 사용했습니다. 이후에 임의 접근 메모리(Random Access Memory, RAM)가 발전되었습니다. GPT 모델이 컴퓨터와 같고 아직 RAM이 구현되지 않았다면, 메모리를 더 개선할 수 있다는 기대를 걸어봅니다.

Ai 알고리듬이 일원화되어서 모방을 하도록 설계되어있기 때문...ai시대는 아직 멀었다...

최근에 뉴스 봤는데, 구글에서 LLM 내부 해석 가능한 아키텍처 공개했다네요. 희소 오토인코더 방식이라고 하던데 이거 된다면 꼭 보고 싶어요. LLM 내부 탐색에 대해 궁금했거든요.

너무 재밌게 잘 봤습니다

근친교배랑 비슷한 느낌이네요.

새로운 AI 모델을 만들 때, AI로 만든걸 구분짓지 못하면 발생하는 최악의 시나리오를 학문적으로 제시한거 같음. 전에 말로만 경계하던 점이 직접 모델 만들어서 증명해보려 한게 유의미한듯

이건 llm의 문제인가요 한계인가요? 전자라면, 이것만 해결되면 엄청난 발전이 있겠네요.

결국 현재AI모델에 창의성을부여하는건 인간이네

Objective function에서 X_1 - X_0 term을 없애고 벡터장의 에너지만을 minimize한다면 dynamical formulation of Optimal Transport가 될텐데, optimal transport의 solution으로 나오는 vector field와 저 항을 추가한 solution의 vector field랑 어떻게 다르게 나오나요? 저 항의 효과가 직관적으로 이해가 잘 안 가네요.

근데 결국 인간이 생산한 데이터도 많은 시간을 거쳐서 인간사에서 선택된 데이터 아닐까요? 결국 서로의 생태계를 갖는 두 환경의 데이터가 하나로 융합되는 과정에서 하나만 살아남는 다는 거겠네요.

가설 자체는 당연하다고 생각되는데 그 분석과 논증의 설득력이 어마어마한 논문이네요! 사람도 닫힌 환경에서만 학습하고 세대가 이어진다면 동일한 문제가 발생할 겁니다. ai도 근원 정보 (우주)로부터 지식을 습득하는 경우에만 이 문제를 해결할 수 있겠네요!

이번 ML에 이런식의 논문이 많이 나왔더라구요 잘들었습니다!

오 ToM을 다뤄주시는 군요 이전에 제리 포더의 사람의 마음은 그렇게 움직이지 않는다 책으로 처음 ToM에 대해서 접했었는데 설명해주셔서 감사합니다.

양자화로 인한 손실 압축이지 않나 싶음

비록 논문을 쓰신분에 비하면 견줄만한 지식이 없지만 좁히면서 데이터를 잘 정돈 시키는것으로 프롬프트별 결과물의 다양성을 0으로 수렴 시키는게 먼저고 그 이후 창작은 다른 영역이라고 생각 됩니다. 예로 LoRA 를 사용하여 예측 불가능한 다양성을 줄이는 것 아닐까요?

원래 미리 말안해주려 했는데, 제가 내용이 뭔지 기억이 안 나서 제목에 내용이 써있다고 합니다.