AI 이미지 검색 엔진 만들기 - 벡터 데이터베이스 설명과 Chroma DB 튜토리얼

  Рет қаралды 24,060

빵형의 개발도상국

빵형의 개발도상국

Күн бұрын

💥빵형의 수학없이 뽀개는 인공지능 입문 강의
▶️신청링크 : bit.ly/3V1Jzmn
⭐️빵형의 차근차근 따라하는 수익형 웹서비스 강의
▶️신청링크 : bit.ly/3UZkB83
요즘 핫하다는 Vector Database에 대한 쉬운 설명과 예제로 이미지 검색 엔진을 만들어보겠습니다!
💻소스코드:
colab.research.google.com/dri...
Chapters:
00:00 Intro
00:40 벡터 데이터베이스 설명
08:46 이미지 검색 엔진 만들기 코드
16:00 한마디로 설명
17:17 항상 감사합니다!
📮사업 및 개발문의
kairess87@gmail.com
😘빵형의 개발도상국 후원
카카오페이 : qr.kakaopay.com/Ej86nqvdu
투네이션 : toon.at/donate/helloworld
링크 모음 : lnk.bio/kairess
#빵형 #벡터데이터베이스 #Chroma #크로마 #Vectordatabase #인공지능 #AI

Пікірлер: 42
@user-th4zn3de1d
@user-th4zn3de1d Жыл бұрын
몇달전에 벡터베이스 관련해서 찾아보았는데, 오늘 관련영상으로 떴네요. 참 유익한 영상입니다. 감사합니다
@user-dw5gt3bm2x
@user-dw5gt3bm2x Жыл бұрын
정말 궁금했던 내용이었는데.. 감사합니다. ^^
@alphaseekerr
@alphaseekerr Жыл бұрын
요즘에 관심이 있었던 부분인데 알려주셔서 감사합니다
@sw-ln1hh
@sw-ln1hh Жыл бұрын
저도 요즘 랭체인 따라해보면서 벡터 디비 정의가 모호했는데 감사합니다.
@EnsignerTV
@EnsignerTV 11 ай бұрын
와 정말 세세하게 리뷰해주셔서 감사합니다!!
@user-fc5kz1lk5m
@user-fc5kz1lk5m Жыл бұрын
빵형 또 해냈군요!
@bds1092
@bds1092 Жыл бұрын
좋은 영상 고맙습니다.
@user-rm1uo5wk2w
@user-rm1uo5wk2w 4 ай бұрын
2019년에 db 없이 직접 구현했는데 이게 나왔네요. Cos distance는 수학적으로는 다차원에서는 각도가 아니라 벡터에서 같은 성분 정도를 의미합니다.
@masteroffantasy
@masteroffantasy Жыл бұрын
유익했습니다
@LimPotato
@LimPotato Жыл бұрын
안녕하세요! 영상 잘 보고 있습니다😆 다름이 아니라 이전에 올리셨던 영상 중에 한가지를 따라해보고 있는 와중에 궁금한 점이 몇가지 생겨서 그런데 혹시 여쭤봐도 될까요…?
@aidoer
@aidoer 5 ай бұрын
enumrate의 i는 기본적으로 정수형 리턴이고 collection ids에 리스트는 문자형라 그렇네요ㅎㅎ 추가로 임베딩이후에 tolist로 보내야 db에 들어가는거 같아요. 강의하다가 발견했습니다!
@bayumartin8607
@bayumartin8607 Жыл бұрын
와.. 감사합니다
@user-vm2kq1fu1i
@user-vm2kq1fu1i Жыл бұрын
와 벡터 데이터베이스 재밌네요
@hayouongpark
@hayouongpark Жыл бұрын
정말 유익합니다.. 갓 빵형 DB진화 부분이 너무 와닿는 부분인데 혹시 참고할 자료나 논문같은게 있을까요?
@bbanghyong
@bbanghyong Жыл бұрын
한번 찾아볼게요! 댓글 감사해요!
@assethotorch2395
@assethotorch2395 Жыл бұрын
Chroma pinecone faiss 속도비교 중이였는데! 좋은 영상 감사합니당!
@bbanghyong
@bbanghyong Жыл бұрын
속도 비교 결과 어떻던가요?! 궁금궁금
@assethotorch2395
@assethotorch2395 Жыл бұрын
@@bbanghyong 답변이 늦어서 죄송합니다! 저는 langchain + openai 조합으로 활용했고 동일한 질의와 동일 document set 기준으로 체감상 Pinecone > chroma >>> faiss-cpu 였습니다. chroma 에서 7초인게 faiss-cpu는 40초 넘어가더라고요.. (여담이지만 chatpdf는 도대체 어떻게 만들었길래 그렇게 빠른건지 궁금해졌습니다..) 느낌상 일단 당분간 pinecone이 1대장인 것 같습니다만 더 다양한 vectordb가 여러 종류가 있는 것으로 알고 있어서 찾아봐야할 것 같습니다!! 좋은 영상 감사합니다!!
@dongyeong
@dongyeong Жыл бұрын
영상 너무 잘 보았습니다 혹시 발표 자료를 받을 수있을까요..?
@user-nd4sg4xc6p
@user-nd4sg4xc6p 6 ай бұрын
혹시 IDE에서 위 영상을 개발하는 영상이 따로 있을까요? 아니면 혹시 깃코드 라도 받아 볼 수 있을까요?
@hanshine_lee
@hanshine_lee 10 ай бұрын
유익한 영상 감사드립니다.! 혹시 LLM 모델과 벡터 데이터베이스를 연동하여, 챗봇으로 벡터 데이터베이스 결과를 조회하는 방법도 한번 영상으로 만들어주실수 있을까요?
@meguru420
@meguru420 Жыл бұрын
와 이 개념은 넘사벽이네요 ai개발자분들 다들 천재군요
@user-zg7xl1kd8g
@user-zg7xl1kd8g 11 ай бұрын
지구똑똑이들은 거의 ai에 매진해있으니 ㅋㅋ
@user-ul5vn6nc9k
@user-ul5vn6nc9k Ай бұрын
벡터화를 한다는게 임베딩이랑 동일한 의미일까요?
@heejuneAhn
@heejuneAhn 10 ай бұрын
기존에 XXX retrieval 이라고 하던 거랑 거의 차이 가 없네요. 가장 간단한 구현은 kd-tree 를 사용하는 것이죠.
@hobeom
@hobeom 4 ай бұрын
차원이 많이 커져도 kd-tree가 효율적인가요?
@u_luana.j
@u_luana.j Жыл бұрын
학교수업때 잠깐 배운거라 기억이 잘 안나서 그런데 쿼리할 때 O(n) 이면 문제가 되진 않나요?? 얼핏 봐서는 거리를 n개 다 비교하는 알고리즘 같아서요
@user-rm1uo5wk2w
@user-rm1uo5wk2w 4 ай бұрын
메트릭스 연산이 가능해서 gpu를 사용도 가능해서 기존 O(n)이 무색해지긴합니다. 이런 db 나오기전에 교수님등 설득 시키는 것이 힘들었습니다
@India_Love_Tube
@India_Love_Tube Жыл бұрын
선생님 궁금한게 있습니다! 사진 데이터베이스를 구글에서 어떠한 것을 검색할 때 나오는 이미지 데이터로는 못하나요?
@bbanghyong
@bbanghyong Жыл бұрын
크롤링으로 다운로드받고 다시 저장해서 해야할거에요
@hyuckpackers
@hyuckpackers 10 ай бұрын
혹시 그렇다면 별도의 추론 모델 없이 Kaggle 오픈데이터를 벡터디비로 변환 뒤에 추정하고자 하는 이미지를 벡터디비화해서 근접거리를 추정해서 이미지를 추론한다는 내용일까요?
@gren3637
@gren3637 21 сағат бұрын
정확히는 추론 돼 있는 모델을 사용하기 때문레 추론이 필요없는 거죠
@jal4796
@jal4796 Ай бұрын
query_result = collection.query( query_embeddings=[test_embedding], n_results=3, ) query_result InvalidDimensionException: Embedding dimension 384 does not match collection dimensionality 3 해당 오류 어떻게 해결할 수 있을까요?
@user-vg7jx7wp7b
@user-vg7jx7wp7b Жыл бұрын
크로마 db 는 무료인가요? api 를 써도...? pinecone 은 유료인것 같은데.. faiss 등 간단한 비교도 알려주시면 ㅜㅜ
@bbanghyong
@bbanghyong Жыл бұрын
Api는 유료일거에요 아마도.. 나중에 faiss도 준비해보겠습니다!!
@noel-min
@noel-min 11 ай бұрын
안녕하세요! 영상 잘 봤습니다. 기존에 검색엔진으로 자주사용하던 Elastic Search vector기반의 유사도 판단으로 ranking을 매기고, 검색결과를 return해주는걸로 알고있는데, Elastic Search와는 어떤 차이가 있을까요?
@Yacktalkun
@Yacktalkun 11 ай бұрын
구글db에 합성곱신경망이 있나보군요
@user-mm9vy3ny7e
@user-mm9vy3ny7e Жыл бұрын
저 실례가 안되시면 신경망 관련해 AI를 개발하고자 하는데 자문을 구하싶어 댓글을 남겨 봅니다 괜찮으시다면 댓글 남겨 주셨으면 합니다
@bbanghyong
@bbanghyong Жыл бұрын
kairess87@gmail.com 으로 문의주세요!
@mizik____
@mizik____ 11 ай бұрын
collection.add( embeddings=embeddings, metadatas=metadatas, ids=ids ) 이 부분에서 계속 에러가 나는데 왜 그러는 걸까요?? ㅜㅜ --------------------------------------------------------------------------- ValueError Traceback (most recent call last) in () ----> 1 collection.add( 2 embeddings=embeddings, 3 metadatas=metadatas, 4 ids=ids 5 ) 2 frames /usr/local/lib/python3.10/dist-packages/chromadb/api/types.py in validate_embeddings(embeddings) 282 ) 283 if not all([isinstance(e, list) for e in embeddings]): --> 284 raise ValueError( 285 f"Expected each embedding in the embeddings to be a list, got {embeddings}" 286 ) ValueError: Expected each embedding in the embeddings to be a list, got [array([ 7.8607005e-01, -8.9359832e-01, -3.2043481e-01, -9.9920589e-01, 이런식으로 뜹니다만...ㅜㅜ 아시는분 도와주시면 감사하겠습니다!!
@user-qm4jn7cd2r
@user-qm4jn7cd2r 11 ай бұрын
embeddings가 list안에 np.array로 되어 있기 때문입니다 embeddings = [embedding.tolist() for embedding in embeddings] 로 list 형태로 바꿔보시면 될거에요!
@mizik____
@mizik____ 11 ай бұрын
@@user-qm4jn7cd2r 감사합니다!! 해결했어요!!!!
How to run a private Chroma Vector Database locally in 5 mins!
16:07
Alpaca LoRA 파인튜닝 - 나만의 데이터로 학습시키기 Colab 가능
11:05
빵형의 개발도상국
Рет қаралды 33 М.
New Gadgets! Bycycle 4.0 🚲 #shorts
00:14
BongBee Family
Рет қаралды 19 МЛН
Please be kind🙏
00:34
ISSEI / いっせい
Рет қаралды 80 МЛН
Homemade Professional Spy Trick To Unlock A Phone 🔍
00:55
Crafty Champions
Рет қаралды 48 МЛН
I Made the Game The Exit 8 using Python
19:25
빵형의 개발도상국
Рет қаралды 23 М.
Vector Databases simply explained! (Embeddings & Indexes)
4:23
AssemblyAI
Рет қаралды 285 М.
OpenAI Embeddings and Vector Databases Crash Course
18:41
Adrian Twarog
Рет қаралды 399 М.
What is a Vector Database?
8:12
IBM Technology
Рет қаралды 52 М.
논문으로 검증된 26가지 프롬프트 엔지니어링 개꿀팁
30:59
Vector databases are so hot right now. WTF are they?
3:22
Fireship
Рет қаралды 944 М.
내 목소리 10분, 동화책 읽어주는 인공지능 만들기 - TTS
12:32
빵형의 개발도상국
Рет қаралды 7 М.
Ждёшь обновление IOS 18? #ios #ios18 #айоэс #apple #iphone #айфон
0:57
ВЫ ЧЕ СДЕЛАЛИ С iOS 18?
22:40
Overtake lab
Рет қаралды 129 М.
Apple watch hidden camera
0:34
_vector_
Рет қаралды 64 МЛН
Как работает автопилот на Lixiang L9 Max
0:34
Семен Ефимов
Рет қаралды 16 М.