langchain
-
LangChain RAG Retriever 방법 정리 (Multi-Query, Parent Document, Ensemble Retriever, ... )AI/NLP 2024. 5. 15. 19:11
LangChain RAG Retriever 방법 정리 (Multi-Query, Parent Document, Ensemble Retriever, ... ) LLM이 뛰어날 수록 Document Parsing과 Retriever 단계가 중요하다 따라서, 지난 포스트 마지막에서 언급했던 Retriever API를 좀 더 살펴볼 것이다. Retriever 기법 1. Multi-Query : 대충 질문해도 좋은 답변 원할 때 2. Parent Document : 앞뒤 문맥 잘 담아야 할 때 3. Self Query : 시맨틱 검색 말고 쿼리가 필요할 때 4. Time-Weighted : 오래된 자료를 덜 참고하면 좋을 때5. Ensemble Retriever : 검색의 정확도 높일 때 6. Lon..
-
LangChain RAG 구현 모듈 정리 (Document Loaders, Text Splitters, Text Embeddings & VectorStores , Retrievers, ... )AI/NLP 2024. 5. 14. 22:14
LangChain RAG 구현 모듈 정리 (Document Loaders, Text Splitters, Text Embeddings & VectorStores , Retrievers, ... ) 과정 Document LoadersText Spiltters Text Embeddings & VectorStores Retrievers !pip install langchain pypdf unstructured pdf2image docx2txt pdfminer sentence-transformers chromadb # a class to create a question answering system based on information retrievalfrom langchain.chains impor..