[E-1] 10-Retriever / 10-Kiwi-BM25-Retriver #150

jeongkpa · 2025-01-05T17:43:27Z

{PR Message - Write freely, remove this bracket if unnecessary}

Author Checklist

[ x ] PR Title Format: I have confirmed that the PR title follows the correct format. (e.g., [N-2] 07-Text Splitter / 07-RecursiveCharacterTextSplitter)
[ x ] Committed Files: I have ensured that no unnecessary files (e.g., .bin, .gitignore, poetry.lock, pyproject.toml) are included. These files are not allowed.
[ x ] (Optional) Related Issue: If this PR is linked to an issue, I have referenced the issue number in the PR message. (e.g., Fixes Update 01-PromptTemplate.ipynb #123)
❌ Do not include unnecessary files (e.g., .bin, .gitignore, poetry.lock, pyproject.toml) or other people's code. If included, close the PR and create a new PR.

Review Template (Intial PR)

🖥️ OS: Win/Mac/Linux   
✅ Checklist      
 - [ ] **Template**: Tutorials follows the required template. 
 - [ ] **Table of Contents(TOC) Links**: All Table of Contents links work. ((Yes/No)
 - [ ] **Image**: Image filenames follow guidelines.
 - [ ] **Imports*: All import statements use the latest versions. Ensure "langchain-teddynote" is not used. 
 - [ ] **Code Execution**: Code runs without errors.
 - Comments: {Write freely, 한국어 기술 가능}

If no one reviews your PR within a few days, please @-mention one of teddylee777, musangk, BAEM1N

[E-1] 10-Retriever / 10-Kiwi-BM25-Retriver

ErikaPark

[Review Checklist]

Review OS: Mac
- Windows / Mac / Linux (해당 OS를 기재해주세요)
Template Rule 준수 여부:
- Template Rule 가이드를 준수하였는가? (Check 표기)
Table of Contents 링크 확인:
- Table of Contents의 링크가 원활하게 동작하는지 확인하였는가? (Check 표기)
최신 import 방식 사용 여부:
- import 구문이 예전 legacy 방식이 아닌 최신 버전을 따르는가? (Check 표기)
코드 동작 확인:
- 모든 코드가 오류 없이 동작하는가? (Check 표기)
제출 파일 확인:
- 꼭 필요한 파일들만 제출되었는가?
  - 튜토리얼 외 설정 파일이나 다른 분이 작업한 파일이 포함되었는지 Files Changed에서 확인 부탁드립니다. (Check 표기)
기타 의견:
- 패키지 명 등에 backtick 추가하고 빈 셀 삭제 등 진행하여 커밋하였습니다.
- from langchain.vectorstores import FAISS → from langchain_community.vectorstores import FAISS
- 마크다운 헤더 아래 설명 추가가 필요해 보입니다..! (간단하게라도 설명을 꼭 적어야 했던 것으로 기억해서요)

ErikaPark · 2025-01-08T14:06:34Z

@jeongkpa
아래는 제 개인적인 의견을 적어보았습니다..!
포맷과 패키지 부분이 수정되면 나머지 부분은 정기님이 판단해 수정 부탁드립니다.

내용 관련

01-qna-자유대화에서 테디님과 나눈 논의 내용을 확인했습니다. 테디님 추천을 반영해 kiwi를 활용해 한글 형태소 분석기 튜토리얼을 작성한 것으로 이해했습니다.
다만 예제 및 출력 결과에 한국어가 많아 이해가 어려울 수 있을 것 같다 생각이 듭니다.
- Overview에 패키지 특성 상 한국어 데이터를 사용할 것이라는 설명을 추가해 주세요. (ex. Since this tutorial covers Korean morphological analysis, the output primarily contains Korean text, reflecting the language structure being analyzed.)
- 예제와 출력이 한국어라도, 영문 번역을 함께 제공해 주시면 좋겠습니다. (Overview에 영문 번역 포함 여부 설명 추가)
한국어 토크나이제이션의 필요성을 강조해 주세요. 언어적 차이를 설명하는 예시를 제공하면 좋겠습니다.
- ex. 영어 "Hello"는 한국어로 안녕, 하, 세요로 분리됨.
  - Token(form='안녕', tag='NNG'), Token(form='하', tag='XSA'), Token(form='세요', tag='EF')
- 주요 차이점:
  - 한국어는 어근과 어미를 나누어 분석.
  - 영어는 단어 수준에서 토큰화.
Kiwi의 품사 태깅이 더 세분화된 것으로 알고 있습니다. 전부 설명하는건 어렵지만.. 주요 품사와 한국어의 특성을 설명해 주면 좋을 것 같습니다. (태깅 관련 설명 이미지를 포함한다거나.)
테스트 결과에 대한 설명이 추가 되면 좋겠습니다 (BM25가 뭔지 설명, 예시 설명, 어떻게 시너지가 나는지, 왜 중요한지 등)
- 예: 복합 모델이 더 일관적인 답변을 제공했다거나, kiwi_bm25와 faiss 기반 모델이 정확도가 높았다 등의 설명.
- 특정 데이터에 따라 성능이 다를 수 있다는 점도 언급

제안
현재 References부분이 비어있는데, 영문으로 작성된 설명 페이지를 Reference로 추가하는 것은 어떨까요? 영어권 사용자가 한국어 데이터를 다루어야 할 때 참고할 수 있는 자료가 포함되면 좋을 것 같습니다.(저희도 한국어로 적힌 기술블로그를 자주 보는 것 처럼..)

jeongkpa · 2025-01-08T15:10:38Z

@ErikaPark 님! 안녕하세요!

일단 너무 꼼꼼한 PR 너무 감사드립니다.

제가 주신 의견 반영해서 commit 다시 해보겠습니다!

jeongkpa · 2025-01-08T17:25:55Z

@ErikaPark 님께서 말씀 주신 내용 추가 했습니다..! 확인해주시고 Approve 주시면 감사하겠습니다.

Hye-yoonJeong · 2025-01-09T02:43:49Z

🖥️ OS: Win
✅ Checklist

Template: Tutorials follows the required template.
Table of Contents(TOC) Links: All Table of Contents links work. ((Yes/No)
Image: Image filenames follow guidelines.
*Imports: All import statements use the latest versions. Ensure "langchain-teddynote" is not used.
Code Execution: Code runs without errors.
Comments:

Experiment: Compare Search Results Using Different Retrievers 설명글 중 BM25, Kiwi BM25, FAISS, Ensemble bullet point로 구분해야할 것 같습니다. 이 뒤의 ### Key points of Comparison 의 내용도 bullet point로 구분하는 건 어떨지요?
Display Search Results 마크다운 셀에 예제를 포함하는 것이 가독성이 떨어지는 것 같습니다. 혹시 그냥 코드셀로 해서 print 하는 것은 어떨까요?
TOC에 Conclusion이 빠진 것 같습니다.

말씀드린 부분들 반영해 주신 것 확인했습니다! Experiment: Compare Search Results Using Different Retrievers, Key points of Comparison 의 내용 bullet point로 구분하고, backtick 추가하여 커밋합니다!

ErikaPark · 2025-01-09T10:44:38Z

🖥️ OS: Mac

✅ Checklist

Template: Tutorials follows the required template.
Table of Contents(TOC) Links: All Table of Contents links work. ((Yes/No)
Image: Image filenames follow guidelines.
*Imports: All import statements use the latest versions. Ensure "langchain-teddynote" is not used.
Code Execution: Code runs without errors.

Comments:

기타 의견:
말씀 드린 내용 반영하신 것 확인했습니다.
위 코멘트 중 1, 3번은 제가 커밋하였고 approve 하겠습니다.
추가 아이디어가 꽤 많았는데 고생하셨습니다!

jeongkpa · 2025-01-09T12:45:51Z

🖥️ OS: Mac

✅ Checklist

Template: Tutorials follows the required template.

Table of Contents(TOC) Links: All Table of Contents links work. ((Yes/No)

Image: Image filenames follow guidelines.

*Imports: All import statements use the latest versions. Ensure "langchain-teddynote" is not used.

Code Execution: Code runs without errors.

Comments:

기타 의견:
말씀 드린 내용 반영하신 것 확인했습니다.
위 코멘트 중 1, 3번은 제가 커밋하였고 approve 하겠습니다.
추가 아이디어가 꽤 많았는데 고생하셨습니다!

감사합니다!!!

Hye-yoonJeong

🖥️ OS: Win
✅ Checklist

Template: Tutorials follows the required template.
Table of Contents(TOC) Links: All Table of Contents links work.
Image: Image filenames follow guidelines.
*Imports: All import statements use the latest versions. Ensure "langchain-teddynote" is not used.
Code Execution: Code runs without errors.

jeongkpa added 2 commits January 6, 2025 02:40

[E-1] 10-Retriever / 10-Kiwi-BM25-Retriver

bec960f

[E-1] 10-Retriever / 10-Kiwi-BM25-Retriver

Merge branch 'LangChain-OpenTutorial:main' into main

0adb195

jeongkpa self-assigned this Jan 5, 2025

fix : Overview change,

2eddbf9

jeongkpa added the docs tutorial label Jan 5, 2025

jeongkpa requested review from Hye-yoonJeong, ErikaPark and jeong-wooseok January 8, 2025 05:08

ErikaPark requested changes Jan 8, 2025

View reviewed changes

backtick 추가 빈 셀 삭제

0971396

jeongkpa added 2 commits January 9, 2025 00:14

feat : 주석 추가 및 인스톨 패키지 추가

952af14

fix: open ai embedding import문 변경, 주석 및 내용 추가

a68bc06

ErikaPark self-requested a review January 9, 2025 09:49

ErikaPark added 2 commits January 9, 2025 19:41

backtick, bullet points추가

2110b07

말씀드린 부분들 반영해 주신 것 확인했습니다! Experiment: Compare Search Results Using Different Retrievers, Key points of Comparison 의 내용 bullet point로 구분하고, backtick 추가하여 커밋합니다!

tcc 에 conclusion 추가

3ad977c

ErikaPark closed this Jan 9, 2025

ErikaPark reopened this Jan 9, 2025

ErikaPark approved these changes Jan 9, 2025

View reviewed changes

Hye-yoonJeong approved these changes Jan 9, 2025

View reviewed changes

teddylee777 merged commit d967020 into LangChain-OpenTutorial:main Jan 11, 2025
1 of 3 checks passed

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Uh oh!

[E-1] 10-Retriever / 10-Kiwi-BM25-Retriver #150

[E-1] 10-Retriever / 10-Kiwi-BM25-Retriver #150

Uh oh!

jeongkpa commented Jan 5, 2025

Uh oh!

ErikaPark left a comment •

edited

Loading

Uh oh!

ErikaPark commented Jan 8, 2025 •

edited

Loading

Uh oh!

jeongkpa commented Jan 8, 2025

Uh oh!

jeongkpa commented Jan 8, 2025

Uh oh!

Hye-yoonJeong commented Jan 9, 2025 •

edited

Loading

Uh oh!

ErikaPark commented Jan 9, 2025 •

edited

Loading

Uh oh!

jeongkpa commented Jan 9, 2025

Uh oh!

Hye-yoonJeong left a comment •

edited

Loading

Uh oh!

Uh oh!

Uh oh!

[E-1] 10-Retriever / 10-Kiwi-BM25-Retriver #150

[E-1] 10-Retriever / 10-Kiwi-BM25-Retriver #150

Uh oh!

Conversation

jeongkpa commented Jan 5, 2025

Author Checklist

Review Template (Intial PR)

Uh oh!

ErikaPark left a comment • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

[Review Checklist]

Uh oh!

ErikaPark commented Jan 8, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

내용 관련

Uh oh!

jeongkpa commented Jan 8, 2025

Uh oh!

jeongkpa commented Jan 8, 2025

Uh oh!

Hye-yoonJeong commented Jan 9, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

ErikaPark commented Jan 9, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

jeongkpa commented Jan 9, 2025

Uh oh!

Hye-yoonJeong left a comment • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

ErikaPark left a comment •

edited

Loading

ErikaPark commented Jan 8, 2025 •

edited

Loading

Hye-yoonJeong commented Jan 9, 2025 •

edited

Loading

ErikaPark commented Jan 9, 2025 •

edited

Loading

Hye-yoonJeong left a comment •

edited

Loading