[E-2] 16-Evaluations / 03-HF-Upload.ipynb #421

LEE1026icarus · 2025-01-17T06:20:50Z

{PR Message - Write freely, remove this bracket if unnecessary}

Author Checklist

PR Title Format: I have confirmed that the PR title follows the correct format. (e.g., [N-2] 07-Text Splitter / 07-RecursiveCharacterTextSplitter)
Committed Files: I have ensured that no unnecessary files (e.g., .bin, .gitignore, poetry.lock, pyproject.toml) are included. These files are not allowed.
(Optional) Related Issue: If this PR is linked to an issue, I have referenced the issue number in the PR message. (e.g., Fixes Update 01-PromptTemplate.ipynb #123)
❌ Do not include unnecessary files (e.g., .bin, .gitignore, poetry.lock, pyproject.toml) or other people's code. If included, close the PR and create a new PR.

Review Template (Intial PR)

🖥️ OS: Win/Mac/Linux   
✅ Checklist      
 - [ ] **Template**: Tutorials follows the required template. 
 - [ ] **Table of Contents(TOC) Links**: All Table of Contents links work. (Yes/No)
 - [ ] **Image**: Image filenames follow guidelines.
 - [ ] **Imports**: All import statements use the latest versions. Ensure "langchain-teddynote" is not used. 
 - [ ] **Code Execution**: Code runs without errors.
 - Comments: {Write freely, 한국어 기술 가능}

If no one reviews your PR within a few days, please @-mention one of teddylee777, musangk, BAEM1N

[Version] initial [Language] ENG [Packages] dotenv, - Langchain and HF-Upload Tutorial -A tutorial on HF-Upload

[Version] initial [Language] ENG [Packages] dotenv, Dataset - Langchain and HF-Upload Tutorial -A tutorial on HF-Upload

r14minji

🖥️ OS: Mac
✅ Checklist

Template: Tutorials follows the required template.
Table of Contents(TOC) Links: All Table of Contents links work. (Yes/No)
Image: Image filenames follow guidelines.
Imports: All import statements use the latest versions. Ensure "langchain-teddynote" is not used.
Code Execution: Code runs without errors.
Comments: {Write freely, 한국어 기술 가능}

Table of Contents 에서 세번째, Upload Generated Dataset 링크가 이동 안합니다. 제목이 "Upload Generated" 작성 되서 그런 것같아요. 목차나 제목 둘 중 하나 동일하게 변경해주셔야할 듯합니다.
코드에서 파일을 찾지 못해서 실행을 못하고 있는데요. 확인해주실 수 있나요? 오류 내용 첨부합니다.

FileNotFoundError: [Errno 2] No such file or directory: 'data/ragas_synthetic_dataset.csv'

현재 data 폴더 하위에는 Newwhitepaper_Agents2.pdf 파일 밖에 없는데요. 제가 새로 merge받아야할 pr이 있을까요?

musangk

[Review Checklist]

Review OS: Linux
- Windows / Mac / Linux (해당 OS를 기재해주세요)
Template Rule 준수 여부:
- Template Rule 가이드를 준수하였는가? (Check 표기)
Table of Contents 링크 확인:
- Table of Contents의 링크가 원활하게 동작하는지 확인하였는가? (Check 표기)
이미지 파일명 검토:
- 이미지가 포함되어 있다면, 이미지의 파일명이 가이드를 준수하였는가? (Check 표기)
최신 import 방식 사용 여부:
- import 구문이 예전 legacy 방식이 아닌 최신 버전을 따르는가? (Check 표기)
코드 동작 확인:
- 모든 코드가 오류 없이 동작하는가? (Check 표기)
- Warning 발생 시 코멘트에 적어주세요.
제출 파일 확인:
- 꼭 필요한 파일들만 제출되었는가?
  - 튜토리얼 외 설정 파일이나 다른 분이 작업한 파일이 포함되었는지 Files Changed에서 확인 부탁드립니다. (Check 표기)
기타 의견:
- @r14minjin 님이 검토해주신대로 data/ragas_synthetic_dataset.csv 파일은 없고, Newwhitepaper_Agents2.pdf는 추가되었으나 사용되지 않는 것으로 보입니다.
- Reference에서 추가된 링크들은 upstage API에 대한 부분인데, 여기 튜토리얼에서 사용된 부분이 맞을까요?
- 그 외 각각 커멘트 달았습니다. 확인 부탁드립니다.

musangk · 2025-01-18T15:15:21Z

16-Evaluations/03-HF-Upload.ipynb

+    "from langchain_opentutorial import package\n",
+    "\n",
+    "package.install(\n",
+    "    [\"Dataset\"],\n",


Suggested change

" [\"Dataset\"],\n",

" [\"datasets\"],\n",

아래에서 from datasets import Dataset을 통해 datasets 라이브러리가 사용되는데, 설치가 되지 않습니다.
대신 튜토리얼에서 사용하지 않는 16-Evaluations/assets/Newwhitepaper_Agents2.pdf 파일이 PR에 포함되었습니다. 확인 부탁드립니다.
확인 부탁드립니다.

디스코드에서 merge할 시, 충돌이 일어날 수 있다고 pdf 파일도 같이 push해달라는 챗을 보고 넣었는데 빼는게 좋을까요..?

musangk · 2025-01-18T15:15:55Z

16-Evaluations/03-HF-Upload.ipynb

+   "source": [
+    "import pandas as pd\n",
+    "\n",
+    "df = pd.read_csv(\"data/ragas_synthetic_dataset.csv\")\n",


data/ragas_synthetic_dataset.csv 파일이 존재하지 않습니다.
검토 부탁드립니다.

16-Evaluations/03-HF-Upload.ipynb

musangk · 2025-01-18T15:24:46Z

16-Evaluations/03-HF-Upload.ipynb

+    "- [Upload Generated Dataset](#Upload-Generated-Dataset)\n",
+    "- [Upload to HuggingFace Dataset](#Upload-to-HuggingFace-Dataset)\n",


Suggested change

"- [Upload Generated Dataset](#Upload-Generated-Dataset)\n",

"- [Upload to HuggingFace Dataset](#Upload-to-HuggingFace-Dataset)\n",

- [Upload Generated Dataset](#upload-generated-dataset)

- [Upload to HuggingFace Dataset](#upload-to-huggingface-dataset)

Guide Template

Anchor 관련 가이드

목차에 들어가는 anchor는 각 헤딩에 정확히 일치하는 text를 #기호 다음 모두 소문자로, 대시는 하나만 사용

예시: #environment-setup

잘못된 예시: #Environment-Setup, #environment--setup

참고: 깃헙 docs에서 Section links

Template Guide 기준으로 수정 제안드립니다.

musangk · 2025-01-18T15:46:18Z

16-Evaluations/03-HF-Upload.ipynb

+    "dataset = Dataset.from_pandas(df)\n",
+    "\n",
+    "# Set dataset name (change to your desired name)\n",
+    "dataset_name = \"LANGCHIN-OPENTUTORIAL/test-dataset\"\n",


Suggested change

"dataset_name = \"LANGCHIN-OPENTUTORIAL/test-dataset\"\n",

"dataset_name = \"LANGCHAIN-OPENTUTORIAL/test-dataset\"\n",

오타가 있어서 수정 요청드립니다.
해당 경로가 적절한지는 어떻게 확인할 수 있을까요?

작성해주신 코드르 기반으로 테스트 해보니, 해당 경로가 있는 것은 아니고 권한이 있는 경로가 필요한 부분이였네요. (제가 접근이 안되는 것일 수 있겠습니다.)
해당 내용도 표현이 되면 도움이 도리 것 같습니다.
일단 오타만 수정해주시면 좋을 것 같습니다. 👍

r14minji

🖥️ OS: Win/Mac/Linux
✅ Checklist

Template: Tutorials follows the required template.
Table of Contents(TOC) Links: All Table of Contents links work. (Yes/No)
Image: Image filenames follow guidelines.
Imports: All import statements use the latest versions. Ensure "langchain-teddynote" is not used.
Code Execution: Code runs without errors.
Comments:
안녕하세요! @LEE1026icarus 님, 고생많으셨습니다!
제가 마지막 코드 실행하면, 아래와같이 인증 오류가 나오는데요
API 키 입력을 잘 못한 걸까요...? username이나 password가 잘 못 됐다고 나와서요. 혹시 키는 디스코드 공지방에 있는 것을 사용하면 될까요?
HfHubHTTPError: 401 Client Error: Unauthorized for url: https://huggingface.co/api/repos/create (Request ID: Root=1-678f8592-344cf5b74a2d918869bbeac6;e23e1ce4-16d3-4185-8b53-46468a257f76)

Invalid username or password.

changwonjeon

[Review Checklist]

Review OS: Windows
Template Rule 준수 여부: 이상없음
Table of Contents 링크 확인: 이상없음
이미지 파일명 검토: 해당없음
최신 import 방식 사용 여부: 이상없음
코드 동작 확인: 이상없음. 정상작동합니다!
제출 파일 확인: data 폴더의 csv파일 이상없음
기타 의견:
작성하시느라 고생 많으셨습니다.
huggingface username(ID) 수정하는 부분을 별도로 변수를 구분하면, 사용자입장에서 좀더 낫지 않을까라는 의견드립니다.
확인 부탁드립니다.
감사합니다.

16-Evaluations/03-HF-Upload.ipynb

musangk · 2025-01-21T16:08:38Z

🖥️ OS: Win/Mac/Linux ✅ Checklist

Template: Tutorials follows the required template.

Table of Contents(TOC) Links: All Table of Contents links work. (Yes/No)

Image: Image filenames follow guidelines.

Imports: All import statements use the latest versions. Ensure "langchain-teddynote" is not used.

Code Execution: Code runs without errors.

Comments:
안녕하세요! @LEE1026icarus 님, 고생많으셨습니다!
제가 마지막 코드 실행하면, 아래와같이 인증 오류가 나오는데요
API 키 입력을 잘 못한 걸까요...? username이나 password가 잘 못 됐다고 나와서요. 혹시 키는 디스코드 공지방에 있는 것을 사용하면 될까요?
HfHubHTTPError: 401 Client Error: Unauthorized for url: https://huggingface.co/api/repos/create (Request ID: Root=1-678f8592-344cf5b74a2d918869bbeac6;e23e1ce4-16d3-4185-8b53-46468a257f76)

Invalid username or password.

@r14minji 님 혹시 도움이 될까 하여 미리 답변 드립니다.
Hugging Face 같은 경우에는 개인 API Key를 사용하시면 될 것 같습니다.
이후에, 아래 코드에서 username만 본인의 계정에 맞게 수정하시면 될 것 같습니다. (저의 경우 musangk가 username 입니다.)

- dataset_name = "icarus1026/rag-synthetic-dataset"
+ dataset_name = "musangk/rag-synthetic-dataset"

musangk

리뷰 남긴 부분 적용해주신 내용 모두 확인하였습니다. 인지를 못해서 추가 리뷰가 늦어진 점 죄송합니다. 😭
관련해서 하나 수정이 덜 된 곳이 있어서 추가 리뷰 남깁니다.
확인 부탁드립니다. 🙏

16-Evaluations/03-HF-Upload.ipynb

Co-authored-by: Musang Kim <[email protected]>

Co-authored-by: Jeon Changwon <[email protected]>

changwonjeon

[Review Checklist]

Review OS: Windows
Template Rule 준수 여부: 이상없음
Table of Contents 링크 확인: 이상없음
이미지 파일명 검토: 해당없음
최신 import 방식 사용 여부: 이상없음
코드 동작 확인: 확인요청
- 제가 수정 제안 드린부분에 오류가 있어, 수정된 것으로 다시 제안 드립니다.
- 다시 확인 부탁드립니다. 양해 부탁드립니다.
제출 파일 확인: data 폴더의 csv파일 이상없음
기타 의견:
제가 제안드린 부분에 ipynb 문법 오류(\빠짐)이 있어서
다시 수정해 제안드렸습니다. 수정하면 정상 실행이 됩니다.
양해 부탁드립니다. 나머지는 이상없습니다. 감사합니다.

16-Evaluations/03-HF-Upload.ipynb

핫 감사합니다! 확인했습니다. Co-authored-by: Jeon Changwon <[email protected]>

musangk

[Review Checklist]

Review OS: Linux
- Windows / Mac / Linux (해당 OS를 기재해주세요)
Template Rule 준수 여부:
- Template Rule 가이드를 준수하였는가? (Check 표기)
Table of Contents 링크 확인:
- Table of Contents의 링크가 원활하게 동작하는지 확인하였는가? (Check 표기)
이미지 파일명 검토:
- 이미지가 포함되어 있다면, 이미지의 파일명이 가이드를 준수하였는가? (Check 표기)
최신 import 방식 사용 여부:
- import 구문이 예전 legacy 방식이 아닌 최신 버전을 따르는가? (Check 표기)
코드 동작 확인:
- 모든 코드가 오류 없이 동작하는가? (Check 표기)
- Warning 발생 시 코멘트에 적어주세요.
제출 파일 확인:
- 꼭 필요한 파일들만 제출되었는가?
  - 튜토리얼 외 설정 파일이나 다른 분이 작업한 파일이 포함되었는지 Files Changed에서 확인 부탁드립니다. (Check 표기)
기타 의견:
- 전체적으로 잘 동작하는 부분 확인 하였습니다. 감사합니다. 💯

LEE1026icarus · 2025-01-24T15:11:26Z

Files Changed 확인해보았는데, 다른 분이 작업한 파일이 포함되지 않았습니다. 감사합니다!

changwonjeon

[Review Checklist]

Review OS: Windows
Template Rule 준수 여부: 이상없음
Table of Contents 링크 확인: 이상없음
이미지 파일명 검토: 해당없음
최신 import 방식 사용 여부: 이상없음
코드 동작 확인: 이상없음
- 수정된 부분 이상없이 잘 실행 되었습니다.
제출 파일 확인: data 폴더의 csv파일 이상없음
기타 의견:
다시 제안드린 부분 잘 반영되서, 이상없이 실행된 것을 확인하였습니다.
수정작업 하시느라 고생 많으셨습니다.
즐거운 연휴 되시기 바랍니다!

r14minji

🖥️ OS: Win/Mac/Linux
✅ Checklist

Template: Tutorials follows the required template.
Table of Contents(TOC) Links: All Table of Contents links work. (Yes/No)
Image: Image filenames follow guidelines.
Imports: All import statements use the latest versions. Ensure "langchain-teddynote" is not used.
Code Execution: Code runs without errors.
Comments: {Write freely, 한국어 기술 가능}

verydeeeeplearning

[Review Checklist]

Review OS: Windows
Template Rule 준수 여부: 이상 없음
Table of Contents 링크 확인: 이상 없음
이미지 파일 명 검토: 해당 없음
최신 import 방식 사용 여부: 이상 없음
코드 동작 확인: 이상 없음
제출 파일 확인: data 폴더의 csv파일 확인 (이상 없음)

지난주 복귀해서 정신이 없었네요 늦어서 죄송합니다!!

LEE1026icarus added 6 commits January 14, 2025 14:55

Merge remote-tracking branch 'upstream/main' into Upstage

459743e

Merge remote-tracking branch 'upstream/main' into eval

35912dd

[Title] 03-HF-Upload

e976992

[Version] initial [Language] ENG [Packages] dotenv, - Langchain and HF-Upload Tutorial -A tutorial on HF-Upload

Merge remote-tracking branch 'upstream/main' into eval

4edaf7e

add PDF

c89fefe

[Title] 03-HF-Upload

89f3b84

[Version] initial [Language] ENG [Packages] dotenv, Dataset - Langchain and HF-Upload Tutorial -A tutorial on HF-Upload

LEE1026icarus requested review from verydeeeeplearning and r14minji January 17, 2025 06:20

r14minji assigned LEE1026icarus Jan 17, 2025

r14minji requested changes Jan 17, 2025

View reviewed changes

fastjw requested a review from musangk January 18, 2025 14:20

musangk reviewed Jan 18, 2025

View reviewed changes

sohyunwriter added the docs tutorial label Jan 18, 2025

fastjw requested a review from changwonjeon January 19, 2025 11:56

LEE1026icarus added 2 commits January 19, 2025 21:15

Merge remote-tracking branch 'upstream/main' into eval

bddc0ac

add the csv file and revise the py file.

4f6f527

LEE1026icarus requested review from musangk and r14minji January 19, 2025 13:38

r14minji requested changes Jan 21, 2025

View reviewed changes

changwonjeon reviewed Jan 21, 2025

View reviewed changes

16-Evaluations/03-HF-Upload.ipynb Outdated Show resolved Hide resolved

musangk reviewed Jan 21, 2025

View reviewed changes

16-Evaluations/03-HF-Upload.ipynb Outdated Show resolved Hide resolved

16-Evaluations/03-HF-Upload.ipynb Outdated Show resolved Hide resolved

musangk mentioned this pull request Jan 22, 2025

[E-2] 16-Evaluations / 04-LangSmith-Dataset #485

Merged

3 tasks

LEE1026icarus and others added 2 commits January 23, 2025 10:34

Update 16-Evaluations/03-HF-Upload.ipynb

6646689

Co-authored-by: Musang Kim <[email protected]>

Update 16-Evaluations/03-HF-Upload.ipynb

18d9939

Co-authored-by: Jeon Changwon <[email protected]>

LEE1026icarus requested review from r14minji, musangk and changwonjeon January 23, 2025 01:38

changwonjeon reviewed Jan 24, 2025

View reviewed changes

16-Evaluations/03-HF-Upload.ipynb Outdated Show resolved Hide resolved

Update 16-Evaluations/03-HF-Upload.ipynb

4230e6a

핫 감사합니다! 확인했습니다. Co-authored-by: Jeon Changwon <[email protected]>

musangk approved these changes Jan 24, 2025

View reviewed changes

changwonjeon approved these changes Jan 25, 2025

View reviewed changes

r14minji approved these changes Feb 1, 2025

View reviewed changes

verydeeeeplearning approved these changes Feb 5, 2025

View reviewed changes

teddylee777 merged commit b61c3b9 into LangChain-OpenTutorial:main Feb 8, 2025
3 of 4 checks passed

		"- [Upload Generated Dataset](#Upload-Generated-Dataset)\n",
		"- [Upload to HuggingFace Dataset](#Upload-to-HuggingFace-Dataset)\n",

	"dataset_name = \"LANGCHIN-OPENTUTORIAL/test-dataset\"\n",
	"dataset_name = \"LANGCHAIN-OPENTUTORIAL/test-dataset\"\n",

[E-2] 16-Evaluations / 03-HF-Upload.ipynb #421

[E-2] 16-Evaluations / 03-HF-Upload.ipynb #421

Uh oh!

Conversation

LEE1026icarus commented Jan 17, 2025 • edited by verydeeeeplearning Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Author Checklist

Review Template (Intial PR)

Uh oh!

r14minji left a comment • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

musangk left a comment

Choose a reason for hiding this comment

[Review Checklist]

Uh oh!

musangk Jan 18, 2025

Choose a reason for hiding this comment

Uh oh!

LEE1026icarus Jan 19, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

musangk Jan 18, 2025

Choose a reason for hiding this comment

Uh oh!

Uh oh!

musangk Jan 18, 2025

Choose a reason for hiding this comment

Uh oh!

musangk Jan 18, 2025

Choose a reason for hiding this comment

Uh oh!

musangk Jan 19, 2025

Choose a reason for hiding this comment

Uh oh!

r14minji left a comment

Choose a reason for hiding this comment

Uh oh!

changwonjeon left a comment

Choose a reason for hiding this comment

[Review Checklist]

Uh oh!

Uh oh!

musangk commented Jan 21, 2025

Uh oh!

musangk left a comment

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

changwonjeon left a comment

Choose a reason for hiding this comment

[Review Checklist]

Uh oh!

Uh oh!

musangk left a comment

Choose a reason for hiding this comment

[Review Checklist]

Uh oh!

LEE1026icarus commented Jan 24, 2025

Uh oh!

changwonjeon left a comment

Choose a reason for hiding this comment

[Review Checklist]

Uh oh!

r14minji left a comment

Choose a reason for hiding this comment

Uh oh!

verydeeeeplearning left a comment

Choose a reason for hiding this comment

[Review Checklist]

Uh oh!

Uh oh!

Uh oh!

LEE1026icarus commented Jan 17, 2025 •

edited by verydeeeeplearning

Loading

r14minji left a comment •

edited

Loading

LEE1026icarus Jan 19, 2025 •

edited

Loading