🖥️ OS: Win
✅ Checklist

• Template: Tutorials follows the required template.
• Table of Contents(TOC) Links: All Table of Contents links work. ((Yes/No)
• Image: Image filenames follow guidelines.(N/A)
• *Imports: All import statements use the latest versions. Ensure "langchain-teddynote" is not used.
• Code Execution: Code runs without errors.
• Comments: {Write freely, 한국어 기술 가능}
  • output = run_graph( super_graph, ~~) 실행이 불안정한지 150회 도달 후에도 종료조건을 만족하지 못했다는 오류가 뜨긴 했는데 다시 실행했을 때는 정상 동작 했습니다! 고생하셨습니다 :)

@rlatjcj @Secludor 리뷰 및 코멘트 정말 감사합니다! ☺️ 아래와 같이 변경사항을 정리해보았습니다. 긴 튜토리얼 꼼꼼히 리뷰해주셔서 다시 한번 감사드립니다 ㅎㅎ

[변경 사항]

• 프롬프트를 개선하여 결과물이 보장되도록 하였습니다.
• langchain_opentutorial 라이브러리를 활용하여 run_graph, visualize_graph를 사용하도록 변경하였습니다.
• beautifulsoup4 패키지를 추가하였습니다.
• 무의미한 반복 작업이 확인되어 'gpt-4o-mini'로 모델을 변경하였더니, 이 점이 개선되었습니다.

#490 (comment)
이 부분 개행이 많은건 왜그런걸까요???

제가 캡쳐한 yahoo finance도 그렇고 아래 arxiv도 비슷한 모습을 보이는 걸 보니 web scrapping에서 html이 그렇게 구성되어 있어서 그런 듯 하네요

#490 (comment) 이 부분 개행이 많은건 왜그런걸까요???

제가 캡쳐한 yahoo finance도 그렇고 아래 arxiv도 비슷한 모습을 보이는 걸 보니 web scrapping에서 html이 그렇게 구성되어 있어서 그런 듯 하네요

@harheem 제 생각엔 이런 로그가 gitbook에 그대로 올라가는 건 좋지 않을거 같습니다. (@sooyoung-wind 한 번 확인해주시겠어요???)
이 이슈가 tools in [WebScraper] 로그에서 나오고 있는데, WebScraper의 prompt를 통해 개행을 없앤다던지, invoke_graph 함수에 callback으로 tools in [WebScraper] 의 로그만 수정한다던지 등의 방법을 사용할 수 있을 것 같습니다!

@rlatjcj 좋은 피드백 정말 감사드립니다 ㅎㅎ 스크래핑된 아웃풋이 깔끔하게 나올 수 있도록 코드를 수정하였습니다.

# Define tool for scraping detailed information from web pages
@tool
def scrape_webpages(urls: List[str]) -> str:
    """Scrape web pages and clean unnecessary whitespace."""
    loader = WebBaseLoader(
        web_path=urls,
        header_template={
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36",
        },
    )
    
    docs = loader.load()
    
    def clean_text(html: str) -> str:
        soup = BeautifulSoup(html, "html.parser")
        text = soup.get_text(separator=" ").strip()
        return re.sub(r'\s+', ' ', text)  # Remove excessive whitespace
    
    return "\n\n".join(
        [f'<Document name="{doc.metadata.get("title", "").strip()}">\n{clean_text(doc.page_content)}\n</Document>' for doc in docs]
    )

🖥️ OS: Win
✅ Checklist

• Template: Tutorials follows the required template.
• Table of Contents(TOC) Links: All Table of Contents links work. (Yes/No)
• Image: Image filenames follow guidelines.
• Imports: All import statements use the latest versions. Ensure "langchain-teddynote" is not used.
• Code Execution: Code runs without errors.
• Comments: {Write freely, 한국어 기술 가능}
  • 윈도우에서도 모두 정상 동작하며, 직접 실행 시 개행 없이 출력되는 부분 확인 했습니다! 전체 rerun 부분만 반영해주시면 될 것 같습니다!

@Secludor @rlatjcj 이번 PR이 많이 부족했네요. 번거롭게 해드려 정말 죄송하면서, 세심한 리뷰와 큰 도움 정말 감사합니다!
부디 이번이 진정한 최종 요청이 되길 바랍니다. 😂

🖥️ OS: Win
✅ Checklist

• Template: Tutorials follows the required template.
• Table of Contents(TOC) Links: All Table of Contents links work. (Yes/No)
• Image: Image filenames follow guidelines.
• Imports: All import statements use the latest versions. Ensure "langchain-teddynote" is not used.
• Code Execution: Code runs without errors.
• Comments: {Write freely, 한국어 기술 가능}
  • 고생하셨습니다 :)