-
Notifications
You must be signed in to change notification settings - Fork 879
Open
Labels
Description
使用dataset_snapshot_download下载单个数据文件时,看代码还是会列出所有文件之后再下载。
logger.info('Fetching dataset repo file list...')
repo_files = fetch_repo_files(_api, name, group_or_owner,
revision_detail, endpoint)如果数据集仓库的文件特别多,这个函数调用是很耗时的,建议优化一下。
我的使用场景是:不是下载所有数据集文件,本地有一个下载列表,循环调用dataset_snapshot_download进行下载,下载后使用完删除再下载下一个。