Thanks to visit codestin.com
Credit goes to github.com

Skip to content

dataset_snapshot_download优化建议 #1525

@qibin0506

Description

@qibin0506

使用dataset_snapshot_download下载单个数据文件时,看代码还是会列出所有文件之后再下载。

 logger.info('Fetching dataset repo file list...')
 repo_files = fetch_repo_files(_api, name, group_or_owner,
                                          revision_detail, endpoint)

如果数据集仓库的文件特别多,这个函数调用是很耗时的,建议优化一下。
我的使用场景是:不是下载所有数据集文件,本地有一个下载列表,循环调用dataset_snapshot_download进行下载,下载后使用完删除再下载下一个。

Metadata

Metadata

Labels

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions