下载百度网盘数据至服务器（bypy + aria2）_bypy aria2

文章目录

• 下载百度网盘数据至服务器（bypy + aria2）
• • bypy + aria2
  • • • 1. 安装
      • 2. 获取自身百度网盘的授权码
      • 3. 基础使用
      • 4. Aria2 加速
  • 参考

下载百度网盘数据至服务器（bypy + aria2）

生物信息学研究通常需要处理大量的数据集，如基因组序列、RNA-Seq 数据、蛋白质结构等，而这些数据往往被测序公司放置在百度网盘中。

使用 bypy 可以方便地从百度网盘获取这些数据，并将其下载到服务器进行进一步分析，确保数据管理的高效性和组织性。aria2 作为一个高效的下载工具，支持多线程下载，可以显著提高大文件的下载速度，同时如果网络中断或出现其他问题，aria2 支持断点续传，确保了下载的完整性和可靠性，对于长时间的下载任务可以避免重复下载已完成的部分。

结合使用 bypy 和 aria2 下载百度网盘数据至服务器极大地提升了数据获取的效率。

bypy + aria2

1. 安装

conda create -n aria2conda activate aria2# conda install -c conda-forge pipconda install -c conda-forge aria2pip install bypy

2. 获取自身百度网盘的授权码

输入 bypy info 会提示需要访问网址获取 API key（需要用百度网盘账号登录），然后复制或输入到命令行中即可。

bypy info# Please visit:# https://openapi.baidu.com/oauth/2.0/authorize?scope=basic+netdisk&redirect_uri=oob&response_type=code&client_id=q8WE4EpCsau1oS0MplgMKNBn# And authorize this app# Paste the Authorization Code here within 10 minutes.# Press [Enter] when you are done

输入 Key 之后回车确认，如果提示 Successfully authorized 并且列出空间使用情况即成功。

3. 基础使用

bypy 命令结构很简单，就是 bypy [操作]，操作除了上面的 info 之外，常用的还有 list、download、upload。

# 查看文件bypy list# 上传文件bypy upload [localpath] [remotepath]# 下载文件bypy downfile <remotefile> [localpath]# 下载文件夹bypy downdir [remotedir] [localdir]# 取消授权bypy -c

注意：下载转存的文件需要放置在 我的应用数据 下的 bypy 文件夹中。

4. Aria2 加速

默认情况下 bypy 没有调用 aria2 下载，此时下载速度不能最大化，因此需要先配置 aria2。bypy 默认配置的 aria2 使用 4 个连接数下载，可以修改成最大的 16。此处可以使用参数 --downloader aria2 让 bypy 调用 aria2 下载，--downloader-arguments 来设置 aria2 的参数，默认为 \'-c -k10M -x4 -s4 --file-allocation=none\'。

bypy --downloader aria2 download <remotefile> [localpath]bypy --downloader aria2 download [remotedir] [localdir]# 修改参数使速度最大化bypy --downloader aria2 --downloader-arguments=\'-c -k10M -x16 -s16 --file-allocation=none\' download <remotefile> [localpath]

参考

• 『 百度网盘下载之bypy』 有槽必吐 - 不吐槽，毋宁死 (tsukkomi.org)：https://tsukkomi.org/post/download-baidu-pan-with-bypy
• Centos系统下bypy+aria2下载百度网盘实现百度云转存方案 - 天下无鱼-资源博客 (shikey.com)：https://shikey.com/2020/07/10/baidu-to-google-drive-onedrive.html