SRA数据几种常用的下载方法

依据大家上传数据的习惯，绝大多数生物信息学数据都是可以从NCBI上下载到，当然也可以通过DDBJ,EBI去下载。另外，部分科研人员也将数据传到github等其他平台。

本期介绍以下几种常用的数据下载方法和工具。

• prefetch
• Aspera
• SRA Explorer

prefetch

SRA（Sequence ReadArchive）数据库用于存储二代测序的原始数据，包括 454，Illumina，SOLiD等。除原始序列数据外，SRA现在也存在raw reads在参考基因的比对信息。

SRA Toolkit[1]可以直接下载NCBI中的SRA数据文件和参考序列并转换为fastq格式。

为了能够正常访问NCBI服务器和下载数据，SRA Toolkit必须进行适当的配置。其最新版本的默认配置，适用于大多数用户。如果默认配置不起作用，或者希望自定义Toolkit的文件处理(如默认下载存储位置)，您需要配置Toolkit，然后测试它以确认它按预期运行。

SRA Toolkit Documentation

配置安装

conda配置

conda install -y sra-tools

官网下载

除了使用conda直接配置安装以外，我们还可以通过其官网[2]选定适合自己的操作系统下载。

wget http://ftp-trace.ncbi.nlm.nih.gov/sra/sdk/current/sratoolkit.current-ubuntu64.tar.gz
tar -zxvf sratoolkit.current-ubuntu64.tar.gz # 解压缩
echo 'export PATH=$PATH:$HOME/sratoolkit.2.11.2-ubuntu64/bin ' >> ~/.bashrc # 配置环境变量
source .bashrc
vdb-config --interactive # 配置（按X退出后即可正常使用）

按X退出

使用

prefetch的用法非常简单，直接prefetch加SRA号即可，下面我们以一个实际例子演示。

Usage: prefetch [ options ] [ accessions(s)... ]

文章为《Single-Cell RNA-Seq Revealed the Gene Expression Pattern during the In Vitro Maturation of Donkey Oocytes》[3]

将Accession List下载到本地，再通过filezilla传到服务器中；或直接复制6个SRR到服务器的文本中。

示例中，数据量较少，可以直接通过以下命令串行下载。

prefetch --option-file SRR_Acc_List.txt

如果数据量较多可以结合我之前的《多行命令并行管理，只需要一个脚本》[4]

cat Accession List | while read id;do;echo prefetch -O ./ ${id};done > prefetch.sh
# 把命令分为5份并行
for i in {0..4};do (nohup bash submit.sh prefetch.sh 5 $i 2>&1);done

然后对数据进行简单的处理并转换为fastq。

cat Accession List | while read id ; do mv ./${id}/* ./ ; done # 将数据从文件夹中拿出来
cat Accession List | while read id; do rm -r ${id}; done # 删掉文件夹
# 需要安装pigz
cat Accession List | while read id;do echo "fasterq-dump -e 8 --split-files -O ./ --outfile ${id}.fastq ${id}.sra";echo "pigz -p 8 -f ./${id}_1.fastq";echo "pigz -p 8 -f ./${id}_2.fastq";done > sra2fq.sh
nohup bash sra2fq.sh &

wget

我们以示例文章中的一个数据为例（SRR15927225），首先需要找到该数据的下载链接。在NCBI的SRA数据库搜索SRR15927225。

最后直接使用wget命令下载即可。

wget -c https://sra-download.ncbi.nlm.nih.gov/traces/sra35/SRR/015553/SRR15927225

Aspera

Aspera[5]是IBM公司的一款高速传输软件，创造了新一代的传输技术(faspTM)，并能不受文件大小、形态、传输距离、网络条件限制，以最高效的速度来协助用户迁移各地的数据。使用 fasp传输专利技术，充分利用现有的 WAN 基础设施和通用硬件，传输速度比 FTP 和 HTTP 快达数百倍。

prefetch使用HTTPS

prefetch有一个-t参数，当安装了aspera时，prefetch会优先使用fasp（ascp）进行数据传输。

  -t|--transport <value>           transport: one of: fasp; http; both. (fasp
                                   only; http only; first try fasp (ascp), use
                                   http if cannot download using fasp).
                                   Default: both

配置安装

conda配置

conda install -c hcc aspera-cli -y # -c设置channel为hcc

官网下载

除了使用conda直接配置安装以外，我们还可以通过其官网选定适合自己的操作系统下载。

wget https://download.asperasoft.com/download/sw/connect/3.9.1/ibm-aspera-connect-3.9.1.171801-linux-g2.12-64.tar.gz
tar -zxvf ibm-aspera-connect-3.9.1.171801-linux-g2.12-64.tar.gz
bash ibm-aspera-connect-3.9.1.171801-linux-g2.12-64.sh

echo 'export PATH=$PATH:$HOME/.aspera/connect/bin ' >> ~/.bashrc # 配置环境变量
source .bashrc

使用

aspera的用法会比prefetch稍微复杂一点，使用之前首先需要知道其私匙（private-key） 的路径。

使用conda安装的aspera私匙位置通常在anaconda3/etc/目录下（miniconda同），官网手动安装的私匙位置通常在~/.aspera/connect/etc/。

Usage: ascp [OPTION] SRC... DEST
          SRC to DEST, or multiple SRC to DEST dir
          SRC, DEST format: [[user@]host:]PATH

常用参数

• -p 显示下载的时间
• -T 不进行加密。若不添加此参数，可能会下载不了。
• -i 输入私钥，服务器一般使用asperaweb_id_dsa.openssh # 文件作为私钥。
• -k 断点续传，一般设置为值1
• -l 设置最大传输速度，如设置为10M 则表示最大传输速度为10M/s
• -m 设置最小传输速度

仍以SRR15927225为例

ascp -T -i ~/anaconda3/etc/asperaweb_id_dsa.openssh -k 1 -l 200m anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR159/SRR15927225/SRR15927225.sra ./

如果要换成NCBI上的其他SRA数据，只需要修改【SRR159/SRR15927225/SRR15927225.sra】即可。

如果想通过EBI下载数据，需要修改前半部分为era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/

ascp -T -i ~/anaconda3/etc/asperaweb_id_dsa.openssh -k 1 -l 200m era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR159/SRR15927225/SRR15927225.sra ./

SRA-Explorer

SRA-Explorer[6]是一个为了让SRA更易检索、更易下载的网页端应用。

支持GSE、SRP、PRJ、ERP

以前面的示例文献的项目号（PRJNA763991）为例，输入后检索，添加到“购物车”中

可以看到可以直接下载FastQ和SRA数据，也可以分开下载，下载的方式多种多样。

以Aspera commands for downloading FastQ files为例，SRA-Explorer提供可以直接复制使用的代码（或脚本），但需要注意的是需要提前对私匙路径进行修改，最后到Linux中运行即可。

参考资料

[1] SRA Toolkit Documentation: https://trace.ncbi.nlm.nih.gov/Traces/sra/sra.cgi?view=toolkit_doc

[2] SRA Toolkit下载地址: https://github.com/ncbi/sra-tools/wiki/02.-Installing-SRA-Toolkit

[3] 示例数据: https://www.ncbi.nlm.nih.gov/sra?LinkName=bioproject_sra_all&from_uid=763991

[4] submit.sh: https://mp.weixin.qq.com/s/NzcH5_DWcXUN2k7NF5czhw

[5] Aspera: https://www.ibm.com/products/aspera/downloads?list

[6] SRA-Explorer: https://sra-explorer.info/