《PowerShell V3——SQL Server 2012数据库自动化运维权威指南》——2.19　使用bcp实施批量导出

本节书摘来自异步社区出版社《PowerShell V3—SQL Server 2012数据库自动化运维权威指南》一书中的第2章，第2.19节，作者：【加拿大】Donabel Santos，更多章节内容可以访问云栖社区“异步社区”公众号查看。

2.19 使用bcp实施批量导出

本方案描述了如何用PowerShell和bcp将表内容导出到CSV文件。

2.19.1 准备

确保您可以访问AdventureWorks2008R2数据库。我们将Person.Person表导出到一个时间戳标记的文本文件中，通过管道符号（|）分割。

创建C:TempExports目录，如果还没有在你的系统中创建。

2.19.2 如何做…

1．通过“Start | Accessories | Windows PowerShell | Windows PowerShell ISE”打开PowerShell控制台。

2．添加如下脚本，并运行。

$server = "KERRIGAN"

$table = "AdventureWorks2008R2.Person.Person"

$curdate = Get-Date -Format "yyyy-MM-dd_hmmtt"

$foldername = "C:\Temp\Exports\"

#format file name

$formatfilename = "$($table)_$($curdate).fmt"

#export file name

$exportfilename = "$($table)_$($curdate).csv"

$destination_exportfilename = "$($foldername)$($exportfilename)"

$destination_formatfilename = "$($foldername)$($formatfilename)"

#command to generate format file

$cmdformatfile = "bcp $table format nul -T -c -t `"|`" -r `"\n`" 

-f `"$($destination_formatfilename)`" -S$($server)"

#command to generate the export file

$cmdexport = "bcp $($table) out `"$($destination_exportfilename)`" 

-S$($server) -T -f `"$destination_formatfilename`""

$cmdformatfile gives you something like this:

bcp AdventureWorks2008R2.Person.Person format nul -T -c -t "|" -r "\n" –f

"C:\Temp\Exports\AdventureWorks2008R2.Person.Person_2011-12-27_913PM.fmt" –S

KERRIGAN 

$cmdexport gives you something like this:

bcp AdventureWorks2008R2.Person.Person out

"C:\Temp\Exports\AdventureWorks20008R2.Person.Person_2011-12-27_913PM.csv" –S

KERRIGAN -T -c –f

"C:\Temp\Exports\AdventureWorks2008R2.Person.Person_2011-12-27_913PM.fmt"

#run the format file command

Invoke-Expression $cmdformatfile

#delay 1 sec, give server some time to generate the format file

#sleep helps us avoid race conditions

Start-Sleep -s 1

#run the export command

Invoke-Expression $cmdexport 

#check the folder for generated file

explorer.exe $foldername

2.19.3 如何实现…

使用SQL Server的bcp命令从SQL Server导出记录可能更快。它的应用更广泛，因为bcp提供了更可扩展的导出格式。

bcp的默认导出格式是使用跳格键（t）作为域分割符，使用回车换行（rn）作为换行分隔符。如果你想修改，需要创建并使用一个格式化文件来指定你想导出的格式。

在我们的方案中，我们首先用时间戳命名格式化文件和导出的文件。

$curdate = Get-Date -Format "yyyy-MM-dd_hmmtt"

$foldername = "C:\Temp\Exports\"

#format file name

$formatfilename = "$($table)_$($curdate).fmt"

#export file name

$exportfilename = "$($table)_$($curdate).csv"

$destination_exportfilename = "$($foldername)$($exportfilename)"

$destination_formatfilename = "$($foldername)$($formatfilename)"

然后，我们创建产生格式化文件的字符串。

#command to generate format file

$cmdformatfile = "bcp $table format nul -T -c -t `"|`" -r `"\n`" 

-f `"$($destination_formatfilename)`" -S$($server)"

注意，因为实际的命令需要使用双引号（”），当我们创建命令时，需要通过反引号（`）转义双引号。

创建的命令如下所示。

bcp AdventureWorks2008R2.Person.Person format nul -T -c -t "|" -r 

"\n" -f "C:\Temp\Exports\AdventureWorks2008R2.Person.Person_2011-12-27_913PM.fmt"

-SKERRIGAN

我们使用刚刚创建的格式化文件创建了导出记录的命令。

#command to generate the export file

$cmdexport = "bcp $($table) out `"$($destination_exportfilename)`" 

-S$($server) -T -f `"$destination_formatfilename`""

我们创建的命令如下。

bcp AdventureWorks2008R2.Person.Person out

"C:\Temp\Exports\AdventureWorks2008R2.Person.Person_2011-12-27_913PM.csv" -SKERRIGAN 

-T -f "C:\Temp\Exports\AdventureWorks2008R2.Person.Person_2011-12-27_913PM.fmt"

当包含命令的字符串完成之后，我们能使用Invoke-Expression cmdlet执行这个命令。我们首先运行格式化文件创建命令，然后使用Start-Sleep cmdlet停止1秒钟，确保已经创建了格式化文件，然后调用命令进行真正的导出工作。

#run the format file command

Invoke-Expression $cmdformatfile

#delay 1 sec, give server some time to generate 

#the format file

#sleep helps us avoid race conditions

Start-Sleep -s 1

#run the export command

Invoke-Expression $cmdexport

如果我们不等待，所有的命令有可能执行得更快，并且导出命令有可能在格式化文件产生好之前执行。这将导致错误，因为bcp命令不能发现格式化文件。

最后，我们打开“Windows Explorer”，可以看到生成的文件。

#check the folder for generated file

explorer.exe $foldername

2.19.4 请参阅…

使用Invoke-Sqlcmd实施批量导出方案
更多关于bcp格式化文件的选项可参见：

以小博大外小内大,Db数据库SQL优化之小数据驱动大数据 SQL优化中，有一条放之四海而皆准的既定方针，那就是：永远以小数据驱动大数据。其本质其实就是以小的数据样本作为驱动查询能够优化查询效率，在SQL中，涉及到不同表数据的连接、转移、或者合并，这些操作必须得有个数据集作为“带头”大哥，即驱动数据，而这个驱动数据最好是数据量最小的那一个。
异步社区 异步社区(www.epubit.com)是人民邮电出版社旗下IT专业图书旗舰社区，也是国内领先的IT专业图书社区，致力于优质学习内容的出版和分享，实现了纸书电子书的同步上架，于2015年8月上线运营。公众号【异步图书】，每日赠送异步新书。
第十二届 BigData NoSQL Meetup — 基于hbase的New sql落地实践 立即下载