计算机视觉 基于CUDA编程的入门与实践 线程及同步四

        如何写出像向量点乘或者矩阵乘法这种重要的数学运算的CUDA程序。这些运算很重要，几乎在所有的应用程序中都要用到。会用到我们之前看到的所有概念，并有助于写以后的其他应用。

一、向量点乘

        两个向量的点乘是重要的数学运算，也将会解释CUDA编程中的一个重要概念：归约运算。两个向量的点乘运算定义如下：

        （X1,X2,X3）·（Y1,Y2,Y3）=X1Y1+X2Y2+X3Y3

        真正的向量可能很长，两个向量里面可能有多个元素，而不仅仅只有三个。最终也会将多个乘法结果累加（归约运算）起来，而不仅仅是3个。现在，你看下这个运算，它和之前的元素两两相加的向量加法操作很类似。不同的是你需要将元素两两相乘。线程需要将它们的所有单个乘法结果连续累加起来，因为所有的一对对的乘法结果需要被累加起来，才能得到点乘的最终结果。最终的点乘的结果将是一个单一值。这种原始输入是两个数组而输出却缩减为一个（单一值）的运算，在CUDA里叫作归约运算。归约运算在很多应用程序里都有用。我们给出进行该种CUDA运算的内核函数如下：

#include "stdio.h"
#include<iostream>
#include <cuda.h>
#include <cuda_runtime.h>
#define N 1024
#define threadsPerBlock 512


__global__ void gpu_dot(float *d_a, float *d_b, float *d_c) {
	//Declare shared memory
	__shared__ float partial_sum[threadsPerBlock];
	int tid