当前栏目
FPGA图像处理-3x3卷积模板
简介
卷积是图像处理中很常见的一种操作,3x3是最常见的窗口大小。
如果像素是一个个来的,要想实现3x3卷积,就得同时获取一个像素和它周围的8个像素,将输入像素缓存2行,这样就能同时获取3行的像素输入,此时再将这3个并行输入的像素移位进3x3窗口,就获得了3x3卷积模板,如图:
这里要注意,输入像素此时作为第三行数据输入3x3窗口,最下面的行缓存输出的才是第一行像素,上图窗口的右下角是3x3卷积模板的左上角,窗口的左上角是3x3卷积模板的右下角。
实现两行缓存并获取3x3卷积窗口,用shift-ram是最简单的实现方法。
shift-ram简介
shift-ram是一个ip核,quartus13.0中叫做Shift register(RAM based)
普通shift-ram如图:
带taps的shift-ram:
其实带taps的shift-ram就是多个普通shift-ram组合,使用带taps的shift-ram可以轻松实现行缓存,设定taps数量为2,taps间隔为一行的像素数(此处为640),即可缓存两行。之后将这两个taps和输入像素移位进3x3窗口即可获得3x3卷积模板。
verilog源码
为了简单起见,输入和输出都是valid+data的形式。
module filter_3x3(
input clk,
input rst_n,
input iValid,
input [7:0] iData,
output oValid,
output reg [7:0] oData_11, oData_12, oData_13,
output reg [7:0] oData_21, oData_22, oData_23,
output reg [7:0] oData_31, oData_32, oData_33
);
reg [7:0] row3_data;
wire [7:0] row2_data;
wire [7:0] row1_data;
reg [1:0] Valid_shift;
// shift_ram实现2行缓存
line_shift_ram inst_line_shift_ram(
.clock (clk),
.clken (iValid),
.shiftin (row3_data),
.taps0x (row2_data),
.taps1x (row1_data),
.shiftout ()
);
// 将输入数据寄存作为窗口第三行起始数据,同时也作为行缓存的输入
always @(posedge clk, negedge rst_n) begin
if(!rst_n)
row3_data <= 0;
else if(iValid)
row3_data <= iData;
end
// 获取3x3卷积模板
always @(posedge clk, negedge rst_n) begin
if(!rst_n) begin
{oData_11, oData_12, oData_13} <= 3'b000;
{oData_21, oData_22, oData_23} <= 3'b000;
{oData_31, oData_32, oData_33} <= 3'b000;
end else if(iValid) begin
{oData_11, oData_12, oData_13} <= {oData_12, oData_13, row1_data};
{oData_21, oData_22, oData_23} <= {oData_22, oData_23, row2_data};
{oData_31, oData_32, oData_33} <= {oData_32, oData_33, row3_data};
end
end
// iValid打两拍输出
always @(posedge clk, negedge rst_n) begin
if(!rst_n)
Valid_shift <= 2'b00;
else
Valid_shift <= {Valid_shift[0], iValid};
end
assign oValid = Valid_shift[1];
endmodule
testbench
只仿真三行,每行640个像素。
`timescale 1ps/1ps
module test_tb;
reg clk = 1'b1;
always #10 clk = ~clk;
reg rst_n = 1'b0;
reg iValid = 1'b0;
reg [7:0] iData = 0;
wire oValid;
wire [7:0] oData_11;
wire [7:0] oData_12;
wire [7:0] oData_13;
wire [7:0] oData_21;
wire [7:0] oData_22;
wire [7:0] oData_23;
wire [7:0] oData_31;
wire [7:0] oData_32;
wire [7:0] oData_33;
initial begin
#20 rst_n <= 1'b1;
#20 iValid <= 1'b1;
// 第一行数据
repeat(640) begin
iData <= $random;
#20;
end
iValid <= 1'b0;
#100 iValid <= 1'b1;
// 第二行数据
repeat(640) begin
iData <= $random;
#20;
end
iValid <= 1'b0;
#100 iValid <= 1'b1;
// 第三行数据
repeat(640) begin
iData <= $random;
#20;
end
#500 $stop;
end
filter_3x3 inst_filter_3x3(
.clk (clk),
.rst_n (rst_n),
.iValid (iValid),
.iData (iData),
.oValid (oValid),
.oData_11 (oData_11),
.oData_12 (oData_12),
.oData_13 (oData_13),
.oData_21 (oData_21),
.oData_22 (oData_22),
.oData_23 (oData_23),
.oData_31 (oData_31),
.oData_32 (oData_32),
.oData_33 (oData_33)
);
endmodule
波形分析
可以看出,3x3卷积模板的第三行最先出现,然后是第二行,最后才是第一行。
输入像素第一行的最前面几个像素如图,前三个为36,129,9。
输入像素第二行最前面几个像素如图,前三个像素为235,248,242:
此时再来看输入像素第三行,前三个像素为121,205,146:
上图黄色竖线处即可看到oData11 ~ oData33为36,129,9,235,248,242,121,205,146,正是每一行的前三个像素。
这个模板的移动类似于下图,最开始时模板只有右下角一个像素,然后向右移动,遍历完一行就遍历下一行。
虽然跟正常的卷积比,这个模板向左上角错位了,但视觉上影响不大,用它来做图像处理足够了。