整个系统主要分为以下5个部分：摄像头传感器配置部分；图像数据采集与处理部分；图像缓存部分；VGA显示部分；以及PLL时钟管理部分；如图1所示。
按照配置表中的参数，将摄像头配置为分辨率为1280*720像素点、RGB565数据格式、VGA时序输出；然后通过I2C协议将参数配置给摄像头的每个寄存器。
摄像头配置完成后，在摄像头输出时钟pclk驱动下，完成图像数据的采集与处理；图像采集模块(capture)对摄像头输出的像素数据进行串并转换，然后给到后续的图像处理模块，依次进行灰度转换（rgb565_gray）、高斯滤波（gs_filter）、二值化处理（gray_bin）、Sobel边缘检测（sobel）；在进行二值化处理时，直接将灰度图像二值化为0或1。
主要是SDRAM读写控制逻辑（rw_control）与SDRAM接口（sdram_interface）；其中，rw_control模块作为Master向sdram_interface发起突发传输请求。
SDRAM读写优先级的仲裁以产生读写传输请求、地址等。
sdram_interface模块作为Slave执行Master发起的突发传输请求，主要是根据接收到读、写请求以及数据、地址等，向SDRAM芯片发起各种命令、地址、数据，实现SDRAM的数据存取。
主要是实现1080*720@60分辨率的VGA显示时序，驱动VGA接口的显示器显示处理结果。
主要是产生整个工程需要使用的几个时钟，100MHz的SDRAM控制器与SDRAM工作时钟、75MHz的VGA驱动时钟，24MHz的摄像头xclk时钟；图1中使用不同的颜色对不同的时钟域进行了标注。
实际上，我们在设计SDRAM控制器时需要考虑存储器的带宽是否大于实际所需吞吐量。而存储器的带宽是由其工作时钟频率决定的，但由于刷新、激活、预充电的存在，SDRAM的实际存取速度比其工作时钟频率略小；实际所需吞吐量是指单位时间内向SDRAM写入的数据量与从SDRAM读出数据量之和。当存储器带宽小于实际所需吞吐量时，由于存取速度超过SDRAM的存取带宽会导致数据来不及写入或者读出，此时无论写数据缓冲器与读数据缓冲器的深度设置为多大，必然会导致写缓冲区上溢或者读缓冲区下溢。对于高速视频流缓存场景，这种问题会造成灾难性的问题。因此，在设计SDRAM控制器时需要根据数据存取速度合理设置SDRAM的工作时钟频率。
接下来我们对部分模块的Verilog代码实现方案进行简单介绍。
高斯滤波模块与sobel边缘检测模块都涉及到二维矩阵卷积，所以如何生成一个3*3的二维矩阵是我们需要考虑的。实际上，这里我们可以调用Quartus Prime软件自带的移位存储器（shift_ram）IP核，将其配置为3个tap，每个tap之间的间距为1280个数据，如下图所示。然后对每个tap输出的数据打两拍即可得到3*3的像素矩阵。然后使用流水线实现像素数据与模板权重的卷积计算，既能提高实时性又能保证时序性能。
SDRAM控制器部分主要是对检测结果进行缓冲，由于我们使用的分辨率为1280*720，即使是二值（0、1）图像也需要两个大小为900Kbit的RAM存储器进行乒乓缓存，而我们使用的EP4CE6F17C8型号的FPGA片上RAM仅有270Kbit，远远不能满足需求；所以这里为了保证数据完整性，选用SDRAM来实现双缓冲。在实现乒乓缓存时，使用sop（帧起始）与eop（帧结束）来控制完整数据帧缓存或丢弃。
SDRAM接口模块主要是配置SDRAM芯片的工作模式、存取数据，为了保证SDRAM芯片以较高的吞吐量存取数据，这里将SDRAM配置成了连续突发模式、突发长度为512。由于SDRAM的指令较多，工作时序比较复杂，这里选择使用状态机来设计SDRAM接口时序，状态机设计如下图所示：
SDRAM乒乓缓存部分仿真结果如下图4所示；当向bank0写完第一帧数据之后，会丢弃下一帧数据，直到bank3中的一帧数据完整读完时才会切换读写bank，然后再缓存下一帧新的数据。从图5所示仿真结果可以看到，成功实现了对SDRAM两个Bank的交替存取，实现了乒乓缓存的效果。
本设计最终实现结果如图6所示，能够实时的检测图像边缘，提取出目标的轮廓，达到预期效果。但是由于光线影响等方面的原因，导致最终实现出来的效果不是非常完美。
作者介绍
李政，重庆海云捷迅FPGA培训讲师，重庆邮电大学硕士研究生学历，电子与通信工程专业，熟悉FPGA/SoC FPGA、STM32单片机等硬件应用开发。
英特尔FPGA中国创新中心自2018年成立以来，依托英特尔全球领先的FPGA技术，建立了线上与线下结合、理论与实战协同的人才培养体系，针对高校师生、工程师和开发人员提供从初级、中级、高级（软件/硬件）到专家级的多层次培训，致力于为行业持续输送专业人才。未来，在FPGA及人工智能教育领域，英特尔FPGA中国创新中心还将持续积极拓展产学研用、产教融合发展之路，积极自主研发创新成果和应用，助力面向未来的应用型人才培养、激发优秀创新团队成长、深度融合科研设备共享，积极推进国内FPGA生态建设，与各大高校合作促进人工智能学科体系的优化布局。
