Implementasi Akselerator Cnn Fixed-Point 16-Bit Terintegrasi Double Frame Memory Pada Fpga

Alex Cinatra, Prof. Dr.Eng. Ir. Igi Ardiyanto, S.T., M.Eng., IPM., ASEAN Eng., SMIEEE., Ir. Agus Bejo, S.T., M.Eng., D.Eng., IPM.

2026 | Skripsi | TEKNOLOGI INFORMASI

Implementasi Convolutional Neural Network (CNN) pada sistem tertanam membutuhkan rancangan yang akurat, rendah latensi, hemat daya, dan dapat terintegrasi dengan jalur akuisisi citra. Penelitian ini merancang dan mengintegrasikan akselerator CNN berbasis komputasi fixed-point 16-bit pada board FPGA Digilent Arty A7-100T, dengan kamera OV7670 sebagai sumber citra, DDR3 SDRAM sebagai frame buffer, modul region of interest, CNN accelerator berbasis Verilog, modul argmax, dan keluaran VGA. Model CNN dilatih menggunakan Python pada dataset MNIST berukuran 28 × 28 piksel, kemudian bobot dan bias dikuantisasi ke format Q2.14 yang tidak menunjukkan saturasi. Hasil implementasi menunjukkan CNN accelerator menghasilkan keluaran inferensi dalam 3802 siklus clock atau 38,02 µs pada 100 MHz, dengan throughput sekitar 26302 inferensi per detik. Estimasi daya total on-chip sistem terintegrasi adalah 1,099 W, dan penggunaan DSP mencapai 235 dari 240 DSP yang tersedia atau sekitar 97% pada board Arty A7-100T, sehingga integrasi kamera, memori, akselerator CNN, dan tampilan dapat direalisasikan dengan batas utama pada margin DSP yang sangat kecil.

The implementation of a Convolutional Neural Network (CNN) in an embedded system requires a design that is accurate, low latency, low power, and integrable with an image acquisition pipeline. This research designs and integrates a 16-bit fixed-point CNN accelerator on the Digilent Arty A7-100T FPGA board, with an OV7670 camera as the image source, DDR3 SDRAM as the frame buffer, a region-of-interest module, a Verilog-based CNN accelerator, an argmax module, and VGA output. The CNN model was trained in Python using the 28 × 28 MNIST dataset, then its weights and biases were quantized into Q2.14 without saturation. The implementation shows that the CNN accelerator produces inference output in 3802 clock cycles, or 38.02 µs at 100 MHz, with a throughput of approximately 26302 inferences per second. The estimated total on-chip power of the integrated system is 1.099 W, and DSP usage reaches 235 out of 240 available DSP blocks or about 97% on the Arty A7-100T board, indicating that the camera, memory, CNN accelerator, and display can be integrated on FPGA with the main limitation being the very small remaining DSP margin.

Kata Kunci : CNN, FPGA, fixed-point 16-bit, Arty A7-100T, OV7670, akselerator CNN, CNN, FPGA, 16-bit fixed-point, Arty A7-100T, OV7670, CNN accelerator.