ESP32-CAM Video Streaming Server Подключение I2C и SPI дисплеев

ESP-32 CAM модуль с камерой от Diymore

ESP32-CAM Video Streaming Server

Пример использования находится тут.

Предварительно надо установить библиотеки: Esp32 board in Arduino Ide Windows / Esp32 board in Arduino Ide Linux and Mac

Подробные настройки есть в статье.

В моем случае я использовал модуль AI-THINKER поэтому раскомментировал
#define CAMERA_MODEL_AI_THINKER

У меня не заработала функиональность распознования лиц. Коментарий в статье был полезен.

It seems that face recognition is no longer working (at least with the example program) when using the 1.02 ESP core. Rolling back to the 1.01 core and using the example program belonging to that core, will ‘fix’ it

Откатившись на предыдущую версию библиотеки 1.01 все заработало.

У меня есть пару диспллев I2C 128x64 и TFT SPI 128x128

Cтатья OV7670 with FIFO как подключить камеру к дисплею если у вас не CAM модуль. Support OV2640 and OV7670 cameras

На момент написания статьи у меня заработало следующее

ESP32 camera + Wifi Server + I2C Display (AdaFruit)
ESP32 camera + SPI Display 1.44" TFT 128x128 v1.1 (AdaFruit)
ESP32 camera + SPI Display 1.8" TFT 128*160 (Espressif библиотека)

WiFi Server конфликтует с ISP. Возможное решение использовать другую библиотеку. Проблема возникала на моменте инициализации WiFi модуля.

Основная проблема, что модуль ESP32-CAM имеет ограниченное число свободных ног. Часть портов используется для камеры, часть параллельно с sd-card. sd-card разьем установлена на плате. Еще один вывод (IO4) это светодиодный фонарь.

I2C Display B/W не представляет особого интереса для реального использования с изображением полученным с камеры. TFT цветной и с большим разрешением. На нем уже можно рассмотреть лицо. На таком дисплее или чуть с большим разрешением можно сделать Дверной Глазок

Скажу сразу, что библиотека от AdaFruit не самая быстарая. Мне удалось выводить на экран пару кадров в секунду. Перспективнее использовать библиотеки которые работают на низком уровне. Но мне не удалось завести ESP32_TFT_library с моим дисплеем 1.44" 128x128 SPI V1.1. Возможно не поддерживается ILI9163. Я взял 1.8" 128*160 SPI TFT и мне удалось выжать около 12 FPS! Ссылка.

Есть еще пару библиотек которые работают быстрее. Но некоторые не портированы для esp-32 (ссылка):

4.98 sec Adafruit_ST7735
1.71 sec ST7735X_kbv
1.30 sec PDQ_ST7735

Видео выглядит впечатляюще:

При использовании двух портов SPI и дисплея c драйвером ILI9341 можно получить 30 кадров в секунду (ссылка).

Но как я говорил ранее в модуле ESP32-CAM свободный только один SPI. Он выведен на следующие PINS:

IO2 — DC(A0)
IO14 — CLK
IO15 — CS
IO13 — MOSI (SDA)
IO12 — MISO (Вход. Не используется)

IO0 — BCKL (Подсветка. Не используется)
IO16 — RST

Первую библитотеку, которую я попробовал это AdaFruit SSD1306

I2C 128x64 Blue OLED Display

#include <Wire.h>
#include <Adafruit_GFX.h>
#include <Adafruit_SSD1306.h>

#define SCREEN_WIDTH 128 // OLED display width, in pixels
#define SCREEN_HEIGHT 64 // OLED display height, in pixels

// Declaration for an SSD1306 display connected to I2C (SDA, SCL pins)
#define OLED_RESET     -1 // Reset pin # (or -1 if sharing Arduino reset pin)

Adafruit_SSD1306 display;

void init_display(){
    pinMode(14,INPUT_PULLUP);
    pinMode(15,INPUT_PULLUP);
    Wire.begin(14,15);
    display = Adafruit_SSD1306(SCREEN_WIDTH, SCREEN_HEIGHT, &Wire, OLED_RESET);
  if(!display.begin(SSD1306_SWITCHCAPVCC, 0x3C)) { // Address 0x3D for 128x64
    Serial.println(F("SSD1306 allocation failed"));
    for(;;); // Don't proceed, loop forever
  }

    ....

#define BACKCOLOR 0x0000 // Black
#define PIXELCOLOR 0xFFFF  // White

#define FRAME_WIDTH 320
#define FRAME_HEIGHT 240

uint16_t pixel_color = 0;

esp_err_t camera_capture(){
    //acquire a frame
    camera_fb_t * fb = esp_camera_fb_get();
    if (!fb) {
        ESP_LOGE(TAG, "Camera Capture Failed");
        return ESP_FAIL;
    }
  int i = 0;
  
  for(int y = 0; y < SCREEN_HEIGHT; y++){
    for(int x = 0; x < SCREEN_WIDTH; x++){
      i = y * FRAME_WIDTH + x; // FRAMESIZE_QVGA // 320x240
      char ch = (char)fb->buf[i];

      if (ch > 128)
         pixel_color = WHITE;
      else 
         pixel_color = BLACK;

      // Draw a single pixel in white 
      display.drawPixel(x, y, pixel_color);
     }
  }
    display.display();

    //return the frame buffer back to the driver for reuse
    esp_camera_fb_return(fb);
    Serial.println("Capture frame ok.");
    return ESP_OK;
}

При работе в esp32 используется Software I2C эмуляция. Задействованы IO14 и IO15. Можно использовать почти любые свободные порты, используется не H/W шина.

Как подключать Monochrome 0.96" i2c OLED display. Надо обратить внимание на адрес дисплея на шине I2С. В данном случае 0x3С

SPI Display 1.8" TFT 128*160 Espressif библиотека

Схема подключения:

IO2 — A0
IO14 — SCK
IO15 — CS
IO13 — SDA
IO16 — RESET

На плате также расположен SD-card reader

Конфигурация IO:

// Configuration for other boards, set the correct values for the display used
//----------------------------------------------------------------------------
#define DISP_COLOR_BITS_24	0x66
//#define DISP_COLOR_BITS_16	0x55  // Do not use!

// #############################################
// ### Set to 1 for some displays,           ###
//     for example the one on ESP-WROWER-KIT ###
// #############################################
#define TFT_INVERT_ROTATION 0
#define TFT_INVERT_ROTATION1 0

// ################################################
// ### SET TO 0X00 FOR DISPLAYS WITH RGB MATRIX ###
// ### SET TO 0X08 FOR DISPLAYS WITH BGR MATRIX ###
// ### For ESP-WROWER-KIT set to 0x00           ###
// ################################################
#define TFT_RGB_BGR 0x08

// ##############################################################
// ### Define ESP32 SPI pins to which the display is attached ###
// ##############################################################

// The pins configured here are the native spi pins for HSPI interface
// Any other valid pin combination can be used
#define PIN_NUM_MISO 12		// SPI MISO
#define PIN_NUM_MOSI 13		// SPI MOSI
#define PIN_NUM_CLK  14		// SPI CLOCK pin
#define PIN_NUM_CS   15		// Display CS pin
#define PIN_NUM_DC   2		// Display command/data pin
#define PIN_NUM_TCS  0		// Touch screen CS pin (NOT used if USE_TOUCH=0)

// --------------------------------------------------------------
// ** Set Reset and Backlight pins to 0 if not used !
// ** If you want to use them, set them to some valid GPIO number
#define PIN_NUM_RST  0  	// GPIO used for RESET control

#define PIN_NUM_BCKL 0  	// GPIO used for backlight control
#define PIN_BCKL_ON  0  	// GPIO value for backlight ON
#define PIN_BCKL_OFF 1  	// GPIO value for backlight OFF
// --------------------------------------------------------------

// #######################################################
// Set this to 1 if you want to use touch screen functions
// #######################################################
#define USE_TOUCH	TOUCH_TYPE_NONE
// #######################################################

// #######################################################################
// Default display width (smaller dimension) and height (larger dimension)
// #######################################################################
#define DEFAULT_TFT_DISPLAY_WIDTH  128
#define DEFAULT_TFT_DISPLAY_HEIGHT 160
// #######################################################################

#define DEFAULT_GAMMA_CURVE 0
#define DEFAULT_SPI_CLOCK   32000000
#define DEFAULT_DISP_TYPE   DISP_TYPE_ST7735B
//----------------------------------------------------------------------------

#define TFT_INVERT_ROTATION         0
#define TFT_INVERT_ROTATION1        1
#define TFT_INVERT_ROTATION2        0 

Устанавливаем окружение и среду разработки от Espressif. Подробная инструкция как это сделать.

Устанавливаем библиотеку. Нужно внести два исправления, что бы собрать библиотеку.

Makefile:

+ CFLAGS += -Wno-error=tautological-compare 
+         -Wno-implicit-fallthrough 
+		  -Wno-implicit-function-declaration

components/tft/tftspi.c:

+ #include "driver/gpio.h

→ Патч

Затем устанавливаем ESP32 Camera Driver.

Конфигурируем:

#. $HOME/esp/esp-idf/export.sh
#idf.py menuconfig

Разрешаем доступ для USB порта для прошивки и мониторинга:

#sudo chmod 777 /dev/ttyUSB0

Собираем и заливаем:

#make -j4 && make flash

12FPS достигается за счет пакетной записи с помощью метода send_data. Запись идет не попиксельно, а целой линией равной ширине экрана:

esp_err_t camera_capture(){
    uint32_t tstart, t1, t2;
	tstart = clock();
    //acquire a frame
    camera_fb_t * fb = esp_camera_fb_get();
    if (!fb) {
        printf("Camera Capture Failedn");
        return ESP_FAIL;
    }
    t1 = clock() - tstart;
    printf("Capture camera time: %u msrn", t1);

    int i = 0, bufPos = 0;

    uint8_t hb, lb;
    color_t color;
    color_t *color_line = heap_caps_malloc(_width*3, MALLOC_CAP_DMA);

    tstart = clock();

    for(int y = 0; y < _height; y++)
    {
  	 bufPos = 0;
        for(int x = 0; x < _width; x++)
        {
            i = (y * FRAME_WIDTH + x) << 1;

            hb = fb->buf[i] ;
            lb = fb->buf[i + 1];
      
            color.r = (lb & 0x1F) << 3;
            color.g = (hb & 0x07) << 5 | (lb & 0xE0) >> 3;
            color.b =  hb & 0xF8;

            color_line[bufPos] = color;
            bufPos++;
//         TFT_drawPixel(0, 0, color, 1);
       }
       disp_select();
       send_data(0, y, _width-1, y, _width, color_line);
       wait_trans_finish(1);
       disp_deselect();
    }

    free(color_line);

    t1 = clock() - tstart;
    printf("Send buffer time: %u msrn", t1);
    esp_camera_fb_return(fb);
    printf("Capture frame ok.n");
    return ESP_OK;
}

// #if defined(CAMERA_MODEL_AI_THINKER)
#define PWDN_GPIO_NUM     32
#define RESET_GPIO_NUM    -1
#define XCLK_GPIO_NUM      0
#define SIOD_GPIO_NUM     26
#define SIOC_GPIO_NUM     27

#define Y9_GPIO_NUM       35
#define Y8_GPIO_NUM       34
#define Y7_GPIO_NUM       39
#define Y6_GPIO_NUM       36
#define Y5_GPIO_NUM       21
#define Y4_GPIO_NUM       19
#define Y3_GPIO_NUM       18
#define Y2_GPIO_NUM        5
#define VSYNC_GPIO_NUM    25
#define HREF_GPIO_NUM     23
#define PCLK_GPIO_NUM     22

void camera_init_(){
  camera_config_t config;
  config.ledc_channel = LEDC_CHANNEL_0;
  config.ledc_timer = LEDC_TIMER_0;
  config.pin_d0 = Y2_GPIO_NUM;
  config.pin_d1 = Y3_GPIO_NUM;
  config.pin_d2 = Y4_GPIO_NUM;
  config.pin_d3 = Y5_GPIO_NUM;
  config.pin_d4 = Y6_GPIO_NUM;
  config.pin_d5 = Y7_GPIO_NUM;
  config.pin_d6 = Y8_GPIO_NUM;
  config.pin_d7 = Y9_GPIO_NUM;
  config.pin_xclk = XCLK_GPIO_NUM;
  config.pin_pclk = PCLK_GPIO_NUM;
  config.pin_vsync = VSYNC_GPIO_NUM;
  config.pin_href = HREF_GPIO_NUM;
  config.pin_sscb_sda = SIOD_GPIO_NUM;
  config.pin_sscb_scl = SIOC_GPIO_NUM;
  config.pin_pwdn = PWDN_GPIO_NUM;
  config.pin_reset = RESET_GPIO_NUM;
  config.xclk_freq_hz = 20000000;
  config.fb_count = 2;

// for display
  config.frame_size = FRAMESIZE_QVGA;
  config.pixel_format = PIXFORMAT_RGB565;
  // camera init
  esp_err_t err = esp_camera_init(&config);
  if (err != ESP_OK) {
    printf("Camera init failed with error 0x%x", err);
    return;
  }

  printf("Camera init OKn");
}

→ Gist

FRAME_WIDTH — это ширина кадра 320 пикселей для QVGA

config.frame_size = FRAMESIZE_QVGA; // 320x240

На самом деле мы видим на дисплее окно 128*160 от полного кадра

Log для конфигурации с одним буфером видеокамеры (config.fb_count=1)
Capture camera time: 32 ms
Send buffer time: 47 ms
Capture frame ok.

Результат
1000 / (32 + 47) = 12.65 FPS

За счет использования второго буфера видеокамеры, буфер в некоторых циклах получается мгновенно. Вначале полный цикл получается меньше чем с использованием одного буфера, но потом это время «набегает». Интервал между циклами плавает.

Несколько раз я поймал в логах «Brownout detector was triggered» поэтому отключил detector. Потому что сначала я питал подсветку дисплей от вывода 3.3V ESP32-CAM

#include "soc/rtc_cntl_reg.h"
...
WRITE_PERI_REG(RTC_CNTL_BROWN_OUT_REG, 0); //disable brownout detector

Заключение

ESP32 недорогой функциональный модуль. Катастрофически не хватает выводов для реализованных портов в CAM версии платы, поэтому выбирайте версию CAM если вам действительно нужна камера.

Автор: app-z

Источник