Главная→Схемы на Arduino→Отслеживание лиц с помощью Arduino и OpenCV

Отслеживание лиц с помощью Arduino и OpenCV

Опубликовано 08.09.2021 автором admin-new1 марта, 2026

Распознавание лиц в настоящее время применяется во множестве разнообразных устройств и технологий. Но прежде чем производить операцию распознавания лица человека, необходимо это лицо сначала обнаружить в видеопотоке или на изображении и, если требуется, производить отслеживание этого лица во время его перемещений.

В данной статье мы рассмотрим отслеживание человеческих лиц с помощью платы Arduino, библиотеки OpenCV и языка программирования Python. Для обнаружения лица человека в видеопотоке мы будем использовать каскады (классификаторы) Хаара (Harr cascade classifiers) из библиотеки OpenCV, а для отслеживания его местоположения мы применим сервомотор, который будет управлять движениями камеры. Управляться сервомотор будет с помощью команд от платы Arduino.

Ранее на нашем сайте мы уже рассматривали проект робота на Arduino, распознающего и отслеживающего лица, в основе работы которого лежало специальное приложение для Android. Но данный проект отслеживания лиц с помощью Arduino является по сравнению с ним более “продвинутым”, поскольку использует возможности такой общепризнанной и весьма мощной библиотеки для обработки изображений как OpenCV.

Необходимые компоненты

Аппаратное обеспечение

Плата Arduino Uno (купить на AliExpress).
USB камера.
Сервомотор SG90 (2 шт.) (купить на AliExpress).
Макетная плата.
Соединительные провода.

Реклама: ООО "АЛИБАБА.КОМ (РУ)" ИНН: 7703380158

Программное обеспечение

Arduino IDE.
Python 3.8.

Общие принципы работы проекта

Алгоритмы обнаружения человеческих лиц идентифицируют и локализуют местоположение лиц, игнорируя при этом все фоновые объекты: занавески, ока, деревья и др. Библиотека OpenCV для обнаружения лиц использует так называемые классификаторы Хаара. В процессе анализа каждый кадр видео потока последовательно проходит через несколько классификаторов и если он прошел через все классификаторы, то лицо считается обнаруженным, иначе кадр отбрасывается, то есть обнаружение лица на нем не фиксируется.

Библиотека OpenCV возвращает декартовы координаты (x и y) фрагмента изображения с обнаруженным лицом с высотой (height) и шириной (width) изображения. После этого вычислить координаты центра этого фрагмента изображения можно в соответствии с выражениями: x+width/2 и y+height/2.

Ранее на нашем сайте мы рассматривали обработку изображений с помощью библиотеки OpenCV, запущенной на плате Raspberry Pi, в следующих проектах:

Разумеется, вычислительные возможности платы Arduino Uno значительно скромнее, чем у платы Raspberry Pi, поэтому библиотеку OpenCV на ней непосредственно использовать нельзя. Да и объем памяти не получит. Поэтому в нашем случае использование библиотеки OpenCV для обнаружения лиц производится с помощью программы на Python, запущенной на персональном компьютере или ноутбуке. В этом случае принцип работы нашего проекта можно изобразить следующим рисунком:

Далее координаты фрагмента изображения с обнаруженным лицом человека по последовательному каналу связи передаются с компьютера в плату Arduino Uno с помощью библиотеки pyserial. На основе значений этих координат плата Arduino Uno управляет двумя подключенными к ней сервомоторами (как подключить сервомотор к плате Arduino можно прочитать в этой статье), которые и реализуют механизм поворота/наклона USB камеры, с которой осуществляется считывание видео потока. Если координаты центра обнаруженного лица находятся далеко от центра изображения, то производится коррекция положения камеры на 2 градуса в сторону, обеспечивающую приближение центра лица к центру изображения.

Более подробно про способы взаимодействия программы на Python, запущенной на компьютере, с платой Arduino, вы можете прочитать в данной статье.

Обнаружение лица

Автор проекта (ссылка на оригинал приведена в конце статьи) для обнаружения лиц использовал файл 'haarcascade_frontalface_default.xml'. Этот файл представляет собой заранее обученную модель для распознавания человеческих лиц и его можно скачать по этой ссылке.

Далее в программу его можно подключить с помощью команды:

cv2.CascadeClassifier('haarcascade_frontalface_default.xml')

1	cv2.CascadeClassifier('haarcascade_frontalface_default.xml')

После этого для обнаружения лиц в программе можно использовать функцию cv2.CascadeClassifier.detectMultiScale(), в которой значение 'scale factor' установлено равным 1.1 (значение по умолчанию), а значение 'minNeighbour' равно 6. Эта функция возвращает декартовы координаты изображения вместе с его высотой и шириной (height и width). Увеличение значения 'minNeighbour' может улучшить качество обнаружения (точность) лиц, однако приведет к уменьшению скорости работы программы, что, в свою очередь, приведет к задержке команды, подаваемой на сервомоторы. Автор проекта в результате проведенных экспериментов определил, что значение 6 параметра 'minNeighbour' в данном случае является оптимальным.

Для улучшения точности определения положения лиц желательно чтобы фон на заднем плане изображения был по возможности однородным.

Расчет координат

Библиотека OpenCV возвращает координаты обнаруженного лица в пикселах. По умолчанию разрешение видео устанавливается равным 640*480. Возвращаемые координаты определяют верхний левый угол изображения вместе со значениями его высоты и ширины (height и width). Мы будем рассчитывать координаты центра изображения по формулам x+width/2 и y+height/2 и показывать его на изображении зеленой точкой. Далее эти координаты передаются плате Arduino, которая дает команды сервомоторам на перемещение камеры вверх/вниз и влево/вправо.

Когда центр лица определен, то зеленая точка должна находиться внутри белого прямоугольника. Если она находится вне этого прямоугольника, то значит лицо переместилось и дается команда на соответствующее перемещение камеры.

Передача последовательных данных плате Arduino

Автор проекта провел много экспериментов прежде чем нашел быстрый способ последовательной передачи найденных значений координат в плату Arduino. В результате он решил использовать функцию Serial.parseInt(), которая извлекает числа целого типа (integer) из поступающего последовательного потока байтов. Описание этой функции можно посмотреть здесь.

Программа на python в нашем проекте передает координаты центра изображения в виде строки, например, в строке "X100Y200" значение 100 будет соответствовать координате x, а значение 200 – координате y.

Управление сервомоторами

Автор проекта закрепил сервомоторы на камере с помощью стержней и обычных резинок. Внешний вид получившейся у него конструкции проекта показан на следующем рисунке.

Поскольку в проекте используется два сервомотора, то рекомендуется дополнительно запитать плату Arduino от адаптера 9V, потому что питания, получаемого ею через USB кабель, будет не хватать для удовлетворительного управления двумя сервомоторами и в этом случае могут наблюдаться нежелательные вибрации при их движениях.

Используемые библиотеки

Для проекта требуются библиотеки pyserial и opencv, которые можно скачать с помощью установщика pip. Автор проекта использовал версию python 3.8 и версию OpenCV 4.4.0, поэтому перед реализацией проекта убедитесь в том, что у вас такие же версии python и OpenCV, или выше. Также удостоверьтесь в том, что скачанный XML файл с моделью обнаружения лиц помещен в тот же самый каталог, откуда вы будете запускать скрипт на python.

Также вам необходимо внести изменения в строку 9 представленного далее кода программы – в ней вы должны изменить номер COM порта компьютера, к которому подключена плата Arduino, на свой.

Пример работы проекта вы можете посмотреть на следующем gif изображении.

Исходные коды программ

Код скетча для Arduino

//Face Tracker using OpenCV and Arduino
//by Shubham Santosh

#include<Servo.h>

Servo x, y;
int width = 640, height = 480;  // total resolution of the video (разрешение видео)
int xpos = 90, ypos = 90;  // initial positions of both Servos (начальная позиция обоих сервомоторов)
void setup() {

  Serial.begin(9600);
  x.attach(9);
  y.attach(10);
  // Serial.print(width);
  //Serial.print("\t");
  //Serial.println(height);
  x.write(xpos);
  y.write(ypos);
}
const int angle = 2;   // degree of increment or decrement (число градусов, на которое осуществляется поворот камеры за одно действие)

void loop() {
  if (Serial.available() > 0)
  {
    int x_mid, y_mid;
    if (Serial.read() == 'X')
    {
      x_mid = Serial.parseInt();  // read center x-coordinate (считываем x-координату)
      if (Serial.read() == 'Y')
        y_mid = Serial.parseInt(); // read center y-coordinate (считываем y-координату)
    }
    /* adjust the servo within the squared region if the coordinates
        is outside it
       (вычисляем параметры корректировки положения камеры если зеленая точка находится за пределами белого прямоугольника) 
    */
    if (x_mid > width / 2 + 30)
      xpos += angle;
    if (x_mid < width / 2 - 30)
      xpos -= angle;
    if (y_mid < height / 2 + 30)
      ypos -= angle;
    if (y_mid > height / 2 - 30)
      ypos += angle;


    // if the servo degree is outside its range (если рассчитанное значение градуса находится вне допустимого диапазона)
    if (xpos >= 180)
      xpos = 180;
    else if (xpos <= 0)
      xpos = 0;
    if (ypos >= 180)
      ypos = 180;
    else if (ypos <= 0)
      ypos = 0;

    x.write(xpos);
    y.write(ypos);

    // used for testing
    //Serial.print("\t");
    // Serial.print(x_mid);
    // Serial.print("\t");
    // Serial.println(y_mid);
  }
}

//Face Tracker using OpenCV and Arduino

//by Shubham Santosh

#include<Servo.h>

Servo x, y;

int width = 640, height = 480; // total resolution of the video (разрешение видео)

int xpos = 90, ypos = 90; // initial positions of both Servos (начальная позиция обоих сервомоторов)

void setup() {

Serial.begin(9600);

x.attach(9);

y.attach(10);

// Serial.print(width);

//Serial.print("\t");

//Serial.println(height);

x.write(xpos);

y.write(ypos);

}

const int angle = 2; // degree of increment or decrement (число градусов, на которое осуществляется поворот камеры за одно действие)

void loop() {

if (Serial.available() > 0)

{

int x_mid, y_mid;

if (Serial.read() == 'X')

{

x_mid = Serial.parseInt(); // read center x-coordinate (считываем x-координату)

if (Serial.read() == 'Y')

y_mid = Serial.parseInt(); // read center y-coordinate (считываем y-координату)

}

/* adjust the servo within the squared region if the coordinates

is outside it

(вычисляем параметры корректировки положения камеры если зеленая точка находится за пределами белого прямоугольника)

if (x_mid > width / 2 + 30)

xpos += angle;

if (x_mid < width / 2 - 30)

xpos -= angle;

if (y_mid < height / 2 + 30)

ypos -= angle;

if (y_mid > height / 2 - 30)

ypos += angle;

// if the servo degree is outside its range (если рассчитанное значение градуса находится вне допустимого диапазона)

if (xpos >= 180)

xpos = 180;

else if (xpos <= 0)

xpos = 0;

if (ypos >= 180)

ypos = 180;

else if (ypos <= 0)

ypos = 0;

x.write(xpos);

y.write(ypos);

// used for testing

//Serial.print("\t");

// Serial.print(x_mid);

// Serial.print("\t");

// Serial.println(y_mid);

}

Код программы на python

#Face tracker using OpenCV and Arduino
#by Shubham Santosh

import cv2
import serial,time
face_cascade= cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
cap=cv2.VideoCapture(1)
#fourcc= cv2.VideoWriter_fourcc(*'XVID')
ArduinoSerial=serial.Serial('com7',9600,timeout=0.1)
#out= cv2.VideoWriter('face detection4.avi',fourcc,20.0,(640,480))
time.sleep(1)

while cap.isOpened():
    ret, frame= cap.read()
    frame=cv2.flip(frame,1)  #mirror the image (зеркало изображения)
    #print(frame.shape)
    gray = cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY) # конвертируем изображение в серое
    faces= face_cascade.detectMultiScale(gray,1.1,6)  #detect the face (обнаруживаем лицо)
    for x,y,w,h in faces:
        #sending coordinates to Arduino (передаем координаты в Arduino)
        string='X{0:d}Y{1:d}'.format((x+w//2),(y+h//2))
        print(string)
        ArduinoSerial.write(string.encode('utf-8'))
        #plot the center of the face
        cv2.circle(frame,(x+w//2,y+h//2),2,(0,255,0),2)
        #plot the roi (рисуем область, существенную для анализа)
        cv2.rectangle(frame,(x,y),(x+w,y+h),(0,0,255),3)
    #plot the squared region in the center of the screen (рисуем белый прямоугольник в центре изображения)
    cv2.rectangle(frame,(640//2-30,480//2-30),
                 (640//2+30,480//2+30),
                  (255,255,255),3)
    #out.write(frame)
    cv2.imshow('img',frame)
    #cv2.imwrite('output_img.jpg',frame)
    '''for testing purpose
    read= str(ArduinoSerial.readline(ArduinoSerial.inWaiting()))
    time.sleep(0.05)
    print('data from arduino:'+read)
    '''
    # press q to Quit (нажмите q для выхода из программы)
    if cv2.waitKey(10)&0xFF== ord('q'):
        break
cap.release()
cv2.destroyAllWindows()

#Face tracker using OpenCV and Arduino

#by Shubham Santosh

import cv2

import serial,time

face_cascade= cv2.CascadeClassifier('haarcascade_frontalface_default.xml')

cap=cv2.VideoCapture(1)

#fourcc= cv2.VideoWriter_fourcc(*'XVID')

ArduinoSerial=serial.Serial('com7',9600,timeout=0.1)

#out= cv2.VideoWriter('face detection4.avi',fourcc,20.0,(640,480))

time.sleep(1)

while cap.isOpened():

ret, frame= cap.read()

frame=cv2.flip(frame,1) #mirror the image (зеркало изображения)

#print(frame.shape)

gray = cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY) # конвертируем изображение в серое

faces= face_cascade.detectMultiScale(gray,1.1,6) #detect the face (обнаруживаем лицо)

for x,y,w,h in faces:

#sending coordinates to Arduino (передаем координаты в Arduino)

string='X{0:d}Y{1:d}'.format((x+w//2),(y+h//2))

print(string)

ArduinoSerial.write(string.encode('utf-8'))

#plot the center of the face

cv2.circle(frame,(x+w//2,y+h//2),2,(0,255,0),2)

#plot the roi (рисуем область, существенную для анализа)

cv2.rectangle(frame,(x,y),(x+w,y+h),(0,0,255),3)

#plot the squared region in the center of the screen (рисуем белый прямоугольник в центре изображения)

cv2.rectangle(frame,(640//2-30,480//2-30),

(640//2+30,480//2+30),

(255,255,255),3)

#out.write(frame)

cv2.imshow('img',frame)

#cv2.imwrite('output_img.jpg',frame)

'''for testing purpose

read= str(ArduinoSerial.readline(ArduinoSerial.inWaiting()))

time.sleep(0.05)

print('data from arduino:'+read)

'''

# press q to Quit (нажмите q для выхода из программы)

if cv2.waitKey(10)&0xFF== ord('q'):

break

cap.release()

cv2.destroyAllWindows()

Источник статьи

(Проголосуй первым!)

Загрузка...

5 933 просмотров

Николай говорит 30.04.2026 в 08:39:

Здравствуйте, возникла проблема с сервоприводами, после запуска программы, они некоторое время двигаются, а после перестают, подключал по такой схеме, в чем может быть причина?
Пин SG90 (1й) Пин SG90 (2й) Arduino Uno
Коричневый Коричневый GND
Красный Красный 5V
Оранжевый Оранжевый 9 (для 1-го) и 10 (для 2-го)

Ответить ↓
- admin-new говорит 30.04.2026 в 21:17:
  
  Добрый вечер.
  Скорее всего, проблема в том, что сервоприводы через некоторое время перестают двигаться, вероятно, связана с питанием. На вашей схеме оба сервопривода запитаны от встроенного регулятора 5V платы Arduino Uno, который может обеспечить ток до 500 мА (при питании платы через USB — всего около 400-500 мА). Два сервопривода SG90 при работе могут потреблять пиковый ток до 500–700 мА (каждый до 250–300 мА под нагрузкой). В итоге:
  При старте сервы двигаются, напряжение проседает, но ещё терпимо.
  Через несколько секунд/минут встроенный регулятор перегревается и уходит в защиту (отключается), либо напряжение падает ниже рабочего уровня — сервы останавливаются (а плата может сброситься или работать нестабильно).
  
  Как это исправить
  1. Подать отдельное питание на сервоприводы (рекомендуется)
  Подключите питание сервоприводов не от 5V пина Arduino, а от внешнего источника 5–6 В, способного отдать 1 А и более. Схема:
  «+» серв (красный провод) → к «+» внешнего источника (например, 4×AA батарейки — 4,8–6 В, или стабилизатор 5В/1А от 7–12 В).
  «-» серв (коричневый провод) → к GND внешнего источника И к GND Arduino (объединить «земли»).
  Сигнальный провод (оранжевый) → к пинам 9 и 10 Arduino как и раньше.
  Важно: Общая земля (GND) внешнего источника и Arduino обязательна, иначе сигнал не будет работать.
  
  2. Установить большой конденсатор рядом с сервами
  Если нет возможности внешнего питания прямо сейчас, попробуйте поставить электролитический конденсатор 470–1000 мкФ (на 6,3 В или выше) параллельно выводам 5V и GND на плате, ближе к сервоприводам. Это сгладит пиковые броски тока, но не решит проблему перегрева регулятора при длительной работе.
  
  3. Временно отключить один сервомотор
  Отключите один из сервоприводов и проверьте — будет ли второй работать стабильно. Так вы точно убедитесь, что причина в питании.
  
  Другие возможные причины (менее вероятны)
  1. Потеря связи по COM-порту — код на Python отправляет координаты, но плата перестаёт их получать (ошибка в порте, залипание буфера). Проверьте, горят ли светодиоды RX/TX на Arduino при движении серв.
  2. Ошибка в коде Python/Arduino — возможно, после некоторого времени программа на компьютере «засыпает» или перестаёт отправлять данные, если лицо не обнаруживается. Добавьте в Python-скрипт print(x, y) в цикл, чтобы видеть, отправляются ли координаты.
  3.Неисправные сервоприводы — SG90 могут выходить из строя при недопустимой нагрузке (заклинивание). Попробуйте подключить каждый серв отдельно к Arduino с простым скетчем (например, поворот от 0 до 180 градусов каждую секунду) — работают ли они стабильно?
  
  Итог
  С большой вероятностью проблема в перегрузке регулятора 5V на Arduino. Сделайте отдельное питание для сервоприводов с общей землёй, и они должны работать постоянно, не останавливаясь.
  Если после этого сервы всё равно останавливаются через некоторое время — проверьте, не перегреваются ли они сами (это может быть из-за чрезмерной механической нагрузки или дефекта).
  
  Ответить ↓
ыы говорит 21.02.2024 в 14:03:

к какому порту на плате подключать 2 сервомотора ????

Ответить ↓
- admin-new говорит 21.02.2024 в 22:00:
  
  К любым цифровым контактам платы, только их надо указать в начале программы через define. Почему то автор программы забыл это сделать. Ну в своем реальном проекте он наверняка это сделал, только забыл это сделать когда выкладывал код программы своего проекта в общий доступ.
  
  Ответить ↓
Алексей говорит 26.08.2023 в 12:07:

Здравствуйте! Эта плата ардуино подойдет?
Ссылка: ozon.ru/product/plata-kontrollera-arduino-uno-r3-atmega-328-ch340g-arduino-ide-sovmestimaya-622002433/?sh=darqblYljw&reviewsVariantMode=2

Ответить ↓
- admin-new говорит 26.08.2023 в 14:28:
  
  Добрый день. Да, должна подойти если описание соответствует действительности
  
  Ответить ↓
  - Алексей говорит 01.09.2023 в 15:31:
    
    Здравствуйте еще раз! Все заказал плату, пришла
    Только куда подключать два желтых кабелей сервомоторов?
    И можно ли их вместе питать подключив в порты 5V и GND?
    
    Ответить ↓
    - admin-new говорит 01.09.2023 в 21:06:
      
      Добрый вечер. Вот, посмотрите статью про подключение серводвигателя к Arduino Uno, многие вопросы у вас отпадут. Два сервомотора нежелательно питать от платы Arduino если она получает питание по USB кабелю, в статье написано что в этом случае желательно запитать плату Arduino от адаптера 9V.
      
      Ответить ↓
      - Алексей говорит 04.09.2023 в 19:42:
        
        Спасибо все подключил!
        Вы не знаете как решить проблему, что сервомоторчики досих пор двигаются когда зелёная точка в белом квадрате?
        Сервомоторчики: MicroServo9G SG90
        И как убавить скорость их вращения?
        
        Ответить ↓
        
        admin-new говорит 04.09.2023 в 21:34:
        
        Рад за вас. Но обозначенную вами проблему как решить, к сожалению, не знаю, лично ни я, ни мои ученики этот проект не собирали. Хотя скорость вращения сервомоторов вроде от частоты ШИМ сигнала зависит. Для Arduino Uno, насколько я знаю, эту частоту можно изменить с помощью настройки таймеров. У меня на сайте такой информации нет, но в сети она есть, найти несложно.
Север говорит 09.05.2023 в 14:09:

вопрос такой, когда уже собрал всю работу добавил код и загрузил на плату, как нужно запустить весь проект, чтобы камера начала захватывать лицо?

Ответить ↓
- admin-new говорит 10.05.2023 в 15:45:
  
  Ну нужно еще на компьютере запустить на выполнение код представленной программы на python
  
  Ответить ↓
ы говорит 05.05.2023 в 23:23:

здравствуйте, Traceback (most recent call last):
File "C:/Users/Shoha/AppData/Local/Temp/arduino/sketches/recognition/py.py", line 15, in
faces= face_cascade.detectMultiScale(gray,1.1,6) #detect the face (обнаруживаем лицо)
cv2.error: OpenCV(4.7.0) D:\a\opencv-python\opencv-python\opencv\modules\objdetect\src\cascadedetect.cpp:1689: error: (-215:Assertion failed) !empty() in function 'cv::CascadeClassifier::detectMultiScale' выдает вот такую ошибку в коде python, как пофиксить не знаете?

Ответить ↓
- admin-new говорит 06.05.2023 в 09:59:
  
  Здравствуйте, нет, к сожалению не знаю
  
  Ответить ↓
Ы говорит 25.04.2023 в 11:06:

Здравствуйте, а какого вида соединительные провода используются в работе? МАМА-ПАПА?

Ответить ↓
- admin-new говорит 26.04.2023 в 13:32:
  
  Добрый день, ну это зависит от того какие у вас накладки на контакты платы Ардуино (обычно они под провод типа ПАПА, но возможны и другие вариации) и какие у вас коннекторы для подключения сервомотора
  
  Ответить ↓
Серғали говорит 05.06.2022 в 14:36:

здраствуйте, я хотел делать но трудности есть можете подробнее расказать

Ответить ↓
- admin-new говорит 05.06.2022 в 16:39:
  
  Добрый вечер. К сожалению не могу. Эту статью я только перевел, но ни я, ни мои студенты пока данный проект не собирали. Если у вас есть какой то конкретный вопрос по данному проекту, то могу попробовать на него ответить
  
  Ответить ↓
Алекс говорит 13.01.2022 в 15:42:

Здравствуйте.

Можно ли вместо двух сервомоторов sg90, использовать один sg90, а второй шаговый двигатель 28byj-48 ?

Ответить ↓
- admin-new говорит 15.01.2022 в 20:40:
  
  Добрый вечер. Теоретически проблем не вижу, с помощью шагового двигателя можно будет даже точнее позиционировать положение камеры. Необходимо будет только программу немного изменить. Вот, кстати, можете статью прочитать о подключении шагового двигателя 28byj-48 к плате Arduino.
  
  Ответить ↓

Отслеживание лиц с помощью Arduino и OpenCV

Необходимые компоненты

Аппаратное обеспечение

Программное обеспечение

Общие принципы работы проекта

Обнаружение лица

Расчет координат

Передача последовательных данных плате Arduino

Управление сервомоторами

Используемые библиотеки

Исходные коды программ

Код скетча для Arduino

Код программы на python

Комментарии

Отслеживание лиц с помощью Arduino и OpenCV — 20 комментариев

Добавить комментарий Отменить ответ

Необходимые компоненты

Аппаратное обеспечение

Программное обеспечение

Общие принципы работы проекта

Обнаружение лица

Расчет координат

Передача последовательных данных плате Arduino

Управление сервомоторами

Используемые библиотеки

Исходные коды программ

Код скетча для Arduino

Код программы на python

Похожие статьи

Добавить комментарий Отменить ответ