Обнаружение ориентиров лица — важнейшая задача в приложениях компьютерного зрения, позволяющая выполнять различные задачи, такие как анализ лица, распознавание выражений и дополненная реальность. В этой статье мы сосредоточимся конкретно на выделении ориентиров губ с помощью модели FaceMesh. Мы рассмотрим несколько методов и предоставим примеры кода, которые помогут вам понять и реализовать обнаружение ориентиров губ в ваших проектах.

Метод 1: использование библиотеки MediaPipe FaceMesh
MediaPipe — отличная библиотека, разработанная Google Research, которая предоставляет предварительно обученные модели для различных задач компьютерного зрения. Чтобы обнаружить ориентиры губ с помощью FaceMesh, вы можете выполнить следующие действия:

Шаг 1. Установите библиотеку MediaPipe:

pip install mediapipe

Шаг 2. Импортируйте необходимые библиотеки и загрузите модель FaceMesh:

import cv2
import mediapipe as mp
mp_drawing = mp.solutions.drawing_utils
mp_face_mesh = mp.solutions.face_mesh
face_mesh = mp_face_mesh.FaceMesh()

Шаг 3. Захват и обработка видеокадров:

cap = cv2.VideoCapture(0)
while cap.isOpened():
    success, frame = cap.read()
    if not success:
        break
    # Convert the frame to RGB and process it
    rgb_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    results = face_mesh.process(rgb_frame)
    # Extract the lip landmarks
    if results.multi_face_landmarks:
        for face_landmarks in results.multi_face_landmarks:
            for landmark in face_landmarks.landmark:
                # Extract the lip landmarks (e.g., landmark.x, landmark.y, landmark.z)
                # Your code to process the lip landmarks here
    # Draw the landmarks on the frame
    mp_drawing.draw_landmarks(frame, face_landmarks, mp_face_mesh.FACE_CONNECTIONS)
    # Display the frame
    cv2.imshow('FaceMesh Lips Landmarks', frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
cap.release()
cv2.destroyAllWindows()

Метод 2: использование библиотеки DLib
DLib — популярная библиотека для различных задач компьютерного зрения, включая обнаружение ориентиров лица. Вот как вы можете использовать DLib для извлечения ориентиров губ:

Шаг 1. Установите библиотеку DLib:

pip install dlib

Шаг 2. Импортируйте необходимые библиотеки и загрузите модель предсказателя формы:

import cv2
import dlib
predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")
detector = dlib.get_frontal_face_detector()

Шаг 3. Захват и обработка видеокадров:

cap = cv2.VideoCapture(0)
while cap.isOpened():
    success, frame = cap.read()
    if not success:
        break
    # Convert the frame to grayscale for DLib
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    # Detect faces in the frame
    faces = detector(gray)
    for face in faces:
        landmarks = predictor(gray, face)
        # Extract the lip landmarks
        for n in range(48, 68):
            x = landmarks.part(n).x
            y = landmarks.part(n).y
            # Your code to process the lip landmarks here
        # Draw the landmarks on the frame
        for n in range(48, 68):
            x = landmarks.part(n).x
            y = landmarks.part(n).y
            cv2.circle(frame, (x, y), 2, (0, 255, 0), -1)
    # Display the frame
    cv2.imshow('DLib Lips Landmarks', frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
cap.release()
cv2.destroyAllWindows()

В этой статье мы рассмотрели два метода извлечения ориентиров губ с использованием модели FaceMesh из библиотеки MediaPipe и библиотеки DLib. Оба метода дают точные результаты и могут быть легко интегрированы в ваши проекты компьютерного зрения. Используя эти методы, вы можете разрабатывать интересные приложения, такие как анализ движения губ, распознавание речи и виртуальный макияж. Поэкспериментируйте с предоставленными примерами кода и раскройте потенциал обнаружения ориентиров губ в своих проектах.