openCV doc

Deformable Part Model

Gallery

検出結果1

検出結果2

検出結果3

what process?

教師ありの物体検出アルゴリズム。物体のHOG特徴量(ヒストグラムの勾配を使って定量化)を使い、物体全体と物体から画像ピラミッドで分けたパーツを両方とも機械学習する。未知の入力画像から物体を検出するときは、物体全体と各パーツがどのくらいマッチするかをスコア化する。 R-CNN(Region-based Convolutional Neural Network)はこの手法をモチーフにしている。 * 実行するには分類器(カスケード)ファイルが必要です。(https://github.com/opencv/opencv_extra/tree/master/testdata/cv/dpm/VOC2007_Cascade) git clone git@github.com:opencv/opencv_extra.git でダウンロードしてください。　実行してみると人物の検出精度はいいけど動物系はよくない。別のページで作成された分類器ファイルを使うといいかも。 ** ファイル読み込みにboostを使っています。(c++11で時が止まっているため)

cook code C++

#include <iostream>
#include <stdlib.h>

#include <opencv2/core.hpp>
#include <opencv2/core/utility.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/dpm.hpp>

#include <boost/filesystem.hpp>
#include <boost/foreach.hpp>

namespace fs = boost::filesystem;

/* フォルダ内のファイルパス一覧 */
std::vector<std::string> getFilePaths(std::string folder_path){

const fs::path path(folder_path);
    std::vector<std::string> files;

BOOST_FOREACH(const fs::path& p, std::make_pair(fs::directory_iterator(path),
                                                    fs::directory_iterator())) {
        if (!fs::is_directory(p)){
            files.push_back( "./" + folder_path + "/" + p.filename().c_str());
        }
    }

return files;
}

/* ファイルパスからクラス名を抽出 */
std::vector<std::string> getClassName(std::vector<std::string> files){

std::vector<std::string> names;

for ( int i = 0; i < files.size() ;i++ ){
        fs::path path(files.at(i));
        names.push_back(path.stem().c_str());
    }

return names;
}

/* 物体マーカー色を設定 */
std::vector<cv::Scalar> composeColor(int size){

std::vector<cv::Scalar> dst;

for(int i = 0; i < size ;i++){
        cv::RNG rng(rand());
        cv::Scalar c = cv::Scalar(
                                rng.uniform(0,255), 
                                rng.uniform(0, 255), 
                                rng.uniform(0, 255));
        dst.push_back(c);
    }

return dst;
}

/* 物体検出した箇所をマーク */
void mark(cv::Mat &mat, 
        cv::dpm::DPMDetector::ObjectDetection obj, 
        cv::Scalar color,
        std::string name){
    
    cv::rectangle(mat, obj.rect, color);
    cv::rectangle(mat, 
                cv::Point(obj.rect.x, obj.rect.y),
                cv::Point(obj.rect.x + 50, obj.rect.y + 10),
                color,
                -1, cv::LINE_AA);
    cv::putText(mat,
                name,
                cv::Point(obj.rect.x, obj.rect.y + 10),
                cv::FONT_HERSHEY_PLAIN,
                0.8,
                cv::Scalar(10,10,10),
                1, 
                cv::LINE_AA);
}

/* viewer 起動 */
void launchViewer(cv::Mat img){

std::string name = "Effect";
    cv::namedWindow(name, cv::WINDOW_AUTOSIZE);

while(true){
        
        int key = cv::waitKey(30);
        if (key == 27){
            break;
        } else if (key == int('s')){
            cv::imwrite("output.png", img);
        }
        cv::imshow(name, img);
    }

img.release();
    cv::destroyAllWindows();
}

int main(int argc, const char* argv[])
{
    // ./out -cascade=VOC2007_Cascade -src=town.jpg
    cv::String keys = "{src||}""{cascade||}";
    cv::CommandLineParser parser(argc, argv, keys);
    cv::String src_path = parser.get<cv::String>("src");
    cv::String cascade_path = parser.get<cv::String>("cascade");

/* 推論設定 */
    std::vector<std::string> files = getFilePaths(cascade_path);
    std::vector<std::string> classNames = getClassName(files);
    std::vector<cv::Scalar> colors = composeColor(files.size());
    cv::Ptr<cv::dpm::DPMDetector> dpm = cv::dpm::DPMDetector::create(
        files,
        classNames);

/* Debug */
    std::cout <<  "[クラス数]:"  << dpm->getClassCount() << std::endl;
    std::vector<std::string> ns = dpm->getClassNames();
    for (int i = 0; i < dpm->getClassCount() ;i++){
        std::cout << "[" << i << "]:" << ns.at(i) << std::endl;
    }

cv::Mat srcMat = cv::imread(src_path);
    cv::Mat dstMat = srcMat.clone();
    std::vector<cv::dpm::DPMDetector::ObjectDetection> objects;

/* 検出 */
    dpm->detect(srcMat, objects);

for (int i = 0;  i < objects.size(); i++ ){

/* score が 0以上で検出されたオブジェクトか判定 */
        if (0.0 < objects.at(i).score){

int _id = objects.at(i).classID;
            std::cout << _id  << std::endl;
            std::cout << objects.at(i).rect  << std::endl;
            std::cout << objects.at(i).score  << std::endl;

mark(dstMat, objects.at(i), colors.at(_id), classNames.at(_id));
        }
    }

launchViewer(dstMat);

return 0;
}

openCV doc

Deformable Part Model

Gallery

what process?

cook code C++

cook code Python

Reference