CMakeLists.txtでC++11をサポートする方法メモ
環境：
ROS Kinetic, Ubuntu 16.04, gcc 5.4.0
エラー： /home/demulab/catkin_ws/src/tabletop_object_perception/tabletop_object_detector/src/model_fitter.cpp:41:
/opt/ros/kinetic/include/moveit/macros/declare_ptr.h:67:16: error: ‘shared_ptr’ in namespace ‘std’ does not name a template type
typedef std::shared_ptr
対処：
CMakeLists.txtに以下を追加してC++11をサポートすると解決した。
add_compile_options(-std=c++11)
以上
ROS Bagファイルから画像データの作成法のメモ
ターンテーブルにオブジェクトを載せ回転させる
Yolo学習用データセットの作成法のメモ。Yoloの学習データを作成するときは、画像からオブジェクトの領域を矩形で指定する必要がある。そのためのツールとしては、BBox-Label-Toolがあるが、使いづらい上に、矩形領域のテキストファイルをYolo用に変更しなければならず手間が多い。Yolo用のテキストファイルも生成できるtzutalinさんのlabelImgを紹介する。
GitHubリポジトリ
インストール (Ubuntu16.04, python3)
実行方法
| Ctrl + u | ディレクトリからすべての画像ファイルを読み込む |
| Ctrl + r | アノテーションのディレクトリを変更 |
| Ctrl + s | 保存 |
| Ctrl + d | 現在のラベルと矩形をコピー |
| Space | 現在の画像を検証したとフラグをつける |
| w | 矩形の生成 |
| d | 次の画像 |
| a | 前の画像 |
| del | 選択した矩形の消去 |
| Ctrl++ | ズームイン |
| Ctrl– | ズームアウト |
| ↑→↓← | 矢印キー：選択した矩形の移動 |
VHF (Viewpoint Feature Histogram) descriptorsを使ったvfh_recognition_node.cppでsegmentation faultのエラーを解決するために数日悩んだのでメモを残す。
次のソースコード42行目のvfh.compute (*vfhs)でexit-11、セグメンテーションフォールトでプロセスが落ちる。バックトレースするとeigen3ライブラリが怪しい。結局、いろいろ試したり、調べた結果、PCL Users mailing listの過去記事に答えがあった。pclをC++11のフラグをつけてソースからビルドし直すと解決した。
bool recognize_cb(tabletop_object_detector::TabletopObjectRecognition::Request &srv_request,
tabletop_object_detector::TabletopObjectRecognition::Response &srv_response)
{
//build kdtree index
flann::Index<flann::ChiSquareDistance<float> > index (*data, flann::LinearIndexParams ());
index.buildIndex ();
//clear any models in the response:
srv_response.models.resize(0);
// Create the VFH estimation class, and pass the input dataset+normals to it
pcl::VFHEstimation<pcl::PointXYZ, pcl::Normal, pcl::VFHSignature308> vfh;
std::vector<pcl::PointCloud<pcl::PointXYZ>::Ptr> clouds;
//Euclidean segmentation:
SegmentCloud(fromKinect, clouds);
//For storing results:
pcl::PointCloud<pcl::PointXYZ>::Ptr aligned_template (new pcl::PointCloud<pcl::PointXYZ>);
sensor_msgs::PointCloud2 recognized_msg;
Eigen::Matrix4f objectToView;
int numFound = 0;
std::cout << "Found " << clouds.size() << " clusters.\n";
//For each segment passed in:
for(unsigned int segment_it = 0; segment_it < clouds.size(); segment_it++){
vfh.setInputCloud (clouds.at(segment_it));
//Estimate normals:
pcl::NormalEstimation<pcl::PointXYZ, pcl::Normal> ne;
ne.setInputCloud (clouds.at(segment_it));
pcl::search::KdTree<pcl::PointXYZ>::Ptr treeNorm (new pcl::search::KdTree<pcl::PointXYZ> ());
ne.setSearchMethod (treeNorm);
pcl::PointCloud<pcl::Normal>::Ptr cloud_normals (new pcl::PointCloud<pcl::Normal>);
ne.setRadiusSearch (0.03);
ne.compute (*cloud_normals);
//VFH estimation
vfh.setInputNormals (cloud_normals);
pcl::search::KdTree<pcl::PointXYZ>::Ptr tree (new pcl::search::KdTree<pcl::PointXYZ> ());
vfh.setSearchMethod (tree);
pcl::PointCloud<pcl::VFHSignature308>::Ptr vfhs (new pcl::PointCloud<pcl::VFHSignature308> ());
vfh.compute (*vfhs);
//Load histogram
vfh_model histogram;
histogram.second.resize(308);
for (size_t i = 0; i < 308; ++i)
{
histogram.second[i] = vfhs->points[0].histogram[i];
}
//Algorithm parameters
float thresh = 100; //similarity threshold
int k = 1; //number of neighbors
//KNN classification
flann::Index<flann::ChiSquareDistance<float> > index (*data, flann::LinearIndexParams ());
index.buildIndex ();
nearestKSearch (index, histogram, k, k_indices, k_distances);
//If model match is close enough, do finer pose estimation by RANSAC fitting.
if(k_distances[0][0] < thresh){
numFound++;
//Load nearest match
std::string cloud_name = models.at(k_indices[0][0]).first;
//Extract object label and view number from file name:
cloud_name.erase(cloud_name.end()-8, cloud_name.end()-4);
std::string recognitionLabel, viewNumber;
recognitionLabel.assign(cloud_name.begin()+5, cloud_name.end()-6);
viewNumber.assign(cloud_name.end()-5, cloud_name.end()-4);
//ROS_INFO the recognitionLabel and view number. This info will later be used to look the object up in a manipulation database.
ROS_INFO("%s", recognitionLabel.c_str());
ROS_INFO("%i", atoi(viewNumber.c_str()));
//Here, objectToView is the transformation of the detected object to its nearest viewpoint in the database.
//To get the object pose in the world frame: T(camera_to_world)*T(training_view_to_camera)*objectToView.
//The transformation to camera coordinates would then happen here by finding T(view_cam) in a lookup table and premultiplying
//by objectToView
alignTemplate(clouds.at(segment_it), cloud_name, aligned_template, objectToView);
//Convert rotational component of objectToView to Quaternion for messaging:
Eigen::Matrix3f rotation = objectToView.block<3,3>(0, 0);
Eigen::Quaternionf rotQ(rotation);
//Set num models in request:
srv_request.num_models = numFound;
//Build service response:
srv_response.models.resize(numFound);
srv_response.models[numFound-1].model_list.resize(1);
//model_id
srv_response.models[numFound-1].model_list[0].model_id = atoi(viewNumber.c_str()); //This ID will eventually correspond to the object label.
//PoseStamped
//Header
srv_response.models[numFound-1].model_list[0].pose.header.seq = 1; //Don't know what this is, but it's set.
srv_response.models[numFound-1].model_list[0].pose.header.stamp = fromKinect.header.stamp;
srv_response.models[numFound-1].model_list[0].pose.header.frame_id = "/camera_depth_optical_frame";
//Pose
//Position:
srv_response.models[numFound-1].model_list[0].pose.pose.position.x = objectToView(0,3);
srv_response.models[numFound-1].model_list[0].pose.pose.position.y = objectToView(1,3);
srv_response.models[numFound-1].model_list[0].pose.pose.position.z = objectToView(2,3);
//Orientation:
srv_response.models[numFound-1].model_list[0].pose.pose.orientation.x = rotQ.x();
srv_response.models[numFound-1].model_list[0].pose.pose.orientation.y = rotQ.y();
srv_response.models[numFound-1].model_list[0].pose.pose.orientation.z = rotQ.z();
srv_response.models[numFound-1].model_list[0].pose.pose.orientation.w = rotQ.w();
//confidence and cluster_model_indcices are not currently used.
}//end threshold if statement
}//end segment iterator
return(1);
}
環 境
実施した作業
cd ~/src/pcl/pcl-1.8.1set (CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=c++11")cd ~/src/pcl/pcl-1.8.1mkdir buildcd buildcmake -DCMAKE_BUILD_TYPE=Release ..make -j12sudo make installcd ~/catkin_wscatkin_make終わり
Ubuntu16.04で動画をキャプチャするソフトSimpleScreenRecorderのメモ。
設定の変更を変えるところも少なく、わかりやすいGUIでとても簡単。設定方法や詳細な使い方はこのリンクを参照。
インストール
実行
以上
Turtlebot3を動かすためのリモートPCの設定メモ。RobotisからEマニュアルが出ているが、日本語訳がなくわかりづらいのでメモを残す。
Turtlebot3にはRaspberry Pi 3 model Bが搭載されているが、Turtlebot3 Burgerに同封されていたSDカードの容量が8GB、Raspberry Pi 3 model Bのメモリが1GBしかないのでリモートPCで多くの作業をすることになると思う。リモートPCはTurtlebot3から見た別PCで、ノートパソコンやデスクトップパソコンになる。Turtlebot3を自由に動かすために無線LAN環境が必要。Ubuntuのインストールから作業すると数GBのファイルをダウンロードする必要もあるので半日程度はかかる。
Ubuntu16.04のインストール
ROS KineticとTurtlebot3パッケージのインストール
sudo apt-get updatesudo apt-get upgradecdmkdir srccd srcwget https://raw.githubusercontent.com/ROBOTIS-GIT/robotis_tools/master/install_ros_kinetic.shchmod 755 ./install_ros_kinetic.sh./install_ros_kinetic.shsudo rebootsudo apt-get install ros-kinetic-joy ros-kinetic-teleop-twist-joy ros-kinetic-teleop-twist-keyboard ros-kinetic-laser-proc ros-kinetic-rgbd-launch ros-kinetic-depthimage-to-laserscan ros-kinetic-rosserial-arduino ros-kinetic-rosserial-python ros-kinetic-rosserial-server ros-kinetic-rosserial-client ros-kinetic-rosserial-msgs ros-kinetic-amcl ros-kinetic-map-server ros-kinetic-move-base ros-kinetic-urdf ros-kinetic-xacro ros-kinetic-compressed-image-transport ros-kinetic-rqt-image-view ros-kinetic-gmapping ros-kinetic-navigation ros-kinetic-interactive-markerscd ~/catkin_ws/srcgit clone https://github.com/ROBOTIS-GIT/turtlebot3_msgs.gitgit clone https://github.com/ROBOTIS-GIT/turtlebot3.gitcd ~/catkin_wscatkin_makeネットワーク設定
ifconfig
source ~/.bashrcリモートPCの設定終わり。お疲れ様。
Turtlebot3 Burgerに搭載されているRaspberry Pi 3の設定メモ。以下のリンクを元に作業したメモ。この作業も1.2GB以上のファイルをダウンロードする必要があるので、環境によっては数時間かかる。
Ubuntu Mateのインストール（リモートPCでの作業)
sudo apt-get install gddrescue xz-utilsunxz ubuntu-mate-16.04.2-desktop-armhf-raspberry-pi.img.xzsudo ddrescue -D --force ubuntu-mate-16.04.2-desktop-armhf-raspberry-pi.img /dev/sdxROSのインストール（Raspberry Pi 3での作業）
sudo apt-get updatesudo apt-get upgradewget https://raw.githubusercontent.com/ROBOTIS-GIT/robotis_tools/master/install_ros_kinetic_rp3.sh chmod 755 ./install_ros_kinetic_rp3.sh./install_ros_kinetic_rp3.shsource /opt/ros/kinetic/setup.bashmkdir -p ~/catkin_ws/srccd ~/catkin_ws/srccatkin_init_workspacecd ~/catkin_wscatkin_makecd ~/catkin_ws/srcgit clone https://github.com/ROBOTIS-GIT/hls_lfcd_lds_driver.gitgit clone https://github.com/ROBOTIS-GIT/turtlebot3_msgs.gitgit clone https://github.com/ROBOTIS-GIT/turtlebot3.gitcd ~/catkin_ws/src/turtlebot3sudo rm -r turtlebot3_description/ turtlebot3_teleop/ turtlebot3_navigation/ turtlebot3_slam/ turtlebot3_example/sudo apt-get install ros-kinetic-rosserial-python ros-kinetic-tfcd ~/catkin_wscatkin_makeUSBの設定
rosrun turtlebot3_bringup create_udev_rules無線LANの設定
ifconfig
source ~/.bashrcこれで終了。お疲れ様。
Turtleobot3に搭載されているコントローラOpenCR1.0の設定メモ。このコントローラはオープンハードウェア＆ソフトウェアで、ROSを使った組み込み向けに作られており、開発環境はArduino、Scratchからプロ向けまである。なお、OpenCRのマイクロコントローラは32ビットARM Corte-M7ベースのSTM32F746ZGT6を使っており、3軸ジャイロ、3軸加速度、3軸の地磁気センサを搭載している。詳細は以下のe-Manualを参照。
ファームウェアのアップロード（Raspberry Pi3での作業）
export OPENCR_PORT=/dev/ttyACM0export OPENCR_MODEL=burgercd ~/srccd srcwget https://github.com/ROBOTIS-GIT/OpenCR/raw/develop/arduino/opencr_release/shell_update/opencr_update.tar.bz2tar -xvf opencr_update.tar.bz2cd ./opencr_update./update.sh /dev/ttyACM0 burger.opencr
終わり。
では、Turtlebot3を動かしてみよう！ 以下のリモートPC、Raspberry Pi3、OpenCRの設定が終わっているものとします。
1. リモートPC
2. Raspberry Pi3 (Turtlebot 3)
終わり
TEDにも登場したリアルタイム物体検出DNN(Deep Neural Network)のYOLOがVersion 3にバージョンアップしYOLO V3に変身したので試したときのメモ。仮面ライダーみたいに大幅にバージョンアップしたのか？
上の例では、処理時間がV２が18.9[ms]、V3が22.7[ms]と多少遅くなっているが、予測確率が80%台から90%台と10%近く向上している。
以上
YOLO V3にオリジナルデータを学習させたときのメモ。この記事はチェックができていないので、注意してください。
Yoloで学習させるためには以下のものを準備する。
以上
YOLO V3をROSで使うためにコードを書こうと思ったが、すでにdarknet_rosがV3に対応している。darknet_rosのインストール、設定法と使い方のメモ。
config_file:
name: wrs_test.cfg
weight_file:
name: wrs_10000_0415.weights
threshold:
value: 0.3
detection_classes:
names:
– onigiri
– sandwich
以上
ロボカップジャパンオープン2017大垣が終了しました。夢考房RoboCup@Homeプロジェクトとロボティクス学科出村研究室の合同チームKIT Happy Robotはオープンプラットフォームリーグ(OPL)で3位入賞しました。
100点満点に換算して、1位のHibikino Musashiチームが100点、2位のO.I.T. が61.0点、3位のKIT Happy Robotは60.3点でした。2位と3位は僅かな差です。今年、カナダで開催される世界大会 OPLリーグ にはHibikino MusashiチームとKIT Happy Robotの２チームが出場します。O.I.T.チームの分まで頑張ります。
世界大会へ向けた課題として浮上したのは以下の点です。
夢考房や研究室での物体識別やマニピュレーションはほぼ問題ないので、上記の問題点を解決すれば、十分世界と戦えると思います。
なお、KIT Happy Robotは院生1名、学部4年次生2名、2年5名のチームです。大会期間中、チームワークがとても良く、最後まで諦めない姿勢で活動していました。とても若いメンバーなので世界大会でさらなる活躍が期待されます。
キオスク端末とは公共の場などに置かれた無人の情報端末のことで、OpenKioskはWindows、Linux、OSXなどでキオスク端末を実現するオープンソースのソフトウェアです。授業ではオンラインテストに使います。
以上
Ubuntu16.04にOpenCV3.4.0をソースからビルドしインストールしたときのメモ。OpenCV3.4.1がすでにリリースされており、ソースからビルドでき、サンプルプログラムは問題なく動いた。ただし、Yolo V3を実行するときにエラーが出る。3.4.1にバグがあるので、3.4.0をインストールした。
http://docs.opencv.org/trunk/d7/d9f/tutorial_linux_install.html
環境
準備
ソースコードのダウンロード
ソースのビルド
テスト
Deep Learning用に購入したAlienware 15 R4にxubuntu16.04.2, Cuda9.2をインストールしたときのメモ。RoboCup@Home Domestic Standard Platform LeagueでTOYOTO HSRロボットのオフィシャルラップトップとしてAlienwareが指定されているので購入した。性能が高くコストパフォーマンスも良いが、大きく重いのが難点。
LANG=C xdg-user-dirs-gtk-updatesudo blueman-mangergit clone https://git.kernel.org/pub/scm/linux/kernel/git/iwlwifi/backport-iwlwifi.gitcd backport-iwlwifimake defconfig-iwlwifi-publicsed -i 's/CPTCFG_IWLMVM_VENDOR_CMDS=y/# CPTCFG_IWLMVM_VENDOR_CMDS is not set/' .configmake -j 6sudo make installsudo rebootexport PATH=/usr/local/cuda-9.2/bin${PATH:+:${PATH}}sudo dpkg -i libcudnn7_7.1.4.18-11+cuda9.2_amd64.debsudo dpkg -i libcudnn7-dev_7.1.4.18-1+cuda9.2_amd64.deb終わり
YOLO V2にオリジナルデータを学習させたときのメモ。この記事はチェックが十分にできていないので、注意してください。
Yoloで学習させるためには以下のものを準備する。
git clone https://github.com/demulab/divide_files.gitgcc -o divide_files divide_files.ccd ~/data/wrs~/src/divide_files/divide_files [テストデータの割合]
classes=3train = /home/user_name/data/wrs/train.listvalid = /home/user_name/data/wrs/test.listnames = /home/user_name/data/wrs/names.listbackup = /home/user_name/data/wrs/backuponigirisandwichbentocd ~/src/darknet/cfgcp yolov2-voc.cfg wrs_train.cfg[net]# Testing#batch=1#subdivisions=1# Trainingbatch=64subdivisions=16 # 16classes=3filters=40if (i%10000==0 || (i < 1000 && i%100 == 0)) {if (i%10000==0 || (i <= 1000 && i%100 == 0)|| (i <=10000 && i % 1000 ==0)) {cd ~/src/darknetwget https://pjreddie.com/media/files/darknet19_448.conv.23cd ~/src/darknet./darknet detector train cfg/wrs.data cfg/wrs_train.cfg darknet19_448.conv.23./darknet detector train cfg/wrs.data cfg/wrs_train.cfg darknet19_448.conv.23 -gpus 0,1cd ~/src/darknet/cfgcp wrs_train.cfg wrs_test.cfg[net]# Testingbatch=1subdivisions=1# Training#batch=64#subdivisions=16 # 16./darknet detector test cfg/wrs.data cfg/wrs_test.cfg ~/data/wrs/backup/wrs_10000.weights ~/data/wrs/training_images/test.jpg./darknet detector demo cfg/wrs.data cfg/wrs_test.cfg ~/data/wrs/backup/wrs_10000.weights以上
RealSense D435をROSで使うメモ。RealSense SDKはapt-getでインストールできるのでとても簡単。ROSのラッパーもすでに提供されているのですぐ使える。このメモはカラー画像の表示まで。
ソフトウェア環境
RealSense SDKのインストール
ROSラッパーのインストール
実行
roslaunch realsense2_camera rs_camera.launch
rosrun image_view image_view image:=/camera/color/image_raw
トピック
$ ~/catkin_ws/src/realsense-2.0.2/realsense_ros_camera/launch$ rostopic list
/camera/color/camera_info
/camera/color/image_raw
/camera/color/image_raw/compressed
/camera/color/image_raw/compressed/parameter_descriptions
/camera/color/image_raw/compressed/parameter_updates
/camera/color/image_raw/compressedDepth
/camera/color/image_raw/compressedDepth/parameter_descriptions
/camera/color/image_raw/compressedDepth/parameter_updates
/camera/color/image_raw/theora
/camera/color/image_raw/theora/parameter_descriptions
/camera/color/image_raw/theora/parameter_updates
/camera/depth/camera_info
/camera/depth/image_rect_raw
/camera/depth/image_rect_raw/compressed
/camera/depth/image_rect_raw/compressed/parameter_descriptions
/camera/depth/image_rect_raw/compressed/parameter_updates
/camera/depth/image_rect_raw/compressedDepth
/camera/depth/image_rect_raw/compressedDepth/parameter_descriptions
/camera/depth/image_rect_raw/compressedDepth/parameter_updates
/camera/depth/image_rect_raw/theora
/camera/depth/image_rect_raw/theora/parameter_descriptions
/camera/depth/image_rect_raw/theora/parameter_updates
/camera/extrinsics/depth_to_color
/camera/extrinsics/depth_to_infra1
/camera/extrinsics/depth_to_infra2
/camera/infra1/camera_info
/camera/infra1/image_rect_raw
/camera/infra1/image_rect_raw/compressed
/camera/infra1/image_rect_raw/compressed/parameter_descriptions
/camera/infra1/image_rect_raw/compressed/parameter_updates
/camera/infra1/image_rect_raw/compressedDepth
/camera/infra1/image_rect_raw/compressedDepth/parameter_descriptions
/camera/infra1/image_rect_raw/compressedDepth/parameter_updates
/camera/infra1/image_rect_raw/theora
/camera/infra1/image_rect_raw/theora/parameter_descriptions
/camera/infra1/image_rect_raw/theora/parameter_updates
/camera/infra2/camera_info
/camera/infra2/image_rect_raw
/camera/infra2/image_rect_raw/compressed
/camera/infra2/image_rect_raw/compressed/parameter_descriptions
/camera/infra2/image_rect_raw/compressed/parameter_updates
/camera/infra2/image_rect_raw/compressedDepth
/camera/infra2/image_rect_raw/compressedDepth/parameter_descriptions
/camera/infra2/image_rect_raw/compressedDepth/parameter_updates
/camera/infra2/image_rect_raw/theora
/camera/infra2/image_rect_raw/theora/parameter_descriptions
/camera/infra2/image_rect_raw/theora/parameter_updates
/camera/realsense_ros_camera_manager/bond
/camera/realsense_ros_camera_manager/parameter_descriptions
/camera/realsense_ros_camera_manager/parameter_updates
/rosout
/rosout_agg
/tf_static
以上