研究室で2泊３日で池の平温泉スキー場へ行きました。初日は晴れでしたが、2日目は一転して天気は雪模様。おかげ様でコースはパウダースノー。初級コースは小学生団体、自衛隊で多少混雑していましたが、中級コースは人影もまばらで、最高のスノーボード環境です。まるで、海でサーフィンをしている!?ようなフワフワ感です。たった二日ですが、初心者の中にはスラロームもできる学生も現れ驚きです。
夕食後に懇親会があり、研究室のメンバー同士楽しく語らった後、同席していた情報工学科向井研との合コン？になりました。お互いの研究についての苦労話などを語り合い、例年にもまして楽しく実りのある研修となりました。
出村研究室では、前学期はテニス、後学期はスノーボードの習得をメインに池の平研修に参加しています。
WRS FCSC 2019：Happy Robotチームの陳列廃棄タスク
昨年12月に東京ビッグサイトで開始されたWRS FCSC2019トライアル競技会の結果と動画が以下のサイトで公開されました。
陳列廃棄タスクは、上位チームが産業ロボットアームを使用しているなか、金沢工業大学出村研究室Happy Robotチームは、学生の自作アームで韓国KAISTチームと僅差の４位。学生達はベストを尽くしたと思います。なお、KAISTチームはDARPA Robotics Challengeで優勝した研究室チーム。今回は競技会はわずか数カ月の準備で臨んだとのこと。ハードウェアはしっかりしているので、今年の本番では優勝候補の一角になるかもしれません。
Happy Robotチームでは今年の10月に開催される本大会World Robot Summit 2020に出場するメンバーを募集中です。学科学年は問いませんので興味のある学生は出村教授に連絡お願いします。
ROSで使える英語の音声合成パッケージを探していたらオンライン、オフラインの色々なエンジンをサポートしているArnaud Rameyさんが開発した以下のパッケージを見つけた。本記事はインストールしたときのメモ。残念ながら日本語は対応していません。
サポートしているエンジン
インストール
$ cd ~/catkin_ws/src$ git clone https://github.com/arnaud-ramey/picotts.git$ sudo apt install mplayer (mplayerは他のエンジンでも使うので必須)$ cd ~/src (~/srcがない場合はmkdir srcで作成してください)$ sudo apt install default-jre$ wget https://github.com/marytts/marytts/releases/download/v5.2/marytts-5.2.zip$ unzip marytts-5.2.zip$ cd marytts-5.2$ wget https://github.com/marytts/voice-upmc-pierre-hsmm/releases/download/v5.2/voice-upmc-pierre-hsmm-5.2.zip$ unzip voice-upmc-pierre-hsmm-5.2.zip$ sudo apt install mbrola mbrola-fr*$ sudo apt install gnustep-gui-runtime$ sudo apt install speech-dispatcher$ rosdep install picotts --ignore-src$ cd ~/catkin_ws$ catkin build picotts実 行
$ cd ~/src/marrytts-5.2/bin$ ./marytts-server$ ~/src/marrytts-5.2/bin/marrytts-client$ roscore$ rosrun picotts picotts.exeテスト
rostopic pub /tts std_msgs/String "My name is Happy Robot"rostopic pub /picotts/engine std_msgs/String "MarryTTS"rostopic pub /picotts/engine std_msgs/String "microsoft"トピック
その他
演習
以上
Wep Speech APIを使うと音声認識が簡単にできる。しかも、ROSパッケージは以下のサイトで公開されており、開発者furushchevさんの詳しい日本語の解説記事もある。本記事はその作業メモ。
作業環境
インストール
$ cd ~/catkin$ wstool init src$ cd src$ wstool set visualization_rwt --git https://github.com/tork-a/visualization_rwt/$ wstool update$ cd ~/catkin_ws$ rosdep install --from-paths src --ignore-src --rosdistro ${ROS_DISTRO} -r -y$ catkin build実行
$ rostopic echo /Tablet/voice
カスタマイズ
以上
アノテーション作業
JSONファイルの出力
アノテーションした情報を教師データとして使われるJSON(JavaScript Object Notation)フォーマットのファイルに出力する。JSONはウェブ等で良く使われる軽量のデータ交換フォーマットである。
プロジェクトの保存
アノテーション情報をプロジェクトとして保存することで、そのファイルを読み込めば前回終了した画像の続きからアノテーションを再開できる。
プロジェクトの読み込み
この記事はKobukiを使ったROS新人プログラム用の記事です。今回はシミュレータGAZEBOを使い、Kobuki(Turtlebot2)を動かします。
Simulator GAZEBOを動かそう
次のコマンドでROSのシミュレータGazeboを起動する。
$ roslaunch turtlebot_gazebo turtlebot_world.launch
初回はネットからモデルを取得するので、私の環境で5分程度かかった。しばらくすると次のようなウインドウが開く。下のロボットがTurtlebot2 (kobuki)。
別の端末を開き、次のコマンドを入力するとキーボードからロボットを操縦するためのlaunchファイルを起動。
$ roslaunch turtlebot_teleop keyboard_teleop.launch
端末に下のように表示される。以下のキーでロボットを操作できる。いずれかのキーを押してロボットを動かそう！なお、マウスのカーソルがturtlebot_teleop_key.launchを起動した端末上になければ動かないので注意。
お疲れ様！
この記事はTurtlebot2 (Kobuki)を使ったROS新人プログラム用の記事です。今回はROSの通信方式であるトピックを学びます。
1. Publisher
キーボードからロボットを操縦するmy_teleopパッケージを作ろう!
はじめてのROSプログラミング(python)と同じ要領でmy_teleopパッケージを作ります。今回の例ではhelloをmy_teleopに置き換えます。このプログラムはメッセージの送リ手であるpublisher（配信者)プログラムの簡単な例にもなっています。プログラムの説明はソースコード内のコメントを参照してください。テキストエディタ(gedit)にコピペして名前を付けて保存します。
保存ディレクトリは~/catkin_ws/src/my_teleop/srcの中です。
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import rospy # rosで必要はモジュール
from geometry_msgs.msg import Twist
from std_msgs.msg import String
def teleop():
rospy.init_node('my_teleop') # ノードの初期化
pub = rospy.Publisher('/cmd_vel_mux/input/teleop', Twist, queue_size=1)
rate = rospy.Rate(30) # ループの周期。この場合は30Hz、1秒間に30回。
vel = Twist()
print("f: forward, b: backward, r: right, l:left")
while not rospy.is_shutdown():
key = input() # 標準入力からキーを読み込む
print(key) # 読み込んだキーの値を標準出力へ出力
if key == 'f': # fキーが押されていたら
vel.linear.x = 0.5
elif key == 'b':
vel.linear.x = -0.5
elif key == 'l':
vel.angular.z = 1.0
elif key == 'r':
vel.angular.z = -1.0
# linear.xは前後方向の並進速度(m/s)。前方向が正。
# angular.zは回転速度(rad/s)。反時計回りが正。
else:
print("Input f, b, l, r")
pub.publish(vel) # 速度指令メッセージをパブリッシュ
vel.linear.x = 0.0 # 並進速度の初期化
vel.angular.z = 0.0 # 回転速度の初期化
rate.sleep() # 指定した周期でループするよう寝て待つ
if __name__ == '__main__':
teleop()
rospy.spin()
以下のコマンドでビルドして実行しよう。
$ cd ~/catkin_ws
$ catkin build
$ roscore
$ rosrun my_teleop my_teleop.py
2. Subscriber
次に、メッセージの受け手であるsubscriber（購読者)の簡単なプログラムを示します。このプログラムはmy_teleop_nodeがパブリッシュするトピック/cmd_vel_mux/input/teleopをサブスクライブして、並進速度(Linear Velocity)と角速度(Angular Velocity)を標準出力に出力する簡単なプログラムです。
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import rospy # rosで必要はモジュール
from geometry_msgs.msg import Twist
def callback(vel):
rospy.loginfo("Liner:%f",vel.linear.x)
rospy.loginfo("Angular:%f",vel.angular.z)
def subscriber():
rospy.init_node('my_subscriber', anonymous=True) # ノードの初期化
# subscriberの作成。トピック/cmd_vel_mux/input/teleopを購読する。
rospy.Subscriber("/cmd_vel_mux/input/teleop", Twist, callback)
# コールバック関数を繰り返し呼び出す。
rospy.spin()
if __name__ == '__main__':
subscriber()
ここで、馴染みのないコールバック関数callbackが登場しています。コールバック関数はIT用語辞典によると「コールバック関数とは、プログラム中で、呼び出し先の関数の実行中に実行されるように、あらかじめ指定しておく関数。」と定義されています。
通常はマウスで線を描くなどの処理を実装するような、あるイベントが起きた時に処理をするプログラムを実装する場合に使われます。通常は、マウスのイベント処理などの場合のようにマウスのボタンが押されたり、移動したときに自動的にコールバック関数が呼び出されますが、ROSではrospy.spin()で明示的に呼び出さなければいけません。rospy.spin()はノードが動いている間、コールバック関数を呼び続けます。ROSではメッセージの受け渡しにコールバック関数を使います。
では、今までパッケージを作った要領で、my_subscriberパッケージを作りましょう。
~/catkin_ws/src/my_subscriberディレクトリの下にCMakeLists.txt, package.xml, src
などを作ることになります。上のプログラムのファイル名はmy_subscriber.pyとなります。
以下のコマンドでビルドして実行しよう。
$ cd ~/catkin_ws
$ catkin build
$ rosrun my_subscriber my_subscriber.py
3. シミュレータでの確認
turtlebot2シミュレータを起動し、my_teleop_nodeとmy_subscriber_nodeの動作を確認しましょう。シミュレータを次のコマンドで起動します
$ roslaunch turtlebot_gazebo turtlebot_world.launch
次にmy_teleopノードを起動した端末にマウスカーソルを持って行いきます。
f, b, l, rキーでロボットが移動したら成功。キーを押した後はエンターキーを押す。
このシミュレータの場合は、/cmd_vel_mux/input/teleop_velをPublishするだけでロボットがその速度で移動します。
次にSubscriberのプログラムが動作しているか確認するために、my_subscriberノードを起動した端末を見ましょう。速度が表示されていたら成功です。
お疲れ様！
終わり
4. ホームワーク
Facebook人工知能が開発している最新の物体検出アルゴリズムを実装しているソフトウェアシステムDetectron2のインストールメモ。Detectron2をインストールする前にPyTorchをインストールする。PyTorchはDeep Learningのフレームワークで、2019年12月にPreferred Networksが自前のフレームワークChainerの開発をやめて、PyTorchに乗り換えたことで日本でも注目を集めている。Detectron2のインストールはpipなのでとても簡単。なお、上の写真は先日、ラボのメンバーと池の平温泉スキー場へ行ったときの写真に物体検出アルゴリズム(Mask R-CNN)をかけたもの。Truck以外はほぼ正解。
PyTorch
demulab@razer:~/$ python3
Python 3.6.9 (default, Nov 7 2019, 10:44:02)
[GCC 8.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> from __future__ import print_function
>>> import torch
>>> x = torch.rand(5, 3)
>>> print(x)
tensor([[0.9640, 0.3798, 0.5884],
[0.5195, 0.4264, 0.5103],
[0.3345, 0.3081, 0.1180],
[0.4120, 0.9787, 0.6587],
[0.7861, 0.1901, 0.9091]])
>>> torch.cuda.is_available()
True
>>>
Detectron2
$ cd ~/src$ git clone https://github.com/facebookresearch/detectron2.git$ cd detectron2$ pip3 install -e .$ cd ~/src/detectron2$ wget http://images.cocodataset.org/val2017/000000439715.jpg -O input.jpg$ python3 demo/demo.py --config-file configs/COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml --input input.jpg --opts MODEL.WEIGHTS detectron2://COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x/137849600/model_final_f10217.pklusage: demo.py [-h] [--config-file FILE] [--webcam]
[--video-input VIDEO_INPUT] [--input INPUT [INPUT ...]]
[--output OUTPUT] [--confidence-threshold CONFIDENCE_THRESHOLD]
[--opts ...]Detectron2 demo for builtin models# detectron2で使うモジュールのインポート
from detectron2.engine import DefaultPredictor
from detectron2.config import get_cfg
from detectron2.utils.visualizer import Visualizer
from detectron2.data import MetadataCatalog
import cv2
# 画像の読み込み
im = cv2.imread("./input.jpg")
# ネットワークの設定
cfg = get_cfg()
cfg.merge_from_file("./configs/COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml")
cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = 0.5 # set threshold for this model
cfg.MODEL.WEIGHTS = "detectron2://COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x/137849600/model_final_f10217.pkl"
# 推論
predictor = DefaultPredictor(cfg)
outputs = predictor(im)
# 結果の表示
v = Visualizer(im[:, :, ::-1], MetadataCatalog.get(cfg.DATASETS.TRAIN[0]), scale=1.2)
v = v.draw_instance_predictions(outputs["instances"].to("cpu"))
cv2.imshow('Results', v.get_image()[:, :, ::-1])
cv2.waitKey(0)
cv2.destroyAllWindows()
終わり
今までFaceBookも使っていましたが、テック系はTwitterが多いようなのでdemura.netもTwitterを2020年2月23日に始めました。よろしくお願いします。その名もdemura.net。同じなんかい。アドレスは次のとおりです。今の所、demura.netの記事のうち皆さんに有益になりそうな記事をシェアしていますが、そのうちブログにはアップするまでもない小ネタをアップする予定です。逆にフォローするとdemura.netの優良記事?!を見逃しません!?
Detectron2でカスタムデータセット学習のメモ。以下のDetectron2 Beginner’s Tutorialを和訳して説明を加えたもの。TutorialがGoogle Colabというクラウドサービスを使ったJupyterノートブックなのでローカルマシンで動くようにPythonスクリプトを少し変更している。
データセットの準備
# データセットがCOCOフォーマットなら以下のコードは次の3行で置き換えることができる。
# balloon_train.py: modified the scripts as follows
# Dectron2 Tutorial.ipynb https://colab.research.google.com/drive/16jcaJoc6bCFAQ96jDe2HwtXj7BMD_-m5
# データセットがCOCOフォーマットなら以下のコードは次の3行で置き換えることができる。
# from detectron2.data.datasets import register_coco_instances
# register_coco_instances("my_dataset_train", {}, "json_annotation_train.json", "path/to/image/dir")
# register_coco_instances("my_dataset_val", {}, "json_annotation_val.json", "path/to/image/dir")
import os
import numpy as np
import json
import cv2
import random
from detectron2 import model_zoo
from detectron2.engine import DefaultTrainer
from detectron2.config import get_cfg
from detectron2.utils.visualizer import Visualizer
from detectron2.structures import BoxMode
from detectron2.data import DatasetCatalog, MetadataCatalog
def get_balloon_dicts(img_dir):
json_file = os.path.join(img_dir, "via_region_data.json")
with open(json_file) as f:
imgs_anns = json.load(f)
dataset_dicts = []
for idx, v in enumerate(imgs_anns.values()):
record = {}
filename = os.path.join(img_dir, v["filename"])
height, width = cv2.imread(filename).shape[:2]
record["file_name"] = filename
record["image_id"] = idx
record["height"] = height
record["width"] = width
annos = v["regions"]
objs = []
for _, anno in annos.items():
assert not anno["region_attributes"]
anno = anno["shape_attributes"]
px = anno["all_points_x"]
py = anno["all_points_y"]
poly = [(x + 0.5, y + 0.5) for x, y in zip(px, py)]
poly = [p for x in poly for p in x]
obj = {
"bbox": [np.min(px), np.min(py), np.max(px), np.max(py)],
"bbox_mode": BoxMode.XYXY_ABS,
"segmentation": [poly],
"category_id": 0,
"iscrowd": 0
}
objs.append(obj)
record["annotations"] = objs
dataset_dicts.append(record)
return dataset_dicts
def verify_dataset(dists_name):
dataset_dicts = get_balloon_dicts(dicts_name)
for d in random.sample(dataset_dicts,3):
img = cv2.imread(d["file_name"])
visualizer = Visualizer(img[:, :, ::-1], metadata=balloon_metadata, scale=0.5)
vis = visualizer.draw_dataset_dict(d)
cv2.imshow(dicts_name, vis.get_image()[:, :, ::-1])
cv2.waitKey(2000) # wait 2000ms
cv2.destroyAllWindows()
def train_dataset(dataset_name):
cfg = get_cfg()
cfg.merge_from_file(model_zoo.get_config_file("COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml"))
# cfg.merge_from_file("../configs/COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml"))
cfg.DATASETS.TRAIN = (dataset_name,)
cfg.DATASETS.TEST = ()
cfg.DATALOADER.NUM_WORKERS = 2
cfg.MODEL.WEIGHTS = model_zoo.get_checkpoint_url("COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml") # Let training initialize from model zoo
cfg.SOLVER.IMS_PER_BATCH = 2
cfg.SOLVER.BASE_LR = 0.00025 # pick a good LR
cfg.SOLVER.MAX_ITER = 300 # 300 iterations seems good enough for this toy dataset; you may need to train longer for a practical dataset
cfg.MODEL.ROI_HEADS.BATCH_SIZE_PER_IMAGE = 128 # faster, and good enough for this toy dataset (default: 512)
cfg.MODEL.ROI_HEADS.NUM_CLASSES = 1 # only has one class (ballon)
os.makedirs(cfg.OUTPUT_DIR, exist_ok=True)
trainer = DefaultTrainer(cfg)
trainer.resume_or_load(resume=False)
trainer.train()
if __name__ == '__main__':
# Prepare the data set
dataset_name = "balloon_train"
dicts_name = "balloon/train"
for d in ["train", "val"]:
DatasetCatalog.register("balloon_" + d, lambda d=d: get_balloon_dicts("balloon/" + d))
MetadataCatalog.get("balloon_" + d).set(thing_classes=["balloon"])
balloon_metadata = MetadataCatalog.get(dataset_name)
# Verify the data set
verify_dataset(dicts_name)
# train
train_dataset(dataset_name)
次のコマンドを実行すると、写真のような風船がアノテーションされたウインドウが開く。Enterキーを押すと次のウインドウが開き、全部で３枚表示される。その後、学習が始まる。
学 習
$ cd ~/src/dectron2/datasets$ tensorboard --logdir output
記事が長くなるので、推論は次のリンクをクリックしよう。
終わり
Detectron2でカスタムデータセット学習メモの続き。長くなったので学習と推論に分けた。以下のDetectron2 Beginner’s Tutorialをもとに説明を加えたもの。TutorialがGoogle ColabのJupyterノートブックを使っているのでローカルマシンで動くようにPythonスクリプトを少し変更している。
学 習
推 論
# balloon_inference.py
import cv2
import json
import numpy as np
import os
import random
from detectron2 import model_zoo
from detectron2.utils.visualizer import ColorMode
from detectron2.config import get_cfg
from detectron2.engine import DefaultPredictor
from detectron2.engine import DefaultTrainer
from detectron2.structures import BoxMode
from detectron2.utils.visualizer import Visualizer
from detectron2.data import DatasetCatalog, MetadataCatalog
from detectron2.evaluation import COCOEvaluator, inference_on_dataset
from detectron2.data import build_detection_test_loader
def get_balloon_dicts(img_dir):
json_file = os.path.join(img_dir, "via_region_data.json")
with open(json_file) as f:
imgs_anns = json.load(f)
dataset_dicts = []
for idx, v in enumerate(imgs_anns.values()):
record = {}
filename = os.path.join(img_dir, v["filename"])
height, width = cv2.imread(filename).shape[:2]
record["file_name"] = filename
record["image_id"] = idx
record["height"] = height
record["width"] = width
annos = v["regions"]
objs = []
for _, anno in annos.items():
assert not anno["region_attributes"]
anno = anno["shape_attributes"]
px = anno["all_points_x"]
py = anno["all_points_y"]
poly = [(x + 0.5, y + 0.5) for x, y in zip(px, py)]
poly = [p for x in poly for p in x]
obj = {
"bbox": [np.min(px), np.min(py), np.max(px), np.max(py)],
"bbox_mode": BoxMode.XYXY_ABS,
"segmentation": [poly],
"category_id": 0,
"iscrowd": 0
}
objs.append(obj)
record["annotations"] = objs
dataset_dicts.append(record)
return dataset_dicts
if __name__ == '__main__':
train_dataset_name = "balloon_train"
val_dataset_name = "balloon_val"
val_dicts_name = "balloon/val"
for d in ["train", "val"]:
DatasetCatalog.register("balloon_" + d, lambda d=d: get_balloon_dicts("balloon/" + d))
MetadataCatalog.get("balloon_" + d).set(thing_classes=["balloon"])
balloon_metadata = MetadataCatalog.get(train_dataset_name)
cfg = get_cfg()
cfg.merge_from_file(model_zoo.get_config_file("COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml"))
# Pretraied weights
# cfg.MODEL.WEIGHTS = model_zoo.get_checkpoint_url("COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml")
# Weights trained by a custom dataset
cfg.MODEL.WEIGHTS = os.path.join(cfg.OUTPUT_DIR, "model_final.pth") #
cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = 0.7 # set the testing threshold for this model
cfg.DATASETS.TRAIN= (train_dataset_name, )
cfg.DATASETS.TEST = (val_dataset_name, )
cfg.DATALOADER.NUM_WORKERS = 2
cfg.SOLVER.IMS_PER_BATCH = 2
cfg.SOLVER.BASE_LR = 0.00025 # pick a good LR
cfg.SOLVER.MAX_ITER = 300 # 300
# faster, and good enough for this toy dataset (default: 512)
cfg.MODEL.ROI_HEADS.BATCH_SIZE_PER_IMAGE = 128
cfg.MODEL.ROI_HEADS.NUM_CLASSES = 1 # only has one class (ballon)
os.makedirs(cfg.OUTPUT_DIR, exist_ok=True)
trainer = DefaultTrainer(cfg) # trainer is used in evaluation
trainer.resume_or_load(resume=False)
# train is not need for the inference and evaluation phase
# trainer.train()
# Inference
predictor = DefaultPredictor(cfg)
dataset_dicts = get_balloon_dicts(val_dicts_name)
for d in random.sample(dataset_dicts, 3):
im = cv2.imread(d["file_name"])
outputs = predictor(im)
v = Visualizer(im[:, :, ::-1],
metadata=balloon_metadata,
scale=0.8,
# remove the colors of unsegmented pixels
instance_mode=ColorMode.IMAGE_BW )
v = v.draw_instance_predictions(outputs["instances"].to("cpu"))
cv2.imshow("Inference", v.get_image()[:, :, ::-1])
#cv2.waitKey(0)
cv2.waitKey(2000) # wait for 2000ms
cv2.destroyAllWindows()
# Evaluation
evaluator = COCOEvaluator(val_dataset_name, cfg, False, output_dir="./output/")
val_loader = build_detection_test_loader(cfg, val_dataset_name)
inference_on_dataset(trainer.model, val_loader, evaluator)
推 論
$ cd ~/src/detectron2/datasets$ python3 ../myprog/balloon_inference.pyエラーの対応
$ pip3 show numpy$ pip3 uninstall numpy$ pip3 install numpy==1.17.0
Detectron2でキーポイント検出モデル(keypoint detection model)の推論を試したメモ。以下のDetectron2 Beginner’s Tutorialを和訳して説明を加えたもの。TutorialがGoogle Colabというクラウドサービスを使ったJupyterノートブックなのでローカルマシンで動くようにPythonスクリプトを少し変更している。
過去記事のMask RCNNとスクリプト自体はほとんど同じ。違うのはモデルの設定とウェイトファイルのみ。ほとんど同じスクリプトでいろいろなモデルを試せるのはDetectron2の良いところ。
# kepoint_inference.py
from detectron2 import model_zoo
from detectron2.engine import DefaultPredictor
from detectron2.config import get_cfg
from detectron2.utils.visualizer import Visualizer
from detectron2.data import MetadataCatalog
import cv2
# 画像の読み込み
im = cv2.imread("./happy_mini.jpg")
# ネットワークの設定
cfg = get_cfg()
cfg.merge_from_file(model_zoo.get_config_file("COCO-Keypoints/keypoint_rcnn_R_50_FPN_3x.yaml"))
cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = 0.7 # set threshold for this model
cfg.MODEL.WEIGHTS = model_zoo.get_checkpoint_url("COCO-Keypoints/keypoint_rcnn_R_50_FPN_3x.yaml")
# 推論
predictor = DefaultPredictor(cfg)
outputs = predictor(im)
# 結果の表示
v = Visualizer(im[:, :, ::-1], MetadataCatalog.get(cfg.DATASETS.TRAIN[0]), scale=1.2)
v = v.draw_instance_predictions(outputs["instances"].to("cpu"))
cv2.imshow('Results', v.get_image()[:, :, ::-1])
cv2.waitKey(0)
cv2.destroyAllWindows()
サンプル画像のダウンロード
実 行
次のコマンドを実行すると、人間に関しては次の画像のようにKeypointが表示される。happy mimiちゃんは表示されないのね。
終わり
セマンティック・セグメンテーション(semantic segmentation)をする機会が増えて、アノテーションツール(annotation tool)を探している。今使っているのは次のツール。シンプルで良いのだが少し自動化があればよい。
探したところ、以下のツールが良さそうで試している。特に、CVATは深層学習を使った自動アノテーション機能が豊富であり、多くのアノテーションフォーマットにも対応している。
使い方の記事は、お楽しみに！
OpenVINO（Open Visual Inference ＆ Neural network Optimization）はIntelが開発しているDeep Learningの推論用ツールキット。CVATでオートアノテーション用のモデルをアップロードするために必要なのでインストールしたときのメモ。私の環境では以下のIntel OpenVINOのサイトに従って簡単にインストールできた。
OpenVINO Toolkit
環 境
インストール
検 証
Intel GPU用の設定
Adding demulab to the video group…
Installation completed successfully.
Next steps:
Add OpenCL users to the video group: ‘sudo usermod -a -G video USERNAME’
e.g. if the user running OpenCL host applications is foo, run: sudo usermod -a -G video foo
Current user has been already added to the video group
If you use 8th Generation Intel® Core™ processor, you will need to add:
i915.alpha_support=1
to the 4.14 kernel command line, in order to enable OpenCL functionality for this platform.
終わり
OpenVINOはDNNの推論に特化したツールキット。学習済みのいろいろモデルをダウンロードしてから、OpenVINOで使える中間表現(IR)フォーマットに変換してから、推論までの作業メモ。以下のサイトに基づいている。
open_model_zoo: Model Downloader and other automation tools
環 境
モデルのダウンロード
$ ./downloader.py --print_all$ ./downloader.py --all --output_dir ~/openvino_models$ ./downloader.py --name mask_rcnn_inception_resnet_v2_atrous_coco --output_dir ~/openvino_modelshuman-pose-estimation-0001 face-detection-adas-0001 age-gender-recognition-retail-0013 head-pose-estimation-adas-0001 emotions-recognition-retail-0003 facial-landmarks-35-adas-0002
$ ./downloader.py --list models.lst --output_dir ~/openvino_models$ ./converter.py --all --download_dir ~/openvino_models$ ./converter.py --name mask_rcnn_inception_resnet_v2_atrous_coco --download_dir ~/openvino_models$ ./converter.py --list models.lst --download_dir ~/openvino_models推 論
多くの学習済みモデルをCPUで推論しても、ロボットのアプリケーションで使えるレベルだと思う。次は、オリジナルデータで学習したモデルをOpenVINOで推論してみたい。
終わり
OpenCVが開発しているCVAT(Computer Vision Annotation Tool)のインストールメモ。Dockerを使うのでインストールはとても簡単。ライセンスはMIT Licenseなので使いやすい。次の公式サイトのInstallation Guideの説明に従ってインストールした。特に問題がなかったので、この記事はInstallation Guideを意訳したものになっているので、公式サイトのInstallation Guideに従ってインストールするのが良い。英語が苦手は方は参考になるかもしれない。
公式サイト
環 境
インストール
実 行
終わり
OpenCVが開発しているCVAT(Computer Vision Annotation Tool)への追加コンポーネントのインストールメモ。コンポーネントを追加することで自動アノテーションが可能となる。以下のリンクにしたがって作業した。ただし、現時点(2020-3-10)では、OpenVINOを最新バージョンにすると自動アノテーションでエラーが出たのでOpenVINOのバージョンは2019R3.1にしている。
参考リンク
自動アノテーションに関する追加コンポーネント
追加コンポーネントを全て使いたい場合
OpenCVが開発しているCVAT(Computer Vision Annotation Tool)のタスク生成のメモ。CVATはドキュメントが充実している。英語が読める方は参考リンクを参照。
参考リンク
タスク生成
終わり
CVAT(Computer Vision Annotation Tool)ではカスタムDNNモデルによる自動アノテーションができる。この記事は以下の参考リンクをもとにOpenVINOの学習済みネットワークモデルをアップロードして、fruit-360データセットのtest_multipule_fruits(45画像)に自動アノテーションまで実施する。なお、参考リンクとは違うネットワークモデルを試している。
参考リンク
概 要
{
"label_map": {
"0": "apple",
"1": "orange"
}
}
import numpy as np import cv2 from skimage.measure import approximate_polygon, find_contours MASK_THRESHOLD = .5 PROBABILITY_THRESHOLD = 0.2 # Ref: https://software.intel.com/en-us/forums/computer-vision/topic/804895 def segm_postprocess(box: list, raw_cls_mask, im_h, im_w, threshold): ymin, xmin, ymax, xmax = box width = int(abs(xmax - xmin)) height = int(abs(ymax - ymin)) result = np.zeros((im_h, im_w), dtype=np.uint8) resized_mask = cv2.resize(raw_cls_mask, dsize=(height, width), interpolation=cv2.INTER_CUBIC) # extract the ROI of the image ymin = int(round(ymin)) xmin = int(round(xmin)) ymax = ymin + height xmax = xmin + width result[xmin:xmax, ymin:ymax] = (resized_mask>threshold).astype(np.uint8) * 255 return result for detection in detections: frame_number = detection['frame_id'] height = detection['frame_height'] width = detection['frame_width'] detection = detection['detections'] masks = detection['masks'] boxes = detection['reshape_do_2d'] for index, box in enumerate(boxes): label = int(box[1]) obj_value = box[2] if obj_value >= PROBABILITY_THRESHOLD: x = box[3] * width y = box[4] * height right = box[5] * width bottom = box[6] * height mask = masks[index][label - 1] mask = segm_postprocess((x, y, right, bottom), mask, height, width, MASK_THRESHOLD) contours = find_contours(mask, MASK_THRESHOLD) contour = contours[0] contour = np.flip(contour, axis=1) contour = approximate_polygon(contour, tolerance=2.5) segmentation = contour.tolist() # NOTE: if you want to see the boxes, uncomment next line # results.add_box(x, y, right, bottom, label, frame_number) results.add_polygon(segmentation, label, frame_number)
実行例
終わり
環 境
ソフトウェアRAIDの解除
Voyager 18.04のインストール
Fin
