ROS中阶笔记（五）：机器人感知—机器视觉

目录

步骤一，检测电脑是安装usb_cam还是应该安装uvc_cam

  1.  $ lsusb                         #查看usb摄像头

打开网址：http://www.ideasonboard.org/uvc/，查看与自己摄像头匹配的ID号。
如果有，就说明你的笔记本摄像头比较好，有他的厂商提供的linux驱动，是uvc_cam
没有匹配的ID，说明是usb_cam。

Bus 001 Device 002: ID 04f2:b6d9 Chicony Electronics Co., Ltd #摄像头
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 002 Device 004: ID 0e0f:0008 VMware, Inc.
Bus 002 Device 003: ID 0e0f:0002 VMware, Inc. Virtual USB Hub
Bus 002 Device 002: ID 0e0f:0003 VMware, Inc. Virtual Mouse
Bus 002 Device 001: ID 1d6b:0001 Linux Foundation 1.1 root hub

步骤二，查看摄像头设备

  1. $ ls /dev/video*                     #默认笔记本自带摄像头是video0

步骤三，测试您的网络摄像头；(虚拟机+ubuntu16.04)

  1. $ sudo apt-get install cheese
  2. $ cheese                                       # 启动cheese查看摄像头情况

步骤四，安装usb_cam

  1. $ sudo apt-get install ros-kinetic-usb-cam    # 安装摄像头功能包
  2. $ roslaunch usb_cam usb_cam-test.launch       # 启动功能包
  3. $ rqt_image_view                              # 可视化工具

新版本的usb_cam包在launch文件夹下有自带的launch文件，名叫usb_cam-test.launch

显示图像类型

  1. $ roslaunch usb_cam usb_cam-test.launch 		
  2. $ rostopic info /usb_cam/image_raw

查看图像消息

  1. $ rosmsg show sensor_msgs/Image

  • Header:消息头，包含消息序号，时间戳和绑定坐标系；
  • height:图像的纵向分辨率；
  • width:图像的横向分辨率；
  • encoding:图像的编码格式，包含RGB、YUV等常用格式，不涉及图像压缩编码；
  • is_bigendian:图像数据的大小端存储模式；
  • step:一行图像数据的字节数量，作为数据的步长参数；
  • data:存储图像数据的数组，大小为step*height个字节；

1080 * 720分辨率的摄像头产生一帧图像的数据大小是 3 * 1080 * 720=2764800字节，即2.7648MB

压缩图像消息

  1. $ rosmsg show sensor_msgs/CompressedImage

  • format:图像的压缩编码格式(jpeg，png，bmp)
  • data:存储图像数据数组

红外摄像头采集三维点云数据，采集的位置信息从xyz三个方向上描述，每一个方向上的数据都是一个浮点数；

一个浮点数占据的空间大小为4个字节。

显示点云类型

  1. $ roslaunch freenet_launch freenect.launch 	    #启动kinect 
  2. $ rostopic info /camera/depth_registered/points

查看点云消息

  1. $ rosmsg show sensor_msgs/PointCloud2
  • height:点云图像的纵向分辨率；
  • width:点云图像的横向分辨率；
  • fields:每个点的数据类型；
  • is_bigendian:数据的大小端存储模式；
  • point_step:单点的数据字节步长；
  • row_step:一列数据的字节步长；
  • data:点云数据的存储数组，总字节大小为row_step*height；
  • is_dense:是否有无效点；如果有无效点，考虑这一帧的图像数据是否保留或者舍弃。

点云单帧数据量也很大，如果使用分布式网络传输，需要考虑能否满足数据的传输要求，或者针对数据进行压缩。

图像数据采集之前，需要把摄像头进行一些标定，关于如何标定，我们需要外部工具：棋盘格标定靶

摄像头为什么要标定？

摄像头这种精密仪器对光学器件的要求较高，由于摄像头内部与外部的一些原因，生成的物体图像往往会发生畸变，为避免数据源造成的误差，需要针对摄像头的参数进行标定。

安装标定功能包

  1. $ sudo apt-get install ros-kinetic-camera-calibration

1.启动摄像头

  1. $ roslaunch robot_vision usb_cam.launch      # 启动摄像头功能包  
  3. $ roslaunch usb_cam usb_cam-test.launch       # 启动摄像头功能包

2.启动标定包

  1. $ rosrun camera_calibration cameracalibrator.py --size 8x6 --square 0.024 image:=/usb_cam/image_raw camera:=/usb_cam 
  3. # 8x6，中间是x，而不是乘号；
  4. # 启动标定包之后，把棋盘格标定靶放在摄像头的可视范围内；
  5. # square 0.024 实际打印出来纸张的正方形边长，自己拿尺子测量；0.024米
  7. - 1.size:标定棋盘格的内部角点个数，这里使用的棋盘一共有六行，每行有8个内部角点；
  8. - 2.square:这个参数对应每个棋盘格的边长，单位是米；
  9. - 3.image和camera:设置摄像头发布的图像话题；

3.标定过程

  • X:标定靶在摄像头视野中的左右移动，变为绿色说明已经满足标定需求；
  • Y:标定靶在摄像头视野中的上下移动；
  • Size:标定靶在摄像头视野中的前后（远近）移动；
  • Skew:标定靶在摄像头视野中的倾斜转动；

CALIBRATE：标定之前是灰色；标定成功之后，变为深绿色，说明当前标定已经结束；点击它，界面好像未响应，这是因为它在后台进行数据运算，不要关闭；

后面两个灰色灰色按键SAVE、COMMIT变为深绿色，说明计算完成；

4.同时在终端中显示标定结果：

点击按键SAVE，在终端中显示标定的数据放在哪一个路径下面；

(\’Wrote calibration data to\’, \’/tmp/calibrationdata.tar.gz\’)

5.解压缩——找到标定文件

(\’Wrote calibration data to\’, \’/tmp/calibrationdata.tar.gz\’)

找到calibrationdata.tar.gz文件，解压，里面有很多图片（在做标定的时候，采样图片，这些图片已经没用），我们需要只有一个文件ost.yaml文件，把这个文件拷贝到功能包（自己建的任务的功能包）下面；

  1. image_width: 640
  2. image_height: 480
  3. camera_name: narrow_stereo
  4. camera_matrix:
  5.   rows: 3
  6.   cols: 3
  7.   data: [672.219498, 0.000000, 322.913816, 0.000000, 676.060141, 220.617820, 0.000000, 0.000000, 1.000000]
  8. distortion_model: plumb_bob
  9. distortion_coefficients:
  10.   rows: 1
  11.   cols: 5
  12.   data: [-0.146620, 0.187588, 0.001657, 0.000009, 0.000000]
  13. rectification_matrix:
  14.   rows: 3
  15.   cols: 3
  16.   data: [1.000000, 0.000000, 0.000000, 0.000000, 1.000000, 0.000000, 0.000000, 0.000000, 1.000000]
  17. projection_matrix:
  18.   rows: 3
  19.   cols: 4
  20.   data: [655.937012, 0.000000, 323.001754, 0.000000, 0.000000, 665.393311, 220.554221, 0.000000, 0.000000, 0.000000, 1.000000, 0.000000]

Kinect包含彩色摄像头和红外摄像头，我们需要针对两个摄像头分别做标定。

1.启动Kinect

  1. $ roslaunch robot_vision freenect.launch

2.启动彩色摄像头

  1. $ rosrun camera_calibration cameracalibrator.py image:=/camera/rgb/image_raw camera:=/camera/rgb --size 8x6 --square 0.024 
  2.

3.标定红外摄像头

  1. $ rosrun camera_calibration cameracalibrator.py image:=/camera/ir/image_raw camera:=/camera/ir --size 8x6 --square 0.024

在launch文件中加载标定文件，通过camera_info_url参数来进行加载；

Kinect因为有两个标定文件，因此需要通过两个参数的加载来完成；把两个文件都加载在进来。

原因：标定文件中camera_name参数与实际传感器名称不匹配

解决方法：按照警告提示的信息进行修改即可。

比如根据上图所示的警告，分别将两个标定文件.yaml中的camera_name参数修改为
“rgb_A70774707163327A”、“depth_A70774707163327A”即可。

Open Source Computer Vision Library；基于BSD许可发行的跨平台开源计算机视觉库（Linux、Windows和Mac OS等）；由一系列C函数和少量C++类构成，同时提供C++、Python、Ruby、MATLAB等语言的接口；实现了图像处理和计算机视觉方面的很多通用算法，而且对非商业应用和商业应用都是免费的；可以直接访问硬件摄像头，并且还提供了一个简单的GUl系统一highgui。

安装OpenCV

  1. $ sudo apt-get install ros-kinetic-vision-opencv libopencv-dev python-opencv

测试例程

  1. $ roslaunch robot_vision usb_cam.launch        # 启动摄像头
  2. $ rosrun robot_vision cv_bridge_test.py        # 打开opencv图像，自己的api接口
  3. $ rqt_image_view                   # ROS中的图像

imgmsg_to_cv2()：将ROS图像消息转换成OpenCV图像数据

cv2_to_imgmsg()：将OpenCV格式的图像数据转换成ROS图像消息

输入参数：

1.图像消息流

2.转换的图像数据格式

启动人脸识别实例

  1. $ roslaunch robot_vision usb_cam.launch            # 启动摄像头
  2. $ roslaunch robot_vision face_detector.launch      # 启动人脸识别功能节点
  3. $ rqt_image_view

初始化部分：完成ROS节点、图像、识别参数的设置。

ROS图像回调函数：将图像转化成OpenCV的数据格式，然后预处理之后开始调用人脸识别的功能函数，最后把识别的结果发布。

人脸识别：调用OpenCV提供的人脸识别接口，与数据库中的人脸特征进行匹配。

启动物体跟踪实例

  1. $ roslaunch robot_vision usb_cam.launch                  # 启动摄像头
  2. $ roslaunch robot_vision motion_detector.launch          # 启动物体跟踪功能节点
  3. $ rqt_image_view

初始化部分：完成ROS节点、图像、识别参数的设置

图像处理：将图像转换成OpenCV格式；完成图像预处理之后开始针对两帧图像进行比较，基于图像差异识别到运动的物体，最后标识识别结果并发布

安装二维码识别功能包

  1. $ sudo apt-get install ros-kinect-ar-track-alvar

创建二维码

  1. $ rosrun ar_track_alvar createMarker
  2. $ rosrun ar_track_alvar createMarker 0
  3. 	
  4. $ roscd robot_vision/config
  5. $ rosrun ar_track_alvar createMarker -s 5 0         #边长5厘米，数字为0的二维码
  6. $ rosrun ar_track_alvar createMarker -s 5 1
  7. $ rosrun ar_track_alvar createMarker -s 5 2

1.启动摄像头二维码识别示例

  1. $ roslaunch robot_vision usb_cam_with_calibration.launch
  2. $ roslaunch robot_vision ar_track_camera.launch

启动摄像头时，需要加载标定文件，否则可能无法识别二维码。

2.查看识别到的二维码位姿

  1. $ rostopic echo /ar_pose_marker

启动Kinect二维码识别示例

  1. $ roslaunch robot_vision freenect.launch
  2. $ roslaunch robot_vision ar_track_kinect.launch

Object Recognition Kitchen(ORK) 物体识别框架

TensorFlow Object Detection API 识别API

ROS cV_bridge wiki： http://wiki.ros.org/cv_bridge
ROS opencv_apps： http://wiki.ros.org/opencv_apps

版权声明：本文为IT-cute原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/IT-cute/p/12990327.html