Linux基于webRTC的二次开发(二) 实现远程桌面共享
webRTC中的desktop_capture模块提供了捕获桌面和捕获窗口的相关功能,而实现远程桌面共享功能需要将desktop_capture捕获的画面作为peerconnection的视频源,下面介绍一下相关的方法
peerconnection添加视频源时调用AddTrack(rtc::scoped_refptr<MediaStreamTrackInterface> track,const std::vector<std::string>& stream_ids);
,我们需要传入一个rtc::scoped_refptr<webrtc::VideoTrackInterface>
类型作为视频源,使用PeerConnectionFactoryInterface::CreateVideoTrack(const std::string& label,VideoTrackSourceInterface* source)
创建。
可以看到,我们需要获得VideoTrackSourceInterface*
webrtc提供了AdaptedVideoTrackSource类,该类继承自VideoTrackSourceInterface。我们需要继承实现AdaptedVideoTrackSource,在其中添加捕获桌面获得的图像,然后将其传入父类的OnFrame函数即可
简单代码如下
class MyDesktopCapture : public rtc::AdaptedVideoTrackSource, public webrtc::DesktopCapturer::Callback
{
public:
explicit MyDesktopCapture();
static rtc::scoped_refptr<MyDesktopCapture> Create();
void OnCaptureResult(webrtc::DesktopCapturer::Result result, std::unique_ptr<webrtc::DesktopFrame> desktopframe) override;
bool is_screencast() const override;
absl::optional<bool> needs_denoising() const override;
webrtc::MediaSourceInterface::SourceState state() const override;
bool remote() const override;
private:
std::unique_ptr<CaptureThread> capture_;
};
其中OnCaptureResult作为DesktopCatpure的回调,在桌面捕获获得图像时会调用该方法
由于桌面捕获获得的DesktopFrame都是RGBA数据,我们需要将其转换成存放I420数据的VideoFrame,然后调用OnFrame
现在新版本的webrtc不提供ConvertToI420方法,我们需要自己用libyuv实现,将RGBA转换为I420
void MyDesktopCapture::OnCaptureResult(webrtc::DesktopCapturer::Result result, std::unique_ptr<webrtc::DesktopFrame> desktopframe)
{
if(result!=webrtc::DesktopCapturer::Result::SUCCESS)
return;
int width=desktopframe->size().width();
int height=desktopframe->size().height();
rtc::scoped_refptr<webrtc::I420Buffer> buffer=webrtc::I420Buffer::Create(width,height);
int stride=width;
uint8_t* yplane=buffer->MutableDataY();
uint8_t* uplane=buffer->MutableDataU();
uint8_t* vplane=buffer->MutableDataV();
libyuv::ConvertToI420(desktopframe->data(),0,
yplane,stride,
uplane,(stride+1)/2,
vplane,(stride+1)/2,
0,0,
width,height,
width,height,
libyuv::kRotate0,libyuv::FOURCC_ARGB);
webrtc::VideoFrame frame=webrtc::VideoFrame(buffer,0,0,webrtc::kVideoRotation_0);
this->OnFrame(frame);
}
最后我们使用该类创建VideoTrack,添加进peerconnection即可
实现效果如下图