#音视频/FFmpeg #Qt

Qt-FFmpeg开发-实现录屏功能💬

文章目录

• Qt-FFmpeg开发-实现录屏功能💬
• • 1、概述💥
  • 2、实现效果💨
  • 3、FFmpeg录屏代码流程👁️‍🗨️
  • 4、主要代码🤙
  • 5、完整源代码🤏

1、概述💥

• 最近研究了一下FFmpeg开发，功能实在是太强大了，网上ffmpeg3、4的文章还是很多的，但是学习嘛，最新的还是不能放过，就选了一个最新的ffmpeg n5.1.2版本，和3、4版本api变化还是挺大的；
• 在这个Demo里主要使用Qt + FFmpeg开发一个【简易录屏软件】，这里主要使用的是【软解码】，需要使用硬解码的可以看之前的文章；
• 为了便于学习，这里只是录制视频图像，没有引入音频等信息；
• 由于录制的视频图像格式和保存的图像格式不一定相同，所以中间需要进行图像格式转换，这里使用的是FFmpeg自带的sws_scale()，听说libyuv性能更强，后续在研究研究。

开发环境说明

• 系统：Windows10、Ubuntu20.04
• Qt版本：V5.12.5
• 编译器：MSVC2017-64、GCC/G++64
• FFmpeg版本：n5.1.2
  • 注意：如果使用了较低版本的库，程序中部分功能可能会存在问题，不会兼容。
  • 官方下载
  • 我使用的库

2、实现效果💨

1. 抓取桌面图像转码后保存到本地视频文件中；
2. 支持各种常见视频文件类型；
3. 支持Windows、Linux录屏功能；
4. 支持全屏录制功能、录制指定区域功能；
5. 默认将录制视频保存到系统的视频文件夹下；
6. 主要功能分为录屏线程、录屏解码、图像像素转换、编码保存4部分。

3、FFmpeg录屏代码流程👁️‍🗨️

• 白色部分： 主要为抓取桌面图像解码流程；
• 绿色部分： 将桌面图像转码/编码保存到视频文件。

4、主要代码🤙

• 啥也不说了，直接上代码，一切有注释

• videodecode.h文件

  /******************************************************************************* @文件名     videodecode.h* @功能       视频解码类，在这个类中调用ffmpeg打开捕获桌面图像进行解码** @开发者     mhf* @邮箱       1603291350@qq.com* @时间       2022/09/15* @备注*****************************************************************************/
  #ifndef VIDEODECODE_H
  #define VIDEODECODE_H#include 
  #include 
  #include 
  #include struct AVFormatContext;
  struct AVCodecContext;
  struct AVRational;
  struct AVPacket;
  struct AVFrame;
  struct SwsContext;
  struct AVBufferRef;
  struct AVInputFormat;
  struct AVStream;
  class QImage;class VideoDecode
  {
  public:VideoDecode();~VideoDecode();bool open(const QString& url = QString());    // 打开媒体文件，或者流媒体rtmp、strp、httpAVFrame* read();                               // 读取视频图像void close();                                 // 关闭bool isEnd();                                 // 是否读取完成AVCodecContext* getCodecContext(){return m_codecContext;}QPoint avgFrameRate(){return m_avgFrameRate;}private:void initFFmpeg();                            // 初始化ffmpeg库（整个程序中只需加载一次）void showError(int err);                      // 显示ffmpeg执行错误时的错误信息qreal rationalToDouble(AVRational* rational); // 将AVRational转换为doublevoid clear();                                 // 清空读取缓冲void free();                                  // 释放private:const AVInputFormat* m_inputFormat = nullptr;AVFormatContext* m_formatContext = nullptr;   // 解封装上下文AVCodecContext*  m_codecContext  = nullptr;   // 解码器上下文AVPacket* m_packet = nullptr;                 // 数据包AVFrame*  m_frame  = nullptr;                 // 解码后的视频帧int    m_videoIndex   = 0;                    // 视频流索引qint64 m_totalTime    = 0;                    // 视频总时长qint64 m_totalFrames  = 0;                    // 视频总帧数qint64 m_obtainFrames = 0;                    // 视频当前获取到的帧数qreal  m_frameRate    = 0;                    // 视频帧率QSize  m_size;                                // 视频分辨率大小char*  m_error = nullptr;                     // 保存异常信息bool   m_end = false;                         // 视频读取完成QPoint m_avgFrameRate;};#endif // VIDEODECODE_H

• videodecode.cpp文件

  #include "videodecode.h"
  #include 
  #include 
  #include 
  #include extern "C" {        // 用C规则编译指定的代码
  #include "libavcodec/avcodec.h"
  #include "libavformat/avformat.h"
  #include "libavutil/avutil.h"
  #include "libswscale/swscale.h"
  #include "libavutil/imgutils.h"
  #include "libavdevice/avdevice.h"    // 调用输入设备需要的头文件
  }#define ERROR_LEN 1024  // 异常信息数组长度
  #define PRINT_LOG 1VideoDecode::VideoDecode()
  {initFFmpeg();m_error = new char[ERROR_LEN];/*** dshow：  Windows 媒体输入设备。目前仅支持音频和视频设备。* gdigrab：基于 Win32 GDI 的屏幕捕获设备* video4linux2：Linux输入视频设备* x11grab：x11屏幕捕获设备*/
  #if defined(Q_OS_WIN)m_inputFormat = av_find_input_format("gdigrab");            // Windows下如果没有则不能打开设备
  #elif defined(Q_OS_LINUX)m_inputFormat = av_find_input_format("x11grab");
  #elif defined(Q_OS_MAC)
  //    m_inputFormat = av_find_input_format("avfoundation");
  #endifif(!m_inputFormat){qWarning() << "查询AVInputFormat失败！";}
  }VideoDecode::~VideoDecode()
  {close();
  }/*** @brief 初始化ffmpeg库（整个程序中只需加载一次）*        旧版本的ffmpeg需要注册各种文件格式、解复用器、对网络库进行全局初始化。*        在新版本的ffmpeg中纷纷弃用了，不需要注册了*/
  void VideoDecode::initFFmpeg()
  {static bool isFirst = true;static QMutex mutex;QMutexLocker locker(&mutex);if(isFirst){//        av_register_all();         // 已经从源码中删除/*** 初始化网络库,用于打开网络流媒体，此函数仅用于解决旧GnuTLS或OpenSSL库的线程安全问题。* 一旦删除对旧GnuTLS和OpenSSL库的支持，此函数将被弃用，并且此函数不再有任何用途。*/avformat_network_init();// 初始化libavdevice并注册所有输入和输出设备。avdevice_register_all();isFirst = false;}
  }/*** @brief      打开媒体文件，或者流媒体，例如rtmp、strp、http* @param url  视频地址* @return     true：成功  false：失败*/
  bool VideoDecode::open(const QString &url)
  {if(url.isNull()) return false;AVDictionary* dict = nullptr;// 所有参数：https://ffmpeg.org/ffmpeg-devices.htmlav_dict_set(&dict, "framerate", "20", 0);          // 设置帧率，默认的是30000/1001，但是实际可能达不到30的帧率，所以最好手动设置av_dict_set(&dict, "draw_mouse", "1", 0);          // 指定是否绘制鼠标指针。0：不包含鼠标，1：包含鼠标av_dict_set(&dict, "video_size", "500x400", 0);    // 录制视频的大小（宽高），默认为全屏
  #if defined(Q_OS_WIN)
  //    av_dict_set(&dict, "offset_x", "100", 0);          // 录制视频的起点X坐标
  //    av_dict_set(&dict, "offset_y", "500", 0);          // 录制视频的起点Y坐标
  #elif defined(Q_OS_LINUX)
  //    av_dict_set(&dict, "select_region", "1", 0);          // 1：指定是否使用指针以图形方式选择抓取区域 0：不使用// 当video_size设置，并且video_size加上grab_x、grab_y后不超出桌面区域时，可以通过grab_x、grab_y设置录屏的起始坐标，如果超出桌面区域则会设置失败
  //       av_dict_set(&dict, "grab_x", "300", 0);          // 录制视频的起点X坐标
  //       av_dict_set(&dict, "grab_y", "500", 0);          // 录制视频的起点Y坐标
  #endif// 打开输入流并返回解封装上下文int ret = avformat_open_input(&m_formatContext,          // 返回解封装上下文url.toStdString().data(),  // 打开视频地址m_inputFormat,             // 如果非null，此参数强制使用特定的输入格式。自动选择解封装器（文件格式）&dict);                    // 参数设置// 释放参数字典if(dict){av_dict_free(&dict);}// 打开视频失败if(ret < 0){showError(ret);free();return false;}// 读取媒体文件的数据包以获取流信息。ret = avformat_find_stream_info(m_formatContext, nullptr);if(ret < 0){showError(ret);free();return false;}m_totalTime = m_formatContext->duration / (AV_TIME_BASE / 1000); // 计算视频总时长（毫秒）
  #if PRINT_LOGqDebug() << QString("视频总时长：%1 ms，[%2]").arg(m_totalTime).arg(QTime::fromMSecsSinceStartOfDay(int(m_totalTime)).toString("HH:mm:ss zzz"));
  #endif// 通过AVMediaType枚举查询视频流ID（也可以通过遍历查找），最后一个参数无用m_videoIndex = av_find_best_stream(m_formatContext, AVMEDIA_TYPE_VIDEO, -1, -1, nullptr, 0);if(m_videoIndex < 0){showError(m_videoIndex);free();return false;}AVStream* videoStream = m_formatContext->streams[m_videoIndex];  // 通过查询到的索引获取视频流// 获取视频图像分辨率（AVStream中的AVCodecContext在新版本中弃用，改为使用AVCodecParameters）m_size.setWidth(videoStream->codecpar->width);m_size.setHeight(videoStream->codecpar->height);m_frameRate = rationalToDouble(&videoStream->avg_frame_rate);  // 视频帧率m_avgFrameRate.setX(videoStream->avg_frame_rate.num);m_avgFrameRate.setY(videoStream->avg_frame_rate.den);// 通过解码器ID获取视频解码器（新版本返回值必须使用const）const AVCodec* codec = avcodec_find_decoder(videoStream->codecpar->codec_id);m_totalFrames = videoStream->nb_frames;#if PRINT_LOGqDebug() << QString("分辨率：[w:%1,h:%2] 帧率：%3  总帧数：%4  解码器：%5").arg(m_size.width()).arg(m_size.height()).arg(m_frameRate).arg(m_totalFrames).arg(codec->name);
  #endif// 分配AVCodecContext并将其字段设置为默认值。m_codecContext = avcodec_alloc_context3(codec);if(!m_codecContext){
  #if PRINT_LOGqWarning() << "创建视频解码器上下文失败！";
  #endiffree();return false;}// 使用视频流的codecpar为解码器上下文赋值ret = avcodec_parameters_to_context(m_codecContext, videoStream->codecpar);if(ret < 0){showError(ret);free();return false;}m_codecContext->flags2 |= AV_CODEC_FLAG2_FAST;    // 允许不符合规范的加速技巧。m_codecContext->thread_count = 8;                 // 使用8线程解码// 初始化解码器上下文，如果之前avcodec_alloc_context3传入了解码器，这里设置NULL就可以ret = avcodec_open2(m_codecContext, nullptr, nullptr);if(ret < 0){showError(ret);free();return false;}// 分配AVPacket并将其字段设置为默认值。m_packet = av_packet_alloc();if(!m_packet){
  #if PRINT_LOGqWarning() << "av_packet_alloc() Error！";
  #endiffree();return false;}// 分配AVFrame并将其字段设置为默认值。m_frame = av_frame_alloc();if(!m_frame){
  #if PRINT_LOGqWarning() << "av_frame_alloc() Error！";
  #endiffree();return false;}m_end = false;return true;
  }/*** @brief   读取图像并将图像转换为YUV420P格式* @return*/
  AVFrame* VideoDecode::read()
  {// 如果没有打开则返回if(!m_formatContext){return nullptr;}// 读取下一帧数据int readRet = av_read_frame(m_formatContext, m_packet);if(readRet < 0){avcodec_send_packet(m_codecContext, m_packet); // 读取完成后向解码器中传如空AVPacket，否则无法读取出最后几帧}else{if(m_packet->stream_index == m_videoIndex)     // 如果是图像数据则进行解码{// 将读取到的原始数据包传入解码器int ret = avcodec_send_packet(m_codecContext, m_packet);if(ret < 0){showError(ret);}}}av_packet_unref(m_packet);  // 释放数据包，引用计数-1，为0时释放空间av_frame_unref(m_frame);int ret = avcodec_receive_frame(m_codecContext, m_frame);if(ret < 0){av_frame_unref(m_frame);if(readRet < 0){m_end = true;     // 当无法读取到AVPacket并且解码器中也没有数据时表示读取完成}return nullptr;}return m_frame;
  }/*** @brief 关闭视频播放并释放内存*/
  void VideoDecode::close()
  {clear();free();m_totalTime     = 0;m_videoIndex    = 0;m_totalFrames   = 0;m_obtainFrames  = 0;m_frameRate     = 0;m_size          = QSize(0, 0);
  }/*** @brief  视频是否读取完成* @return*/
  bool VideoDecode::isEnd()
  {return m_end;
  }/*** @brief        显示ffmpeg函数调用异常信息* @param err*/
  void VideoDecode::showError(int err)
  {
  #if PRINT_LOGmemset(m_error, 0, ERROR_LEN);        // 将数组置零av_strerror(err, m_error, ERROR_LEN);qWarning() << "DecodeVideo Error：" << m_error;
  #elseQ_UNUSED(err)
  #endif
  }/*** @brief          将AVRational转换为double，用于计算帧率* @param rational* @return*/
  qreal VideoDecode::rationalToDouble(AVRational* rational)
  {qreal frameRate = (rational->den == 0) ? 0 : (qreal(rational->num) / rational->den);return frameRate;
  }/*** @brief 清空读取缓冲*/
  void VideoDecode::clear()
  {// 因为avformat_flush不会刷新AVIOContext (s->pb)。如果有必要，在调用此函数之前调用avio_flush(s->pb)。if(m_formatContext && m_formatContext->pb){avio_flush(m_formatContext->pb);}if(m_formatContext){avformat_flush(m_formatContext);   // 清理读取缓冲}
  }void VideoDecode::free()
  {// 释放编解码器上下文和与之相关的所有内容，并将NULL写入提供的指针if(m_codecContext){avcodec_free_context(&m_codecContext);}// 关闭并失败m_formatContext，并将指针置为nullif(m_formatContext){avformat_close_input(&m_formatContext);}if(m_packet){av_packet_free(&m_packet);}if(m_frame){av_frame_free(&m_frame);}
  }

• videocodec.h文件

  /******************************************************************************* @文件名     videocodec.h* @功能       视频编码保存类，将AVFrame图像进行格式转换后编码保存到视频文件中** @开发者     mhf* @邮箱       1603291350@qq.com* @时间       2022/12/26* @备注*****************************************************************************/
  #ifndef VIDEOCODEC_H
  #define VIDEOCODEC_H#include 
  #include 
  #include struct AVCodecParameters;
  struct AVFormatContext;
  struct AVCodecContext;
  struct AVStream;
  struct AVFrame;
  struct AVPacket;
  struct AVOutputFormat;
  struct SwsContext;class VideoCodec
  {
  public:VideoCodec();~VideoCodec();bool open(AVCodecContext *codecContext, QPoint point, const QString& fileName);void write(AVFrame* frame);void close();private:void showError(int err);bool swsFormat(AVFrame* frame);private:AVFormatContext* m_formatContext = nullptr;AVCodecContext * m_codecContext  = nullptr;    // 编码器上下文SwsContext     * m_swsContext    = nullptr;    // 图像转换上下文AVStream       * m_videoStream   = nullptr;AVPacket       * m_packet        = nullptr;    // 数据包AVFrame        * m_frame         = nullptr;    // 解码后的视频帧int m_index = 0;bool             m_writeHeader   = false;      // 是否写入头QMutex           m_mutex;
  };#endif // VIDEOCODEC_H

• videocodec.cpp文件

  #include "videocodec.h"
  #include extern "C" {        // 用C规则编译指定的代码
  #include "libavcodec/avcodec.h"
  #include "libavformat/avformat.h"
  #include "libavutil/avutil.h"
  #include "libswscale/swscale.h"
  #include "libavutil/imgutils.h"
  #include "libavdevice/avdevice.h"
  }#define ERROR_LEN 1024  // 异常信息数组长度
  #define PRINT_LOG 1VideoCodec::VideoCodec()
  {}VideoCodec::~VideoCodec()
  {close();
  }bool VideoCodec::open(AVCodecContext *codecContext, QPoint point, const QString &fileName)
  {if(!codecContext || fileName.isEmpty()) return false;// 通过输出文件名为输出格式分配AVFormatContext。参数3编码器设置为空，由参数4文件名后缀推测合适的编码器int ret = avformat_alloc_output_context2(&m_formatContext, nullptr, nullptr, fileName.toStdString().data());if(ret < 0){close();showError(ret);return false;}// 创建并初始化AVIOContext以访问url所指示的资源。ret = avio_open(&m_formatContext->pb, fileName.toStdString().data(), AVIO_FLAG_WRITE);if(ret < 0){close();showError(ret);return false;}// 查询编码器const AVCodec* codec = avcodec_find_encoder(m_formatContext->oformat->video_codec);if(!codec){close();showError(AVERROR(ENOMEM));return false;}qDebug() << codec->id <<" " << codec->name;// 分配AVCodecContext并将其字段设置为默认值。m_codecContext = avcodec_alloc_context3(codec);if(!m_codecContext){close();showError(AVERROR(ENOMEM));return false;}// 设置编码器上下文参数m_codecContext->width = codecContext->width;                          // 图片宽度/高度m_codecContext->height = codecContext->height;m_codecContext->pix_fmt = codec->pix_fmts[0];                         // 像素格式（这里通过编码器赋值，不需要自己指定）m_codecContext->time_base = {point.y(), point.x()};                   //设置时间基，20为分母，1为分子，表示以1/20秒时间间隔播放一帧图像m_codecContext->framerate = {point.x(), point.y()};m_codecContext->bit_rate = 1000000;                                   // 目标的码率，即采样的码率；显然，采样码率越大，视频大小越大，画质越高m_codecContext->gop_size = 12;                                        // I帧间隔(值越大，视频文件越小，编解码延时越长)m_codecContext->flags |= AV_CODEC_FLAG_GLOBAL_HEADER;// 打开编码器ret = avcodec_open2(m_codecContext, nullptr, nullptr);if(ret < 0){close();showError(ret);return false;}// 向媒体文件添加新流m_videoStream = avformat_new_stream(m_formatContext, nullptr);if(!m_videoStream){close();showError(AVERROR(ENOMEM));return false;}//拷贝一些参数，给codecpar赋值ret = avcodec_parameters_from_context(m_videoStream->codecpar,m_codecContext);if(ret < 0){close();showError(ret);return false;}// 写入文件头ret = avformat_write_header(m_formatContext, nullptr);if(ret < 0){close();showError(ret);return false;}m_writeHeader = true;// 分配一个AVPacketm_packet = av_packet_alloc();if(!m_packet){close();showError(AVERROR(ENOMEM));return false;}m_frame = av_frame_alloc();if(!m_frame){close();showError(AVERROR(ENOMEM));return false;}m_frame->format = codec->pix_fmts[0];qDebug() << "开始录制视频！";return true;
  }/*** @brief          将图像帧编码写入视频文件* @param frame*/
  void VideoCodec::write(AVFrame *frame)
  {QMutexLocker locker(&m_mutex);if(!m_packet){return;}if(!swsFormat(frame))              // 由于解码的图像格式和编码需要的图像格式不一定相同，所以需要转换一下格式{return;}if(m_frame){m_frame->pts = m_index;         // pts从0开始增加，保存的视频才会时间从0开始增加m_index++;}avcodec_send_frame(m_codecContext, m_frame); // 将图像传入编码器// 循环读取所有编码完的帧while (true){// 从编码器中读取图像帧int ret = avcodec_receive_packet(m_codecContext, m_packet);if(ret < 0){break;}// 将数据包中的有效时间字段（时间戳/持续时间）从一个时基转换为 输出流的时间av_packet_rescale_ts(m_packet, m_codecContext->time_base, m_videoStream->time_base);av_write_frame(m_formatContext, m_packet);   // 将数据包写入输出媒体文件av_packet_unref(m_packet);}
  }void VideoCodec::close()
  {write(nullptr);   // 传入空帧，读取所有编码数据QMutexLocker locker(&m_mutex);    // 如果不加锁可能在点击关闭时，write函数正在写入数据，导致崩溃if(m_formatContext){// 写入文件尾if(m_writeHeader){m_writeHeader = false;int ret = av_write_trailer(m_formatContext);if(ret < 0){showError(ret);return;}}int ret = avio_close(m_formatContext->pb);if(ret < 0){showError(ret);return;}avformat_free_context(m_formatContext);m_formatContext = nullptr;m_videoStream = nullptr;}// 释放编解码器上下文并置空if(m_codecContext){avcodec_free_context(&m_codecContext);}if(m_packet){av_packet_free(&m_packet);}// 释放上下文swsContext。if(m_swsContext){sws_freeContext(m_swsContext);m_swsContext = nullptr;             // sws_freeContext不会把上下文置NULL}if(m_frame){av_frame_free(&m_frame);}m_index = 0;
  }void VideoCodec::showError(int err)
  {
  #if PRINT_LOGstatic char  m_error[ERROR_LEN];         // 保存异常信息memset(m_error, 0, ERROR_LEN);           // 将数组置零av_strerror(err, m_error, ERROR_LEN);qWarning() << "VideoSave Error：" << m_error;
  #elseQ_UNUSED(err)
  #endif
  }/*** @brief        将解码图像帧的像素格式转换未编码图像帧的像素格式* @param frame* @return       true：转换成功  false：转换失败*/
  bool VideoCodec::swsFormat(AVFrame *frame)
  {if(!frame || frame->width <= 0 || frame->height <= 0){return false;}// 为什么图像转换上下文要放在这里初始化呢，是因为m_frame->format，如果使用硬件解码，解码出来的图像格式和m_codecContext->pix_fmt的图像格式不一样，就会导致无法转换为QImage// 由于解码后的图像格式不一定支持保存裸流，或者不支持直接编码为H264，所以需要转换格式if(!m_swsContext){// 获取缓存的图像转换上下文。首先校验参数是否一致，如果校验不通过就释放资源；然后判断上下文是否存在，如果存在直接复用，如不存在进行分配、初始化操作m_swsContext = sws_getCachedContext(m_swsContext,frame->width,                     // 输入图像的宽度frame->height,                    // 输入图像的高度(AVPixelFormat)frame->format,     // 输入图像的像素格式frame->width,                     // 输出图像的宽度frame->height,                    // 输出图像的高度(AVPixelFormat)m_frame->format,   // 输出图像的像素格式SWS_BILINEAR,                     // 选择缩放算法(只有当输入输出图像大小不同时有效),一般选择SWS_FAST_BILINEARnullptr,                          // 输入图像的滤波器信息, 若不需要传NULLnullptr,                          // 输出图像的滤波器信息, 若不需要传NULLnullptr);                         // 特定缩放算法需要的参数(?)，默认为NULLif(!m_swsContext){
  #if PRINT_LOGqWarning() << "sws_getCachedContext() Error！";
  #endifav_frame_unref(frame);return false;}if(m_frame){// 创建一个图像帧用于保存YUV420P图像m_frame->width = frame->width;m_frame->height = frame->height;av_frame_get_buffer(m_frame, 3 * 8);}}if(m_frame->width <= 0 || m_frame->height <= 0)      // 如果m_frame没有分配空间则返回{return false;}// 开始转换格式bool ret = sws_scale(m_swsContext,             // 缩放上下文frame->data,                   // 原图像数组frame->linesize,               // 包含源图像每个平面步幅的数组0,                             // 开始位置frame->height,                 // 行数m_frame->data,                 // 目标图像数组m_frame->linesize);            // 包含目标图像每个平面的步幅的数组av_frame_unref(frame);return ret;
  }

5、完整源代码🤏

• github
• gitee

∧__∧
( ｀Д´ ）
(っ▄︻▇〓┳═💥💥
/　　 )
( /￣∪