ffmpeg音视频高级开发实战

FFmpeg是一款开源的音视频处理工具，它支持多种格式的音视频输入和输出，可以进行音视频编解码、封装、解封装、滤镜处理等操作。本文将介绍FFmpeg的一些高级开发实战，包括音视频采集、推流、拉流、直播等方面的应用。

一、音视频采集

音视频采集是指从摄像头、麦克风等设备中获取音视频数据。使用FFmpeg进行音视频采集的步骤如下：

1. 初始化FFmpeg

av_register_all(); // 注册所有的编解码器

avformat_network_init(); // 初始化网络

2. 打开设备

AVFormatContext *pFormatCtx = avformat_alloc_context();

AVInputFormat *iformat = av_find_input_format("video4linux2");

avformat_open_input(&pFormatCtx, "/dev/video0", iformat, NULL);

3. 查找音视频流

avformat_find_stream_info(pFormatCtx, NULL);

int videoindex = -1;

for (int i = 0; i < pFormatCtx->nb_streams; i++) {

if (pFormatCtx->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) {

videoindex = i;

break;

}

}

4. 打开解码器

AVCodecParameters *pCodecPar = pFormatCtx->streams[videoindex]->codecpar;

AVCodec *pCodec = avcodec_find_decoder(pCodecPar->codec_id);

AVCodecContext *pCodecCtx = avcodec_alloc_context3(pCodec);

avcodec_parameters_to_context(pCodecCtx, pCodecPar);

avcodec_open2(pCodecCtx, pCodec, NULL);

5. 读取音视频数据

AVPacket *packet = av_packet_alloc();

AVFrame *frame = av_frame_alloc();

while (av_read_frame(pFormatCtx, packet) >= 0) {

if (packet->stream_index == videoindex) {

avcodec_send_packet(pCodecCtx, packet);

while (avcodec_receive_frame(pCodecCtx, frame) == 0) {

// 处理视频帧

}

}

}

二、音视频推流

音视频推流是指将采集到的音视频数据推送到服务器上，供其他用户进行观看。使用FFmpeg进行音视频推流的步骤如下：

1. 初始化FFmpeg

av_register_all(); // 注册所有的编解码器

avformat_network_init(); // 初始化网络

2. 打开输出流

AVFormatContext *pFormatCtx = avformat_alloc_context();

AVOutputFormat *ofmt = av_guess_format("flv", NULL, NULL);

avformat_alloc_output_context2(&pFormatCtx, ofmt, "rtmp://localhost/live/stream", NULL);

if (!pFormatCtx) {

return;

}

AVStream *out_stream = avformat_new_stream(pFormatCtx, NULL);

if (!out_stream) {

return;

}

3. 设置音视频参数

out_stream->codecpar->codec_tag = 0;

AVCodecParameters *pCodecPar = avcodec_parameters_alloc();

pCodecPar->codec_type = AVMEDIA_TYPE_VIDEO;

pCodecPar->codec_id = ofmt->video_codec;

pCodecPar->width = 640;

pCodecPar->height = 480;

pCodecPar->format = AV_PIX_FMT_YUV420P;

avcodec_parameters_to_context(out_stream->codec, pCodecPar);

4. 打开编码器

AVCodec *pCodec = avcodec_find_encoder(out_stream->codecpar->codec_id);

avcodec_open2(out_stream->codec, pCodec, NULL);

5. 写入音视频数据

avformat_write_header(pFormatCtx, NULL);

AVFrame *frame = av_frame_alloc();

while (1) {

// 采集音视频数据到frame

avcodec_send_frame(out_stream->codec, frame);

AVPacket *pkt = av_packet_alloc();

int ret = avcodec_receive_packet(out_stream->codec, pkt);

if (ret == 0) {

av_interleaved_write_frame(pFormatCtx, pkt);

}

}

三、音视频拉流

音视频拉流是指从服务器上获取音视频数据，供本地播放器进行播放。使用FFmpeg进行音视频拉流的步骤如下：

1. 初始化FFmpeg

av_register_all(); // 注册所有的编解码器

avformat_network_init(); // 初始化网络

2. 打开输入流

AVFormatContext *pFormatCtx = avformat_alloc_context();

AVInputFormat *iformat = av_find_input_format("flv");

avformat_open_input(&pFormatCtx, "rtmp://localhost/live/stream", iformat, NULL);

avformat_find_stream_info(pFormatCtx, NULL);

3. 查找音视频流

int videoindex = -1;

for (int i = 0; i < pFormatCtx->nb_streams; i++) {

if (pFormatCtx->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) {

videoindex = i;

break;

}

}

4. 打开解码器

AVCodecParameters *pCodecPar = pFormatCtx->streams[videoindex]->codecpar;

AVCodec *pCodec = avcodec_find_decoder(pCodecPar->codec_id);

AVCodecContext *pCodecCtx = avcodec_alloc_context3(pCodec);

avcodec_parameters_to_context(pCodecCtx, pCodecPar);

avcodec_open2(pCodecCtx, pCodec, NULL);

5. 播放音视频数据

AVPacket *packet = av_packet_alloc();

AVFrame *frame = av_frame_alloc();

while (av_read_frame(pFormatCtx, packet) >= 0) {

if (packet->stream_index == videoindex) {

avcodec_send_packet(pCodecCtx, packet);

while (avcodec_receive_frame(pCodecCtx, frame) == 0) {

// 渲染视频帧

}

}

}

四、直播

直播是指将音视频数据实时推送到服务器上，供其他用户进行观看。使用FFmpeg进行直播的步骤如下：

1. 初始化FFmpeg

av_register_all(); // 注册所有的编解码器

avformat_network_init(); // 初始化网络

2. 打开输入流和输出流

AVFormatContext *inFormatCtx = avformat_alloc_context();

AVInputFormat *in_fmt = av_find_input_format("video4linux2");

avformat_open_input(&inFormatCtx, "/dev/video0", in_fmt, NULL);

avformat_find_stream_info(inFormatCtx, NULL);

AVFormatContext *outFormatCtx = avformat_alloc_context();

AVOutputFormat *out_fmt = av_guess_format("flv", NULL, NULL);

avformat_alloc_output_context2(&outFormatCtx, out_fmt, "rtmp://localhost/live/stream", NULL);

if (!outFormatCtx) {

return;

}

3. 复制音视频流

AVStream *in_stream = inFormatCtx->streams[0];

AVStream *out_stream = avformat_new_stream(outFormatCtx, NULL);

avcodec_parameters_copy(out_stream->codecpar, in_stream->codecpar);

out_stream->codecpar->codec_tag = 0;

4. 打开编码器

AVCodec *pCodec = avcodec_find_encoder(out_stream->codecpar->codec_id);

avcodec_open2(out_stream->codec, pCodec, NULL);

5. 写入音视频数据

avformat_write_header(outFormatCtx, NULL);

AVFrame *frame = av_frame_alloc();

while (1) {

// 采集音视频数据到frame

avcodec_send_frame(out_stream->codec, frame);

AVPacket *pkt = av_packet_alloc();

int ret = avcodec_receive_packet(out_stream->codec, pkt);

if (ret == 0) {

av_interleaved_write_frame(outFormatCtx, pkt);

}

}

以上就是使用FFmpeg进行音视频高级开发实战的一些基本步骤，可根据实际需求进行调整和扩展。