ffmpeg音视频开发基础与实战

FFmpeg是一个开源的音视频处理工具库，它可以对音视频进行编解码、转码、处理、流媒体协议处理等操作。FFmpeg是非常强大和灵活的，可以在任何平台上使用，包括Windows、Linux、macOS等。

FFmpeg的基础组成部分有以下几个：

1. libavcodec：音视频编解码器库，提供了对常见的音视频格式的编解码支持，包括H.264、MPEG-4、AAC等。

2. libavformat：音视频封装器库，用于封装音视频数据为常见的音视频格式文件，如MP4、AVI、FLV等。

3. libavfilter：音视频滤镜库，可以对音视频进行滤镜、水印、剪辑等处理。

4. libavutil：音视频工具库，提供了一些常见的工具函数，如时间戳转换、内存分配等。

5. libswscale：视频格式转换库，用于将视频的像素格式进行转换，比如将YUV420P转换为RGB。

FFmpeg的使用非常灵活，可以通过命令行工具进行操作，也可以使用API进行二次开发。下面介绍如何使用FFmpeg进行音视频的编解码和转码：

1. 音视频解码

音视频解码是将已经编码过的音视频数据解码成原始的音视频数据。使用FFmpeg进行音视频解码的代码如下：

```

AVFormatContext* fmt_ctx = NULL;

AVCodecContext* codec_ctx = NULL;

AVCodec* codec = NULL;

AVPacket pkt;

AVFrame* frame = NULL;

// 打开输入文件

avformat_open_input(&fmt_ctx, input_file, NULL, NULL);

// 获取音视频流信息

avformat_find_stream_info(fmt_ctx, NULL);

// 查找音频流

int audio_stream_index = av_find_best_stream(fmt_ctx, AVMEDIA_TYPE_AUDIO, -1, -1, &codec, 0);

// 初始化音频解码器上下文

codec_ctx = avcodec_alloc_context3(codec);

avcodec_parameters_to_context(codec_ctx, fmt_ctx->streams[audio_stream_index]->codecpar);

avcodec_open2(codec_ctx, codec, NULL);

// 分配帧内存

frame = av_frame_alloc();

// 读取音频数据并解码

while (av_read_frame(fmt_ctx, &pkt) >= 0) {

if (pkt.stream_index == audio_stream_index) {

avcodec_send_packet(codec_ctx, &pkt);

while (avcodec_receive_frame(codec_ctx, frame) == 0) {

// 处理解码后的音频数据

}

}

av_packet_unref(&pkt);

}

```

2. 音视频编码

音视频编码是将原始的音视频数据编码成指定的音视频格式。使用FFmpeg进行音视频编码的代码如下：

```

AVFormatContext* fmt_ctx = NULL;

AVCodecContext* codec_ctx = NULL;

AVCodec* codec = NULL;

AVPacket pkt;

AVFrame* frame = NULL;

// 创建输出文件

avformat_alloc_output_context2(&fmt_ctx, NULL, NULL, output_file);

// 添加音频流

AVStream* audio_stream = avformat_new_stream(fmt_ctx, codec);

// 初始化音频编码器上下文

codec_ctx = avcodec_alloc_context3(codec);

codec_ctx->codec_type = AVMEDIA_TYPE_AUDIO;

codec_ctx->sample_rate = sample_rate;

codec_ctx->channel_layout = channel_layout;

codec_ctx->sample_fmt = AV_SAMPLE_FMT_S16;

codec_ctx->bit_rate = bit_rate;

avcodec_open2(codec_ctx, codec, NULL);

avcodec_parameters_from_context(audio_stream->codecpar, codec_ctx);

// 打开输出文件

avio_open(&fmt_ctx->pb, output_file, AVIO_FLAG_WRITE);

// 写入文件头

avformat_write_header(fmt_ctx, NULL);

// 分配帧内存

frame = av_frame_alloc();

frame->nb_samples = nb_samples;

frame->format = codec_ctx->sample_fmt;

frame->channel_layout = codec_ctx->channel_layout;

av_frame_get_buffer(frame, 0);

// 编码并写入音频数据

while (has_audio_data) {

// 填充音频数据到frame

avcodec_send_frame(codec_ctx, frame);

while (avcodec_receive_packet(codec_ctx, &pkt) == 0) {

// 写入音频数据到文件

av_interleaved_write_frame(fmt_ctx, &pkt);

av_packet_unref(&pkt);

}

}

// 写入文件尾

av_write_trailer(fmt_ctx);

```

3. 音视频转码

音视频转码是将已经编码过的音视频数据进行格式转换或者编码参数调整。使用FFmpeg进行音视频转码的代码如下：

```

AVFormatContext* input_fmt_ctx = NULL;

AVCodecContext* input_codec_ctx = NULL;

AVCodec* input_codec = NULL;

AVPacket input_pkt;

AVFrame* input_frame = NULL;

AVFormatContext* output_fmt_ctx = NULL;

AVCodecContext* output_codec_ctx = NULL;

AVCodec* output_codec = NULL;

AVPacket output_pkt;

AVFrame* output_frame = NULL;

// 打开输入文件

avformat_open_input(&input_fmt_ctx, input_file, NULL, NULL);

// 获取音视频流信息

avformat_find_stream_info(input_fmt_ctx, NULL);

// 查找音频流

int audio_stream_index = av_find_best_stream(input_fmt_ctx, AVMEDIA_TYPE_AUDIO, -1, -1, &input_codec, 0);

// 初始化音频解码器上下文

input_codec_ctx = avcodec_alloc_context3(input_codec);

avcodec_parameters_to_context(input_codec_ctx, input_fmt_ctx->streams[audio_stream_index]->codecpar);

avcodec_open2(input_codec_ctx, input_codec, NULL);

// 查找输出编码器

output_codec = avcodec_find_encoder(AV_CODEC_ID_AAC);

// 创建输出文件

avformat_alloc_output_context2(&output_fmt_ctx, NULL, NULL, output_file);

// 添加音频流

AVStream* audio_stream = avformat_new_stream(output_fmt_ctx, output_codec);

// 初始化音频编码器上下文

output_codec_ctx = avcodec_alloc_context3(output_codec);

output_codec_ctx->codec_type = AVMEDIA_TYPE_AUDIO;

output_codec_ctx->sample_rate = sample_rate;

output_codec_ctx->channel_layout = channel_layout;

output_codec_ctx->sample_fmt = AV_SAMPLE_FMT_S16;

output_codec_ctx->bit_rate = bit_rate;

avcodec_open2(output_codec_ctx, output_codec, NULL);

avcodec_parameters_from_context(audio_stream->codecpar, output_codec_ctx);

// 打开输出文件

avio_open(&output_fmt_ctx->pb, output_file, AVIO_FLAG_WRITE);

// 写入文件头

avformat_write_header(output_fmt_ctx, NULL);

// 分配帧内存

input_frame = av_frame_alloc();

output_frame = av_frame_alloc();

output_frame->nb_samples = nb_samples;

output_frame->format = output_codec_ctx->sample_fmt;

output_frame->channel_layout = output_codec_ctx->channel_layout;

av_frame_get_buffer(output_frame, 0);

// 转码并写入音频数据

while (av_read_frame(input_fmt_ctx, &input_pkt) >= 0) {

if (input_pkt.stream_index == audio_stream_index) {

// 解码

avcodec_send_packet(input_codec_ctx, &input_pkt);

while (avcodec_receive_frame(input_codec_ctx, input_frame) == 0) {

// 转换格式

swr_convert(swr_ctx, output_frame->data, nb_samples, (const uint8_t**)input_frame->data, input_frame->nb_samples);

output_frame->pts = av_rescale_q(input_frame->pts, input_codec_ctx->time_base, output_codec_ctx->time_base);

// 编码

avcodec_send_frame(output_codec_ctx, output_frame);

while (avcodec_receive_packet(output_codec_ctx, &output_pkt) == 0) {

// 写入文件

av_interleaved_write_frame(output_fmt_ctx, &output_pkt);

av_packet_unref(&output_pkt);

}

}

}

av_packet_unref(&input_pkt);

}

// 写入文件尾

av_write_trailer(output_fmt_ctx);

```

以上是FFmpeg的音视频开发基础与实战介绍。FFmpeg是一个非常强大和灵活的音视频处理工具库，可以用于音视频的解码、编码、转码和处理等操作。如果你对音视频开发有兴趣，不妨尝试使用FFmpeg进行开发。