当前位置: 首页 > 编程日记 > 正文

Android NDK开发之旅31 FFmpeg音频解码

###前言 #####基于Android NDK开发之旅30--FFmpeg视频播放这篇文章,我们已经学会视频解码基本过程。这篇文章就对音频解码进行分析。 #####音频解码和视频解码的套路基本是一样的, 否则怎么会做到音视频同步播放呢?


###1.FFmpeg音视解码过程分析 参考视频解码过程,得到音频解码过程 ![参考视频解码过程](http://upload-images.jianshu.io/upload_images/1824809-79b9f19d44b14f2c.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) ####1.1.注册所有组件 ``` av_register_all(); ``` 这个函数,可以注册所有支持的容器和对应的codec。 ####1.2.打开输入音频文件 ``` AVFormatContext *pFormatCtx = avformat_alloc_context(); avformat_open_input(&pFormatCtx, input_cstr, NULL, NULL) ``` ####1.3.获取音频文件信息 ``` avformat_find_stream_info(pFormatCtx, NULL) ``` ``` //获取音频流索引位置 int i = 0, audio_stream_idx = -1; for (; i < pFormatCtx->nb_streams; i++) { if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_AUDIO) { audio_stream_idx = i; break; } } if (audio_stream_idx == -1) { LOGI("%s", "找不到音频流"); return; } ```

####1.4.根据编解码上下文中的编码id查找对应的解码器

	//获取解码器AVCodecContext *pCodeCtx = pFormatCtx->streams[audio_stream_idx]->codec;AVCodec *codec = avcodec_find_decoder(pCodeCtx->codec_id);
复制代码

####1.5.打开解码器

avcodec_open2(pCodeCtx, codec, NULL)
复制代码

来打开解码器,AVFormatContext、AVStream、AVCodecContext、AVCodec四者之间的关系为

####1.6.配置音频参数

	//输入采样率格式enum AVSampleFormat in_sample_fmt = pCodeCtx->sample_fmt;//输出采样率格式16bit PCMenum AVSampleFormat out_sample_fmt = AV_SAMPLE_FMT_S16;//输入采样率int in_sample_rate = pCodeCtx->sample_rate;//输出采样率int out_sample_rate = 44100;//获取输入的声道布局//根据声道个数获取默认的声道布局(2个声道,默认立体声)//av_get_default_channel_layout(pCodeCtx->channels);uint64_t in_ch_layout = pCodeCtx->channel_layout;//输出的声道布局uint64_t out_ch_layout = AV_CH_LAYOUT_STEREO;swr_alloc_set_opts(swrCtx, out_ch_layout, out_sample_fmt, out_sample_rate, in_ch_layout, in_sample_fmt, in_sample_rate, 0, NULL);swr_init(swrCtx);
复制代码

####1.7. 一帧一帧读取压缩的音频数据AVPacket

while (av_read_frame(pFormatCtx, packet) >= 0) {
省略...
}
复制代码

####1.8.解码一帧音频数据AVPacket->AVFrame

avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet)
复制代码

###2.关键代码 #####VideoUtils.class

package com.haocai.ffmpegtest;public class VideoUtils {//音频解码public native void audioDecode(String input,String output);static{System.loadLibrary("avutil-54");System.loadLibrary("swresample-1");System.loadLibrary("avcodec-56");System.loadLibrary("avformat-56");System.loadLibrary("swscale-3");System.loadLibrary("postproc-53");System.loadLibrary("avfilter-5");System.loadLibrary("avdevice-56");System.loadLibrary("myffmpeg");}
}复制代码

#####MainActivity.class

    /*** 音频解码*/public void doAudioDecode(){String input = new File(Environment.getExternalStorageDirectory(),"说散就散.mp3").getAbsolutePath();String output = new File(Environment.getExternalStorageDirectory(),"说散就散.pcm").getAbsolutePath();VideoUtils player = new VideoUtils();player.audioDecode(input, output);Toast.makeText(this,"正在解码...",Toast.LENGTH_SHORT).show();}
复制代码

#####ffmpeg_voicer.c

#include <com_haocai_ffmpegtest_VideoUtils.h>
#include <android/log.h>
#include <android/native_window_jni.h>
#include <android/native_window.h>
#include <stdio.h>
//解码
#include "include/libavcodec/avcodec.h"
//封装格式处理
#include "include/libavformat/avformat.h"
//像素处理
#include "include/libswscale/swscale.h"
//重采样
#include "include/libswresample/swresample.h"#define  LOG_TAG    "ffmpegandroidplayer"
#define  LOGI(FORMAT,...) __android_log_print(ANDROID_LOG_INFO,LOG_TAG,FORMAT,##__VA_ARGS__);
#define  LOGE(FORMAT,...) __android_log_print(ANDROID_LOG_ERROR,LOG_TAG,FORMAT,##__VA_ARGS__);
#define  LOGD(FORMAT,...)  __android_log_print(ANDROID_LOG_DEBUG, LOG_TAG,FORMAT, ##__VA_ARGS__)//音频解码 采样率 新版版可达48000 * 4
#define MAX_AUDIO_FRME_SIZE  2 * 44100//音频解码
JNIEXPORT void JNICALL Java_com_haocai_ffmpegtest_VideoUtils_audioDecode
(JNIEnv *env, jobject jobj, jstring input_jstr, jstring output_jstr) {const char* input_cstr = (*env)->GetStringUTFChars(env, input_jstr, NULL);const char* output_cstr = (*env)->GetStringUTFChars(env, output_jstr, NULL);LOGI("%s", "init");//注册组件av_register_all();AVFormatContext *pFormatCtx = avformat_alloc_context();//打开音频文件if (avformat_open_input(&pFormatCtx, input_cstr, NULL, NULL) != 0) {LOGI("%s", "无法打开音频文件");return;}//获取输入文件信息if (avformat_find_stream_info(pFormatCtx, NULL) < 0) {LOGI("%s", "无法获取输入文件信息");return;}//获取音频流索引位置int i = 0, audio_stream_idx = -1;for (; i < pFormatCtx->nb_streams; i++) {if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_AUDIO) {audio_stream_idx = i;break;}}if (audio_stream_idx == -1){LOGI("%s", "找不到音频流");return;}//获取解码器AVCodecContext *pCodeCtx = pFormatCtx->streams[audio_stream_idx]->codec;AVCodec *codec = avcodec_find_decoder(pCodeCtx->codec_id);if (codec == NULL) {LOGI("%s", "无法获取加码器");return;}//打开解码器if (avcodec_open2(pCodeCtx, codec, NULL) < 0) {LOGI("%s", "无法打开解码器");return;}//压缩数据AVPacket *packet = (AVPacket *)av_malloc(sizeof(AVPacket));//解压缩数据AVFrame *frame = av_frame_alloc();//frame->16bit  44100 PCM 统一音频采样格式与采样率SwrContext *swrCtx = swr_alloc();//重采样设置参数--------------start//输入采样率格式enum AVSampleFormat in_sample_fmt = pCodeCtx->sample_fmt;//输出采样率格式16bit PCMenum AVSampleFormat out_sample_fmt = AV_SAMPLE_FMT_S16;//输入采样率int in_sample_rate = pCodeCtx->sample_rate;//输出采样率int out_sample_rate = 44100;//获取输入的声道布局//根据声道个数获取默认的声道布局(2个声道,默认立体声)//av_get_default_channel_layout(pCodeCtx->channels);uint64_t in_ch_layout = pCodeCtx->channel_layout;//输出的声道布局uint64_t out_ch_layout = AV_CH_LAYOUT_STEREO;swr_alloc_set_opts(swrCtx, out_ch_layout, out_sample_fmt, out_sample_rate, in_ch_layout, in_sample_fmt, in_sample_rate, 0, NULL);swr_init(swrCtx);//获取输入输出的声道个数int out_channel_nb = av_get_channel_layout_nb_channels(out_ch_layout);LOGI("out_count:%d", out_channel_nb);//重采样设置参数--------------end//16bit 44100 PCM 数据uint8_t *out_buffer = (uint8_t *)av_malloc(MAX_AUDIO_FRME_SIZE);FILE *fp_pcm = fopen(output_cstr, "wb");int got_frame = 0, framecount = 0, ret;//6.一帧一帧读取压缩的音频数据AVPacketwhile (av_read_frame(pFormatCtx, packet) >= 0) {if (packet->stream_index == audio_stream_idx) {//解码ret = avcodec_decode_audio4(pCodeCtx, frame, &got_frame, packet);if (ret < 0) {LOGI("%s", "解码完成");break;}//非0,正在解码if (got_frame > 0) {LOGI("解码:%d", framecount++);swr_convert(swrCtx, &out_buffer, MAX_AUDIO_FRME_SIZE, frame->data, frame->nb_samples);//获取sample的sizeint out_buffer_size = av_samples_get_buffer_size(NULL, out_channel_nb, frame->nb_samples, out_sample_fmt, 1);fwrite(out_buffer, 1, out_buffer_size, fp_pcm);}}av_free_packet(packet);}fclose(fp_pcm);av_frame_free(&frame);av_free(out_buffer);swr_free(&swrCtx);avcodec_close(pCodeCtx);avformat_close_input(&pFormatCtx);(*env)->ReleaseStringUTFChars(env, input_jstr, input_cstr);(*env)->ReleaseStringUTFChars(env, output_jstr, output_cstr);}
复制代码

######说明:其它视频格式也支持

###3.输出结果 ####3.1Log输出

12-12 14:23:40.733 15985-15985/com.haocai.ffmpegtest I/ffmpegandroidplayer: init
12-12 14:23:40.803 15985-15985/com.haocai.ffmpegtest I/ffmpegandroidplayer: out_count:2
12-12 14:23:40.843 15985-15985/com.haocai.ffmpegtest I/ffmpegandroidplayer: 解码:0
12-12 14:23:40.843 15985-15985/com.haocai.ffmpegtest I/ffmpegandroidplayer: 解码:1
12-12 14:23:40.843 15985-15985/com.haocai.ffmpegtest I/ffmpegandroidplayer: 解码:2
复制代码

####3.1.mp3格式解码生成.pcm格式数据

###源码下载 #####Github:github.com/kpioneer123…

###特别感谢: CrazyDiode

相关文章:

整理了 65 个 Matplotlib 案例,这能不收藏?

作者|周萝卜来源|萝卜大杂烩Matplotlib 作为 Python 家族当中最为著名的画图工具&#xff0c;基本的操作还是要掌握的&#xff0c;今天就来分享一波文章很长&#xff0c;高低要忍一下&#xff0c;如果忍不了&#xff0c;那就收藏吧&#xff0c;总会用到的。启用和检查交互模式在…

负载均衡工具haproxy安装,配置,使用

一&#xff0c;什么是haproxy HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代 理&#xff0c;支持虚拟主机&#xff0c;它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点&#xff0c;这些站点通常又需要会话保持或七层处理。HAProxy运…

【文章】本站收集与转载文章目录

1.关于推荐系统中的特征工程 2.Java程序员最喜欢的11款免费IDE编辑器 3.人工智能和机器学习领域的一些有趣的开源项目 4.微软发布Project Oxford&#xff0c;供Azure户免费集多项功能 5.微软推Azure机器学习工具&#xff1a;Algorithm Cheat Sheet

L09-10老男孩Linux运维实战培训-Nginx服务生产实战应用指南05(架构解决方案)

nginx的多实例设置首先说一下nginx后面加的参数的说明 -s 后面加reload 就是重新加载的意思和apache的graceful同样的效果 -v 小写的v显示版本号后退出 -V大写的V显示nginx的版本号和配置环境 -t 就是test的意思&#xff0c;检查配置文件是否正确 -c 后面配置文件的地址&#x…

linux中的apachectl是什么命令

apachectl是Apache HTTP服务器的前端程序。其设计意图是帮助管理员控制Apache httpd后台守护进程的功能。apachectl脚本有两种操作模式。首先&#xff0c;作为简单的httpd的前端程序&#xff0c;设置所有必要的环境变量&#xff0c;然后启动httpd &#xff0c;并传递所有的命令…

数据库性能优化1——正确建立索引以及最左前缀原则

1. 索引建立的原则用于索引的最好的备选数据列是那些出现在WHERE子句、join子句、ORDER BY或GROUP BY子句中的列。仅仅出现在SELECT关键字后面的输出数据列列表中的数据列不是很好的备选列SELECTcol_a <- 不是备选列FROMtbl1 LEFT JOIN tbl2ON tbl1.col_b tbl2.col_c <-…

深度学习发展下的“摩尔困境”,人工智能又将如何破局?

前不久&#xff0c;微软和英伟达推出包含5300亿参数的语言模型MT-NLG&#xff0c;这是一款基于 Transformer 的模型被誉为“世界上最大、最强的生成语言模型”。 毫无疑问&#xff0c;这是一场令人印象深刻的机器学习工程展示。 然而&#xff0c;我们是否应该对这种大型模型趋势…

Kotlin学习笔记-基础语法

去年学习过一遍Kotlin&#xff0c;相比java而言&#xff0c;Kotlin确实有许多方便的地方&#xff0c;但是学习之后一直没有真正拿来写项目&#xff0c;很久不用很多东西都已经忘记了。最近Google宣布Kotlin成为Android开发的官方语言之后&#xff0c;Kotlin突然变得火热起来&am…

英特尔王锐:软硬件并驾齐驱,开发者是真英雄

北京时间10月28日&#xff0c;英特尔On技术创新峰会在北京举办。在此次峰会上&#xff0c;英特尔公司高级副总裁、英特尔中国区董事长王锐对外宣告了英特尔拥抱开发者&#xff0c;回归技术创新的决心和信心。 英特尔此前提出&#xff0c;四大超级技术力量赋能数字化的变革&…

基于html5海贼王单页视差滚动特效

分享一款基于html5海贼王单页视差滚动特效是一款流行滑落网页特效代码。效果图如下&#xff1a; 在线预览 源码下载 实现的代码&#xff1a; <div class"top"><div class"top_main center"><ul id"scene" class"scene&quo…

切换apache的prefork和worker模式

Apache HTTP服务器被设计为一个强大的、灵活的能够在多种平台以及不同环境下工作的服务器。 不同的平台和不同的环境经常产生不同的需求&#xff0c;或是为了达到同样的最佳效果而采用不同的方法。 Apache凭借它的模块化设计很好的适应了大量不同的环境。 这一设计使得网站管理…

使用adb devices命令无法识别夜神模拟器的解决方法

模拟器不喜欢原生态的&#xff0c;喜欢简单好用的&#xff0c;这里用的是夜神模拟器现象夜神模拟器启动成功&#xff0c;此时用adb devices命令查看&#xff0c;居然啥都不显示&#xff0c;也就是没识别出来分析很大可能是因为adb的版本不一致导致的&#xff0c;心中无数个草泥…

Apache的prefork模式和worker模式

prefork模式 这个多路处理模块(MPM)实现了一个非线程型的、预派生的web服务器&#xff0c;它的工作方式类似于Apache 1.3。它适合于没有线程安全库&#xff0c;需要避免线程兼容性问题的系统。它是要求将每个请求相互独立的情况下最好的MPM&#xff0c;这样若一个请求出现问题就…

AI 与小学生的做题之战,孰胜孰败?

现在小学生的数学题不能用简单来形容&#xff0c;有的时候家长拿到题也需要思考半天&#xff0c;看看是否有其他隐含的解题方法。市面上更是各种拍题搜答案的软件&#xff0c;也是一样的套路&#xff0c;隐含着各种氪金的信息。 就像网络上说的“不写作业母慈子孝&#xff0c;一…

AIDL方向指示

2019独角兽企业重金招聘Python工程师标准>>> AIDL使用简单的语法来定义接口, 该接口定义了可供客户端访问的方法和属性&#xff0c;并且描述其方法以及方法的参数和返回值。这些参数和返回值可以是任何类型&#xff0c;甚至是其他AIDL生成的接口。 其中对于Java编程…

Techshack Weekly 第 0002 期

Techshack Weekly 专注于后端技术阅读&#xff0c;目前有上百位订阅者&#xff0c;欢迎加入 Telegram Channel &#xff0c;或关注推特 techshackweekly&#xff0c;或订阅 RSS&#xff01; 点击查看本期 本期比较关注的几个领域有&#xff1a;TSDB, 系统设计&#xff0c;推荐的…

像数据分析一样写 Web 页面,这个 Python 库做到了!

作者|刘早起来源|早起Python提起用 Python 写一个 web 页面&#xff0c;总是会想起Django/Flask等这样的大家伙。他们确实好用&#xff0c;但就是流程繁琐&#xff0c;比如有时就想写一个简单的页面&#xff0c;比如问卷调查&#xff0c;拿 Django 来说吧总要经过安装、启动、配…

loadrunner 如何做关联

在页面中为了防止CRSF攻击&#xff0c;每次访问登录页面时&#xff0c;在浏览器器端生成一个token。 在提交时检验这个token是否有效&#xff0c;提交后token自动失效。 如果使用loadrunner来测试此系统话需要做一个关联&#xff0c;把这个token作为一个参数进行提交。 做关联有…

让你的数据离CPU更近一些

让你的数据离CPU更近一些 Jim Gray&#xff1a;RAM是硬盘,硬盘是磁带 永远只做自己最擅长的事情 不是所有的任务都需要同步执行

现在很火的答题赢钱游戏,让我来简单教你怎么做自动答题器

一、前言&#xff1a; 现在最火的直播游戏&#xff0c;那就是答题赢钱直播了&#xff0c;如百万英雄、芝士超人、花椒直播、冲顶大会等等&#xff0c;这些游戏的玩法都很简单&#xff0c;答对12题即可瓜分奖金了。玩法虽然简单&#xff0c;但是要能完全答对12题难度还是挺高的&…

OAuth认证协议原理分析及使用方法

twitter或豆瓣用户一定会发现&#xff0c;有时候&#xff0c;在别的网站&#xff0c;点登录后转到 twitter登录&#xff0c;之后转回原网站&#xff0c;你会发现你已经登录此网站了&#xff0c; 这种网站就是这个效果。其实这都是拜 OAuth所赐。 OAuth是什么&#xff1f; OAuth…

一次图文并茂的***完整测试二

任务&#xff1a;某公司授权你对其服务器进行******。对某核心服务器进行***测试&#xff0c;据了解目标机为Windows 2003 Server系统&#xff0c;ip地址为10.1.1.191&#xff0c;在C盘的根目录下存储有两个敏感文件这里就用&#xff08;key1.txt,key2.txt&#xff09;表示&…

神经网络学习到的是什么?(Python)

作者|泳鱼来源|算法进阶神经网络&#xff08;深度学习&#xff09;学习到的是什么&#xff1f;一个含糊的回答是&#xff0c;学习到的是数据的本质规律。但具体这本质规律究竟是什么呢&#xff1f;要回答这个问题&#xff0c;我们可以从神经网络的原理开始了解。一、 神经网络的…

Spring MVC原理

摘要: Spring MVC工作流程图springMVC工作流程图图一图二开发工具1.Eclipse IDE&#xff1a;采用Maven项目管理&#xff0c;模块化。2.代码生成&#xff1a;通过界面方式简单配置&#xff0c;自动生成相应代码&#xff0c;目前包括三种生成方式&#xff08;增删改查&#xff09…

linux下poll和epoll内核源代码剖析

作者&#xff1a;董昊 博客链接http://donghao.org/uii/ poll和epoll的使用应该不用再多说了。当fd很多时&#xff0c;使用epoll比poll效率更高。 我们通过内核源码分析来看看到底是为什么。 poll剖析poll系统调用&#xff1a;int poll(struct pollfd *fds, nfds_t nfds, int t…

百度副总裁马杰:实现元宇宙,技术要过三道坎

近来&#xff0c;元宇宙一词就像龙卷风瞬间席卷整个科技圈&#xff0c;一时间所有新概念层出不穷&#xff0c;无数科技公司蜂拥而至扎堆元宇宙。先是在线游戏创作平台Robolox把元宇宙写进招股书里&#xff0c;成为“元宇宙第一股”。后有扎克伯格宣布将Facebook更名为Meta&…

consolez设置

2019独角兽企业重金招聘Python工程师标准>>> 菜单”—>Edit—>Setting...—>Behavior—>选择“Copy on select” “菜单”—>Edit—>Setting...—>Mouse—>Paste text—>Right 最后一个重点说明的问题是Console2对中文的支持问题。默认情…

dstat用法;利用awk求dstat所有列每列的和;linux系统监控

安装&#xff1a;yum install -y dstatdstat命令是一个用来替换vmstat、iostat、netstat、nfsstat和ifstat这些命令的工具&#xff0c;是一个全能系统信息统计工具。与sysstat相比&#xff0c;dstat拥有一个彩色的界面&#xff0c;在手动观察性能状况时&#xff0c;数据比较显眼…

PHP内核介绍及扩展开发指南—基础知识

一、 基础知识 本章简要介绍一些Zend引擎的内部机制&#xff0c;这些知识和Extensions密切相关&#xff0c;同时也可以帮助我们写出更加高效的PHP代码。 1.1 PHP变量的存储 1.1.1 zval结构 Zend使用zval结构来存储PHP变量的值&#xff0c;该结构如下所示&#xff1a; type…

腾讯汤道生:数实融合成为行业“必答题”,腾讯未来打造四大引擎

11月3日&#xff0c;腾讯高级执行副总裁、云与智慧产业事业群CEO汤道生在2021腾讯数字生态大会上表示&#xff0c;“数实融合”正在从“选答题”&#xff0c;变成每个行业都要面对的“必答题”&#xff0c;腾讯未来将打造用户、技术、安全和生态四大引擎&#xff0c;助力各行各…