博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Android音频开发(7):使用 OpenSL ES API(下)
阅读量:5830 次
发布时间:2019-06-18

本文共 3906 字,大约阅读时间需要 13 分钟。

hot3.png

本文是我的《音频开发》系列的第七篇文章,上一篇文章总整体上介绍了 Android OpenSL ES API 的基本概况,告诉了大家这个框架有什么特性,可以做什么,不能做什么。本文则重点介绍 OpenSL ES 框架及其API接口的一些关键的设计和概念,只有理解了它们,你才能更好地读懂 OpenSL ES 的相关代码。示例代码则放到了文章的最后,相信大家理解了这些基本的概念后,就能很容易地读懂这些代码的细节了。

 

1. 面向对象的 C 语言接口

 

OpenSL ES 虽然是 C 语言编写,但是它的接口采用的是面向对象的方式,并不是提供一系列的函数接口,而是以 Interface 的方式来提供 API,这是理解 OpenSL ES API 的一个比较重要的点。

 

可能这么说比较抽象,举例来说,一般的 C 语言库,比如:math 库,提供的接口可能是这样的:

 

1

2

3

double cosh(double);

double sinh(double);

double tanh(double);

 

我们直接在代码中调用这个函数即可,但是 OpenSL ES 却不是这样提供 API 的,它的大都数 API 需要这样访问:

 

1

2

3

// 下面代码是对 Audio Engine 对象进行 “初始化”

SLEngineItf engineObject;

SLresult result = (*engineObject)->Realize(engineObject, SL_BOOLEAN_FALSE);

 

由此可见,OpenSL ES 的 API 大都数是通过 “对象” 来调用的,如果在 Android NDK 下开发过 C 代码,就应该不会太陌生,因为我们调用 “JNI* env” 的函数也是这个样子去调用的。

 

2. Objects 和 Interfaces

 

OpenSL ES 有两个必须理解的概念,就是 Object 和 Interface,Object 可以想象成  的 Object 类,Interface 可以想象成 Java 的 Interface,但它们并不完全相同,下面进一步解释他们的关系:

 

(1) 每个 Object 可能会存在一个或者多个 Interface,官方为每一种 Object 都定义了一系列的 Interface

(2)每个 Object 对象都提供了一些最基础的操作,比如:Realize,Resume,GetState,Destroy 等等,如果希望使用该对象支持的功能函数,则必须通过其 GetInterface 函数拿到 Interface 接口,然后通过 Interface 来访问功能函数

(3)并不是每个系统上都实现了 OpenSL ES 为 Object 定义的所有 Interface,所以在获取 Interface 的时候需要做一些选择和判断

 

通过查看 “OpenSLES.h” 文件,我们可以看到 OpenSL ES 定义的所有 Object 对象的 ID,我们可以通过 Object ID 来创建对应的对象实例。

 

 

其中,我们比较常用的应该就是:ENGINE、AUDIOPLAYER 和 AUDIORECORDER 对象了。

 

同样,“OpenSLES.h” 文件中还定义了所有的 Interface ID,通过 Interface ID 我们可以从对象中获取到对应的功能接口。

 

 

3. OpenSL ES 的状态机制

 

OpenSL ES 还有一个比较重要的概念,就是它的状态机制,如图所示:

 

任何一个 OpenSL ES 的对象,创建成功后,都进入 SL_OBJECT_STATE_UNREALIZED 状态,这种状态下,系统不会为它分配任何资源,直到调用 Realize 函数为止。

 

Realize 后的对象,就会进入 SL_OBJECT_STATE_REALIZED 状态,这是一种“可用”的状态,只有在这种状态下,对象的各个功能和资源才能正常地访问。

 

当一些系统事件发生后,比如出现错误或者 Audio 设备被其他应用抢占,OpenSL ES 对象会进入 SL_OBJECT_STATE_SUSPENDED 状态,如果希望恢复正常使用,需要调用 Resume 函数。

 

当调用对象的 Destroy 函数后,则会释放资源,并回到 SL_OBJECT_STATE_UNREALIZED 状态。

 

简言之,一个 OpenSL ES 对象的生命周期,就是从 create 到 destroy 的过程,生命周期的控制,都是通过开发者显示调用来完成的。

 

4. 常用的对象和结构体

 

心中保持一个概念,就是在 OpenSL ES 中,一切 API 的访问和控制都是通过 Interface 来完成的,连 OpenSL ES 里面的 Object 也是通过 SLObjectItf Interface 来访问和使用的。

 

4.1 Engine Object 和 SLEngineItf Interface

 

OpenSL ES 里面最核心的对象就是:Engine Object,音频引擎对象,它主要提供如下两个功能:

 

(1)管理 Audio Engine 的生命周期

(2)提供管理接口: SLEngineItf,该接口可以用来创建所有其他的 Object 对象

(3)提供设备属性查询接口:SLEngineCapabilitiesItf 和 SLAudioIODeviceCapabilitiesItf,这些接口可以查询设备的一些属性信息

 

Engine Object 对象的创建方法如下:

 

1

2

SLObjectItf engineObject;

slCreateEngine( &engineObject, 0, nullptr, 0, nullptr, nullptr );

 

初始化/销毁:

 

1

2

(*engineObject)->Realize(engineObject, SL_BOOLEAN_FALSE);

(*engineObject)->Destroy(engineObject);

 

获取管理接口:

 

1

2

SLEngineItf engineEngine;

(*engineObject)->GetInterface(engineObject, SL_IID_ENGINE, &(engineEngine));

 

下面我们就可以愉快地使用 engineEngine 来创建所有 OpenSL ES 的其他对象了。

 

4.2 Media Object

 

OpenSL ES 里面另一组比较重要的对象就是 Media Object ,代表着多媒体功能的抽象,比如:player、recorder 等等。

 

我们可以通过 SLEngineItf 提供的 CreateAudioPlayer 方法来创建一个 player 对象实例,可以通过 SLEngineItf 提供的 CreateAudioRecorder 方法来创建一个 recorder 实例。

 

4.3 Data Source 和 Data Sink

 

OpenSL ES 里面,这两个结构体均是作为创建 Media Object 对象时的参数而存在的,data source 代表着输入源的信息,即数据从哪儿来、输入的数据参数是怎样的;而 data sink 则代表着输出的信息,即数据输出到哪儿、以什么样的参数来输出。

 

4.3.1 基本定义

 

Data Source 的定义如下:

 

1

2

3

4

typedef struct SLDataSource_ {

      void *pLocator;

      void *pFormat;

} SLDataSource;

 

Data Sink 的定义如下:

 

1

2

3

4

typedef struct SLDataSink_ {

    void *pLocator;

    void *pFormat;

} SLDataSink;

 

其中,pLocator 主要有如下几种:

 

1

2

3

4

5

SLDataLocator_Address

SLDataLocator_BufferQueue

SLDataLocator_IODevice

SLDataLocator_MIDIBufferQueue

SLDataLocator_URI

 

也就是说,Media Object 对象的输入源/输出源,既可以是 URL,也可以 Device,或者来自于缓冲区队列等等,完全是由 Media Object 对象的具体类型和应用场景来配置。

 

4.3.2 示例说明

 

不同的 Media Object 对象实例,data source 和 data sink 的具体内容是不一样的。

 

例如,对于 player 而言:

 

 

而对于 recorder 而言:

 

5. 示例程序及参考资料

 

限于篇幅,关于 OpenSL ES 的 Player 和 Recorder 相关 API 详细的用法,就不在本文展开了,其实理解了上面介绍了这些概念之后,结合官方的 《OpenSL_ES_Specification_1.0.1.pdf》,以及我给出的示例代码,很容易就能读懂和掌握这些 API 的用法了,示例代码地址如下:

 

 

6. 小结

 

免费学习更多精品课程,登录乐搏学院官网

或关注我们的官方微博,还有更多惊喜哦~

,请务必保留此出处

转载于:https://my.oschina.net/learnbo/blog/761783

你可能感兴趣的文章
float数据在内存中是怎么存储的
查看>>
dedecms 修改标题长度可以修改数据库
查看>>
Matplotlib学习---用matplotlib画直方图/密度图(histogram, density plot)
查看>>
MySQL案列之主从复制出错问题以及pt-slave-restart工具的使用
查看>>
linux 查看剩余内存数
查看>>
测试人员容易遗漏的隐藏缺陷
查看>>
maven+SpringMVC搭建RESTful后端服务框架
查看>>
一本书的摘录
查看>>
重排序(转载)
查看>>
python+selenium之字符串切割操作
查看>>
串结构练习——字符串匹配
查看>>
linux下输入密码不回显
查看>>
《构建之法》读书笔记
查看>>
拿下阿里、头条、滴滴的offer后谈谈面试经验---动身前看一看
查看>>
android开发(49) android 使用 CollapsingToolbarLayout ,可折叠的顶部导航栏
查看>>
【ERP】如何在多行数据块中实现仅能勾选唯一的主联系人
查看>>
Oracle 数据库优化的R方法(Method R)
查看>>
CentOS最小化安装系统开启网卡
查看>>
互联网+升级到智能+ 开启万物智联新时代
查看>>
Linux文本编辑器之Nano
查看>>