iOS音频——AudioToolbox

一、前言
二、音频文件Audio File Services
三、音频文件转换Extended Audio File Services
四、音频流Audio File Stream Services
五、音频队列Audio Queue Services

一、前言

AudioToolbox提供的API主要是C 使用起来相对晦涩，针对本文提供了简单的代码示例减小学习的阻力 AudioToolbox

AudioToolbox

采样和采样率

sample 是一个声道的一个采样。采样率定义了每秒从连续信号中提取并组成离散信号的采样个数，它用赫兹（Hz）来表示。

image.png

frame 是最小单位时间点包含的一个或多个声音采样，最小单位时间点取决于声音采样设备，是一个时间点多个采样的集合。譬如，双声道的音频文件，一个时间点有两个声道，一个Frames就包括两个采样。通道是声音的通道的数目。常有单声道和立体声之分。

image.png

采样位数即采样值或取样值（就是将采样样本幅度量化）。它是用来衡量声音波动变化的一个参数，也可以说是声卡的分辨率。它的数值越大，分辨率也就越高，所发出声音的能力越强。每个采样数据记录的是振幅, 采样精度取决于采样位数的大小:
packet 是一个或多个 frame 的集合，一个 packet 包含多少个 frame，是由声音文件格式决定的。譬如 PCM 文件格式中一个 packet 包含 1 个frame。而 MP3 文件格式中一个 packet 包含 1152 个frames。
比特率：也称作位速/码率，是指在一个数据流中每秒钟能通过的信息量
比特率=采样频率×采样位数×声道数

二、Audio File Services

2.1、打开或关闭音频文件

   OSStatus AudioFileOpenURL ( CFURLRef inFileRef, AudioFilePermissions inPermissions, AudioFileTypeID inFileTypeHint, AudioFileID _Nullable *outAudioFile );NSString *path = [NSString stringWithFormat:@"%@",[[NSBundle mainBundle] pathForResource:@"MySong" ofType:@"mp3"]];AudioFileID audioFileID;OSStatus status = AudioFileOpenURL((__bridge CFURLRef _Nonnull)([NSURL fileURLWithPath:path]), kAudioFileReadPermission, 0, &audioFileID);if (status != noErr) {NSLog(@"文件读取失败 %d",status);}

• CFURLRef 文件路径；
• AudioFilePermissions 文件读写权限 一般设置可读模式；
• inFileTypeHint 文件类型提示 未知设置0；
• AudioFileID 文件句柄
  AudioToolbox 函数的返回一般都是OSStatus 成功返回“noErr”，OSStatus常见错误

  CF_ENUM(OSStatus) {kAudioFileUnspecifiedError                         = 'wht?',        // 0x7768743F, 2003334207kAudioFileUnsupportedFileTypeError                 = 'typ?',        // 0x7479703F, 1954115647kAudioFileUnsupportedDataFormatError               = 'fmt?',        // 0x666D743F, 1718449215kAudioFileUnsupportedPropertyError                 = 'pty?',        // 0x7074793F, 1886681407kAudioFileBadPropertySizeError                     = '!siz',        // 0x2173697A,  561211770kAudioFilePermissionsError                         = 'prm?',        // 0x70726D3F, 1886547263kAudioFileNotOptimizedError                        = 'optm',        // 0x6F70746D, 1869640813// file format specific error codeskAudioFileInvalidChunkError                        = 'chk?',        // 0x63686B3F, 1667787583kAudioFileDoesNotAllow64BitDataSizeError               = 'off?',        // 0x6F66663F, 1868981823kAudioFileInvalidPacketOffsetError                = 'pck?',        // 0x70636B3F, 1885563711kAudioFileInvalidFileError                        = 'dta?',        // 0x6474613F, 1685348671kAudioFileOperationNotSupportedError            = 0x6F703F3F,     // 'op??', integer used because of trigraph// general file error codeskAudioFileNotOpenError                            = -38,kAudioFileEndOfFileError                        = -39,kAudioFilePositionError                            = -40,kAudioFileFileNotFoundError                        = -43
  };

  查询 OSStatus错误解释的网站OSStatus
  
  
  

  image.png
  
  与打开文件对应的close:

  @param inAudioFile 文件句柄
  OSStatus AudioFileClose ( AudioFileID inAudioFile );

2.2、 读取音频属性

获得属性的总体的大小和属性是否可以修改

OSStatus AudioFileGetPropertyInfo ( AudioFileID inAudioFile, AudioFilePropertyID inPropertyID, UInt32 *outDataSize, UInt32 *isWritable );

在获得属性的具体内容

OSStatus AudioFileGetProperty ( AudioFileID inAudioFile, AudioFilePropertyID inPropertyID, UInt32 *ioDataSize, void *outPropertyData );

使用in开头函数代表只用作输入(inAudioFile 和inPropertyID，指定了获取哪个文件和哪个属性)，out开头的参数代表只用作输出（outPropertyData 指针指向的具体属性内容），io开头的参数既用作输入也用作输出（ioDataSize，接收你分配给outPropertyData的内存缓冲区的大小，然后返回实际上被写入缓冲区的大小），这种参数命名模式是AudioToolbox一个特点。可以提高对当前参数的理解。
对于isWritable为true的对其进行设置属性

OSStatus AudioFileSetProperty ( AudioFileID inAudioFile, AudioFilePropertyID inPropertyID, UInt32 inDataSize, const void *inPropertyData );

查询接口中也是一样，查询文件“inAudioFile”的“inPropertyID”的属性值，结果存放在长度为“ioDataSize”的buffer“outPropertyData”中。属性值有：

一些音频压缩的音频格式，例如 MPEG 4 AAC，利用结构体包含音频的元数据。这些结构体就是Magic Cookie，当你用 Audio Queue Services 播放这种格式的音频文件时，你可以从音频文件中获取Magic Cookie ，然后在播放之前添加到音频队列中

 UInt32 cookieSize = sizeof (UInt32);status =  AudioFileGetPropertyInfo (audioFileID,kAudioFilePropertyMagicCookieData,&cookieSize,NULL);if (!status && cookieSize) {char* magicCookie =(char *) malloc (cookieSize);AudioFileGetProperty (audioFileID,kAudioFilePropertyMagicCookieData,&cookieSize,magicCookie);AudioQueueSetProperty (inAQ,kAudioQueueProperty_MagicCookie,magicCookie,cookieSize);free (magicCookie);}

2.3、 读取音频数据

AudioFileReadPackets 已经被废弃使用 不建议使用 主要使用的是AudioFileReadPacketData

OSStatus AudioFileReadBytes ( AudioFileID inAudioFile, Boolean inUseCache, SInt64 inStartingByte, UInt32 *ioNumBytes, void *outBuffer );
OSStatus AudioFileReadPacketData ( AudioFileID inAudioFile, Boolean inUseCache, UInt32 *ioNumBytes, AudioStreamPacketDescription *outPacketDescriptions, SInt64 inStartingPacket, UInt32 *ioNumPackets, void *outBuffer );
OSStatus AudioFileReadPackets ( AudioFileID inAudioFile, Boolean inUseCache, UInt32 *outNumBytes, AudioStreamPacketDescription *outPacketDescriptions, SInt64 inStartingPacket, UInt32 *ioNumPackets, void *outBuffer );// 已经废弃

• AudioFileID inAudioFile 文件句柄
• Boolean inUseCache 是否缓存读取的数据
• UInt32 *outNumBytes ： 最终读到数据的大小
• AudioStreamPacketDescription *outPacketDescriptions ： 一个存放AudioStreamPacketDescription的Buffer
• SInt64 inStartingPacket ： 起始的Packet
• UInt32 *ioNumPackets ： 当输入时表示要读取的Packet数目，输出时表示最终读入的Packet数目
• void *outBuffer ： 数据读到的具体buffer位置

三、Extended Audio File Services

Audio File Services提供的api 需要传入冗长的参数 Extended Audio File Services可以看做是对Audio File Services的封装，当时更多的实际开发我们用它来做音频文件类型的转换。

3.1、打开和关闭音频数据

打开文件：

OSStatus ExtAudioFileOpenURL ( CFURLRef inURL, ExtAudioFileRef _Nullable *outExtAudioFile );

当操作完以后，通过Dispose来回收资源，区分于其他的Close:

OSStatus ExtAudioFileDispose ( ExtAudioFileRef inExtAudioFile );

3.2、读取音频数据

和“Audio ToolBox”的其他属性操作一样，Ext接口提供的属性操作也是分为两步，先获取属性基本信息，如大小：

OSStatus ExtAudioFileGetPropertyInfo ( ExtAudioFileRef inExtAudioFile, ExtAudioFilePropertyID inPropertyID, UInt32 *outSize, Boolean *outWritable );

然后在获得属性内容：

OSStatus ExtAudioFileGetProperty ( ExtAudioFileRef inExtAudioFile, ExtAudioFilePropertyID inPropertyID, UInt32 *ioPropertyDataSize, void *outPropertyData );

或者设置属性内容：

OSStatus ExtAudioFileSetProperty ( ExtAudioFileRef inExtAudioFile, ExtAudioFilePropertyID inPropertyID, UInt32 inPropertyDataSize, const void *inPropertyData );

 _outputFormat.mSampleRate = 44100;_outputFormat.mBitsPerChannel = 16;_outputFormat.mChannelsPerFrame = 2;_outputFormat.mFormatID = kAudioFormatMPEGLayer3;UInt32 descSize = sizeof(AudioStreamBasicDescription);ExtAudioFileGetProperty(_audioFileRef, kExtAudioFileProperty_FileDataFormat, &descSize, &_inputFormat);_inputFormat.mSampleRate = _outputFormat.mSampleRate;_inputFormat.mChannelsPerFrame = _outputFormat.mChannelsPerFrame;_inputFormat.mBytesPerFrame = _inputFormat.mChannelsPerFrame* _inputFormat.mBytesPerFrame;_inputFormat.mBytesPerPacket =  _inputFormat.mFramesPerPacket*_inputFormat.mBytesPerFrame;ExtAudioFileSetProperty(_audioFileRef,kExtAudioFileProperty_ClientDataFormat,sizeof(AudioStreamBasicDescription),&_inputFormat),

kExtAudioFileProperty_Xxxx : 源文件的相关属性，也就是原来什么格式的数据（MP3/AAC），他的基本属性。
kExtAudioFileProperty_ClientXxx: 读出时的数据格式，Ext在读出时会自动帮我们做编解码操作，这个是处理后的结果
所以在读取之前，一定要记得设置“kExtAudioFileProperty_ClientDataFormat”属性，设置其输出的数据格式，

struct AudioBufferList
{UInt32      mNumberBuffers;AudioBuffer mBuffers[1]; // this is a variable length array of mNumberBuffers elements#if defined(__cplusplus) && CA_STRICT
public:AudioBufferList() {}
private://  Copying and assigning a variable length struct is problematic so turn their use into a//  compile time error for eacy spotting.AudioBufferList(const AudioBufferList&);AudioBufferList&    operator=(const AudioBufferList&);
#endif};
typedef struct AudioBufferList  AudioBufferList;struct AudioBuffer
{UInt32              mNumberChannels;UInt32              mDataByteSize;void* __nullable    mData;
};
typedef struct AudioBuffer  AudioBuffer;

写入文件内容

写入和读取类似，只是要预先填好BufferList的内容：

OSStatus ExtAudioFileWrite ( ExtAudioFileRef inExtAudioFile, UInt32 inNumberFrames, const AudioBufferList *ioData );

同时写入还有个非阻塞的版本,当调用“ ExtAudioFileDispose ”会最终保证所有数据都写入到磁盘中。

OSStatus ExtAudioFileWriteAsync ( ExtAudioFileRef inExtAudioFile, UInt32 inNumberFrames, const AudioBufferList *ioData );

四、Audio File Stream Services

对于网络音频文件 大多采用的是边读取边播放，这个时候就用到了Audio File Stream

4.1、初始化音频流

extern OSStatus    
AudioFileStreamOpen (void * __nullable                        inClientData,AudioFileStream_PropertyListenerProc    inPropertyListenerProc,AudioFileStream_PacketsProc                inPacketsProc,AudioFileTypeID                            inFileTypeHint,AudioFileStreamID __nullable * __nonnull outAudioFileStream)

• inClientData上下文对象；
• AudioFileStream_PropertyListenerProc 在调用AudioFileStreamParseBytes歌曲信息的回调；
• AudioFileStream_PacketsProc 在调用AudioFileStreamParseBytes对音频数据的回调，主要用于音频帧的数据分类存储。
• AudioFileTypeID 文件类型的提示，如果无法确定类型可以传入0
• AudioFileStreamID，获取当前实例对应的AudioFileStreamID，使用其他AudioFileStream API需要传入。

4.2、读取音频流

extern OSStatus
AudioFileStreamParseBytes(    AudioFileStreamID                inAudioFileStream,UInt32                            inDataByteSize,const void *                    inData,AudioFileStreamParseFlags        inFlags)

• AudioFileStreamID，AudioFileStreamOpen获取的的AudioFileStreamID；
• inDataByteSize，解析的数据字节长度；
• inData，解析的数据；
• AudioFileStreamParseFlags说本次的解析和上一次解析是否是连续的关系，如果是连续的传入0，否则传kAudioFileStreamParseFlag_Discontinuity。

4.3、解析文件格式信息

typedef void (*AudioFileStream_PropertyListenerProc)(void *                            inClientData,AudioFileStreamID                inAudioFileStream,AudioFileStreamPropertyID        inPropertyID,AudioFileStreamPropertyFlags *    ioFlags);

根据当前的PropertyID调用AudioFileStreamGetProperty获取当前音频文件的具体信息

if (inPropertyID ==  kAudioFileStreamProperty_DataFormat) {UInt32 outDataSize = sizeof(AudioStreamBasicDescription);AudioFileStreamGetProperty(inAudioFileStream, inPropertyID,  &outDataSize, &_audioStreamDescription);}

typedef void (*AudioFileStream_PacketsProc)(void *                            inClientData,UInt32                            inNumberBytes,UInt32                            inNumberPackets,const void *                    inInputData,AudioStreamPacketDescription    *inPacketDescriptions);

• inClientData 上下文对象；
• inumberOfBytes，读取的数据长度；
• inumberOfPackets，读取的数据帧数量；
• inInputData，读取的数据字节；
• AudioStreamPacketDescription类型的数组，存储了当前帧数据的偏移量和大小。

图片来源：Audio Streaming ( Audio Queue )

五、Audio Queue Services

5.1、初始化Audio Queue

AudioQueueNewOutput(                const AudioStreamBasicDescription *inFormat,AudioQueueOutputCallback        inCallbackProc,void * __nullable               inUserData,CFRunLoopRef __nullable         inCallbackRunLoop,CFStringRef __nullable          inCallbackRunLoopMode,UInt32                          inFlags,AudioQueueRef __nullable * __nonnull outAQ)

• AudioStreamBasicDescription音频数据格式类型，是一个AudioStreamBasicDescription对象，是使用AudioFileStream或者AudioFile解析出来的数据格式信息；
• AudioQueueOutputCallback是某块Buffer被使用之后的回调；
• inUserData 上下文对象；
• inCallbackRunLoop为AudioQueueOutputCallback需要在的哪个RunLoop上被回调，如果传入NULL的话就会再AudioQueue的内部RunLoop中被回调，所以一般传NULL就可以了；
• inCallbackRunLoopMode为RunLoop模式，如果传入NULL就相当于kCFRunLoopCommonModes，也传NULL就可以了；
• inFlags是保留字段，目前没作用，传0；
• 返回生成的AudioQueue实例；

5.2、创建buffer

extern OSStatus
AudioQueueAllocateBuffer(           AudioQueueRef           inAQ,UInt32                  inBufferByteSize,AudioQueueBufferRef __nullable * __nonnull outBuffer)

• AudioQueueRef 创建的AudioQueue
• inBufferByteSize buffer的大小
• AudioQueueBufferRef 返回当前创建的buffer实例。

5.3、将buffer放入音频队列

extern OSStatus
AudioQueueEnqueueBuffer(            AudioQueueRef                       inAQ,AudioQueueBufferRef                 inBuffer,UInt32                              inNumPacketDescs,const AudioStreamPacketDescription * __nullable inPacketDescs)

• AudioQueueRef 创建的AudioQueue
• AudioQueueBufferRef buffer对象
• AudioStreamPacketDescription数组的数量
• AudioStreamPacketDescription数组的指针地址