iOS直播（四）对视频进行压缩编码

1.为什么要进行编码?

不经过压缩编码的原视频，所占空间大，不便于保存和网络传输，所以视频录制完后，需要先编码，再传输，解码后再播放。

2.视频为什么可以被压缩？

视频存在冗余信息，主要为数据冗余和视觉冗余
1.数据冗余：图像的各像素之间存在着很强的相关性。消除这些冗余并不会导致信息损失，属于无损压缩。可以细分为：

• 空间冗余：同一帧图像像素之间有较强的相关性，可以进行帧内预测编码去除冗余。
• 时间冗余：相邻帧的图像具有相似性，可以通过帧间预测编码去除冗余。

2.视觉冗余：人眼的一些特性比如亮度辨别阈值，视觉阈值，对亮度和色度的敏感度不同，使得在编码的时候引入适量的误差，也不会被察觉出来。可以利用人眼的视觉特性，以一定的客观失真换取数据压缩。这种压缩属于有损压缩。

3.压缩编码的标准

目前主要主要使用ITU国际电传视频联盟主导的H.26x系列标准，目前应用最广泛的为H.264，随着4k、8k等超高清时代的来临，H.265也逐渐开始普及。

4.H.264压缩方式

（1）H264中图像以序列（GOP）为单位进行组织，把几帧图像分为一个GOP,也就是一个GOP为一段图像编码后的数据流。
（2）一个GOP内的各帧图像被划分为I帧、B帧、P帧。

• I帧：帧内编码帧（intra picture）：为每个GOP的第一帧，通过去除空间冗余进行压缩，每个GOP有且仅有这一个I帧。

• P帧：预测编码帧（predictive-frame）:通过去除GOP中前面已编码的帧（I帧或P帧）的时间冗余信息来编码图像。每个GOP中有一个或多个P帧。

  一个序列（GOP）的第一个图像叫做 IDR 图像（立即刷新图像），IDR 图像都是 I 帧图像。H.264 引入 IDR 图像是为了解码的重同步，当解码器解码到 IDR 图像时，立即将参考帧队列清空，将已解码的数据全部输出或抛弃，重新查找参数集，开始一个新的序列。
  

• B帧：双向预测帧（bi-directional interpolated prediction frame）：根据相邻的前一帧、本帧以及后一帧数据的不同点来压缩本帧，也即仅记录本帧与前后帧的差值。I帧和P帧间或两个P帧间有一个或多个B帧。
  I帧为基础帧，以I帧预测P帧，再由I帧和P帧一起预测B帧，一般地，I帧压缩效率最低，P帧较高，B帧最高。
  （3）最后将I帧数据与预测的差值信息进行存储和传输。

5.H.264分层结构

H.264的功能分为两层

• 视频编码层（VCL：Video Coding Layer）：即被压缩编码后的视频数据序列，我们前面介绍的内容均为VCL层
• 网络提取层（NAL:Network Abstraction Layer）：在VCL数据封装到NAL单元中之后，才可以用来传输或存储。

6.NAL封装

（1）封装方式：
NAL是将每一帧数据写入到一个NAL单元（NALU）中，进行传输或存储的
NALU分为NAL头和NAL体
NALU头通常为00 00 00 01，作为一个新的NALU的起始标识
NALU体封装着VCL编码后的信息或者其他信息

（2）封装过程：
I帧、P帧、B帧都是被封装成一个或者多个NALU进行传输或者存储的
I帧开始之前也有非VCL的NAL单元，用于保存其他信息，比如：PPS、SPS

• PPS（Picture Parameter Sets）：图像参数集
• SPS（Sequence Parameter Set）：序列参数集

在实际的H264数据帧中，往往帧前面带有00 00 00 01 或 00 00 01分隔符，一般来说编码器编出的首帧数据为PPS与SPS，接着为I帧，后续是B帧、P帧等数据

7.编码方式

（1）硬编码：使用非CPU进行编码，例如使用GPU、专用DSP、FPGA、ASIC芯片等。用此方式对CPU负载小，但对GPU等硬件要求高，iOS8中苹果已经为我们封装了VideoToolBox和AudioToolBox两个框架进行硬编码。
（2）软编码：使用CPU进行编码，通常使用开源的ffmpeg+x264

8.代码Demo

下面以代码演示整个采集和编码的流程：采集–>获取视频帧–>对视频帧进行编码–>获取视频帧信息–>将编码后的数据以NALU方式写入文件

既然iPhone拥有强大的GPU硬件，也提供了VideoToolBox和AudioToolBox两个优秀的框架，那demo当然选择硬编码啦～

（1）将前文中利用AVFoundation进行视频采集的代码进行封住，创建VideoCapture类，实现开始采集方法startCapture:和停止采集方法stopCapture。

在获取到sampleBuffer后，使用下一步创建的VideoEncoder类进行编码。
VideoCapture.h

@interface VideoCapture : NSObject- (void)startCapture:(UIView *)preview;- (void)stopCapture;@end

VideoCapture.m

#import "VideoCapture.h"
#import "VideoEncoder.h"
#import <AVFoundation/AVFoundation.h>@interface VideoCapture () <AVCaptureVideoDataOutputSampleBufferDelegate>/** 编码对象 */
@property (nonatomic, strong) VideoEncoder *encoder;/** 捕捉会话*/
@property (nonatomic, weak) AVCaptureSession *captureSession;/** 预览图层 */
@property (nonatomic, weak) AVCaptureVideoPreviewLayer *previewLayer;/** 捕捉画面执行的线程队列 */
@property (nonatomic, strong) dispatch_queue_t captureQueue;@end@implementation VideoCapture- (void)startCapture:(UIView *)preview
{// 0.初始化编码对象self.encoder = [[VideoEncoder alloc] init];// 1.创建捕捉会话AVCaptureSession *session = [[AVCaptureSession alloc] init];session.sessionPreset = AVCaptureSessionPreset1280x720;self.captureSession = session;// 2.设置输入设备AVCaptureDevice *device = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];NSError *error = nil;AVCaptureDeviceInput *input = [[AVCaptureDeviceInput alloc] initWithDevice:device error:&error];[session addInput:input];// 3.添加输出设备AVCaptureVideoDataOutput *output = [[AVCaptureVideoDataOutput alloc] init];self.captureQueue = dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0);[output setSampleBufferDelegate:self queue:self.captureQueue];[session addOutput:output];// 设置录制视频的方向AVCaptureConnection *connection = [output connectionWithMediaType:AVMediaTypeVideo];[connection setVideoOrientation:AVCaptureVideoOrientationPortrait];// 4.添加预览图层AVCaptureVideoPreviewLayer *previewLayer = [[AVCaptureVideoPreviewLayer alloc] initWithSession:session];previewLayer.frame = preview.bounds;[preview.layer insertSublayer:previewLayer atIndex:0];self.previewLayer = previewLayer;// 5.开始捕捉[self.captureSession startRunning];
}- (void)stopCapture {[self.captureSession stopRunning];[self.previewLayer removeFromSuperlayer];[self.encoder endEncode];
}#pragma mark - 获取到数据
- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection {[self.encoder encodeSampleBuffer:sampleBuffer];
}

(2)创建VideoEncoder类，实现编码功能。

• setupFileHandle方法创建了保存编码后视频的文件路径。
• setupVideoSession创建并初始化了编码会话compressionSession，其中创建方法VTCompressionSessionCreate()中，第8个参数为指定编码回调的c语言方法为didCompressH264。
• 在上一步采集到SampleBuffer后，调用encodeSampleBuffer:方法进行编码，回调上一步的didCompressH264。
• 在didCompressH264中判断若为关键帧，则增加sps和pps，并转换为NSData，拼接为NALU单元后写入文件，其他帧也拼接为NALU单元后写入文件。
• 视频采集结束后调用endEncode方法销毁对话。

VideoEncoder.h

#import <UIKit/UIKit.h>
#import <VideoToolbox/VideoToolbox.h>@interface VideoEncoder : NSObject- (void)encodeSampleBuffer:(CMSampleBufferRef)sampleBuffer;
- (void)endEncode;@end

VideoEncoder.m

#import "VideoEncoder.h"@interface VideoEncoder()/** 记录当前的帧数 */
@property (nonatomic, assign) NSInteger frameID;/** 编码会话 */
@property (nonatomic, assign) VTCompressionSessionRef compressionSession;/** 文件写入对象 */
@property (nonatomic, strong) NSFileHandle *fileHandle;@end@implementation VideoEncoder-(instancetype)init{if(self = [super init]){// 1.初始化写入文件的对象(NSFileHandle用于写入二进制文件)[self setUpFileHandle];// 2.初始化压缩编码的会话[self setUpVideoSession];}return self;
}-(void)setUpFileHandle{//1.获取沙盒路径NSString *file = [[NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES) lastObject] stringByAppendingPathComponent:@"abc.h264"];//2.如果已有文件则删除后再创建[[NSFileManager defaultManager] removeItemAtPath:file error:nil];[[NSFileManager defaultManager] createFileAtPath:file contents:nil attributes:nil];//3.创建对象self.fileHandle = [NSFileHandle fileHandleForWritingAtPath:file];
}-(void)setUpVideoSession{//1.用于记录当前是第几帧数据self.frameID = 0;//2.录制视频的宽高int width = [UIScreen mainScreen].bounds.size.width;int height = [UIScreen mainScreen].bounds.size.height;//3.创建CompressionSession对象，用于对画面进行编码VTCompressionSessionCreate(NULL, width, height, kCMVideoCodecType_H264, NULL, NULL, NULL, didCompressH264, (__bridge void *)(self), &_compressionSession);//4.设置实时编码输出（直播需要实时输出）VTSessionSetProperty(self.compressionSession, kVTCompressionPropertyKey_RealTime, kCFBooleanTrue);//5.设置期望帧率为每秒30帧int fps = 30;CFNumberRef fpsRef = CFNumberCreate(kCFAllocatorDefault, kCFNumberIntType, &fps);VTSessionSetProperty(self.compressionSession, kVTCompressionPropertyKey_ExpectedFrameRate, fpsRef);//6.设置码率int biteRate = 800*1024;CFNumberRef bitRateRef = CFNumberCreate(kCFAllocatorDefault, kCFNumberSInt32Type, &biteRate);VTSessionSetProperty(self.compressionSession, kVTCompressionPropertyKey_AverageBitRate, bitRateRef);NSArray *limit = @[@(biteRate*1.5/8),@(1)];VTSessionSetProperty(self.compressionSession, kVTCompressionPropertyKey_DataRateLimits, (__bridge CFArrayRef)limit);//7.设置关键帧间隔为30（GOP长度）int frameInterval = 30;CFNumberRef frameIntervalRef = CFNumberCreate(kCFAllocatorDefault, kCFNumberIntType, &frameInterval);VTSessionSetProperty(self.compressionSession, kVTCompressionPropertyKey_MaxKeyFrameInterval, frameIntervalRef);//8.准备编码VTCompressionSessionPrepareToEncodeFrames(self.compressionSession);
}- (void)encodeSampleBuffer:(CMSampleBufferRef)sampleBuffer{//1.将sampleBuffer转成imageBufferCVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);//2.根据当前帧数，创建CMTimeCMTime presentationTimeStamp = CMTimeMake(self.frameID++, 1000);VTEncodeInfoFlags flags;//3.开始编码该帧数据OSStatus statusCode = VTCompressionSessionEncodeFrame(self.compressionSession,imageBuffer,presentationTimeStamp,kCMTimeInvalid,NULL, (__bridge void * _Nullable)(self), &flags);if (statusCode == noErr) {NSLog(@"H264: VTCompressionSessionEncodeFrame Success");}
}// 编码完成回调
void didCompressH264(void *outputCallbackRefCon, void *sourceFrameRefCon, OSStatus status, VTEncodeInfoFlags infoFlags, CMSampleBufferRef sampleBuffer) {//1.判断状态是否是没有报错if (status != noErr) {return;}//2.根据传入的参数获取对象VideoEncoder* encoder = (__bridge VideoEncoder*)outputCallbackRefCon;//3.判断是否是关键帧bool isKeyframe = !CFDictionaryContainsKey(CFArrayGetValueAtIndex(CMSampleBufferGetSampleAttachmentsArray(sampleBuffer, true),0), kCMSampleAttachmentKey_NotSync);//判断当前帧是否为关键帧//获取sps & pps数据if(isKeyframe){//获取编码后的信息CMFormatDescriptionRef format = CMSampleBufferGetFormatDescription(sampleBuffer);//获取SPS信息size_t sparameterSetSize, sparameterSetCount;const uint8_t *sparameterSet;CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 0, &sparameterSet, &sparameterSetSize, &sparameterSetCount, 0 );// 获取PPS信息size_t pparameterSetSize, pparameterSetCount;const uint8_t *pparameterSet;CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 1, &pparameterSet, &pparameterSetSize, &pparameterSetCount, 0 );//装sps/pps转成NSData，以便写入文件NSData *sps = [NSData dataWithBytes:sparameterSet length:sparameterSetSize];NSData *pps = [NSData dataWithBytes:pparameterSet length:pparameterSetSize];//写入文件[encoder gotSpsPps:sps pps:pps];}// 获取数据块CMBlockBufferRef dataBuffer = CMSampleBufferGetDataBuffer(sampleBuffer);size_t length, totalLength;char *dataPointer;OSStatus statusCodeRet = CMBlockBufferGetDataPointer(dataBuffer, 0, &length, &totalLength, &dataPointer);if (statusCodeRet == noErr) {size_t bufferOffset = 0;static const int AVCCHeaderLength = 4; // 返回的nalu数据前四个字节不是0001的startcode，而是大端模式的帧长度length// 循环获取nalu数据while (bufferOffset < totalLength - AVCCHeaderLength) {uint32_t NALUnitLength = 0;// Read the NAL unit lengthmemcpy(&NALUnitLength, dataPointer + bufferOffset, AVCCHeaderLength);// 从大端转系统端NALUnitLength = CFSwapInt32BigToHost(NALUnitLength);NSData* data = [[NSData alloc] initWithBytes:(dataPointer + bufferOffset + AVCCHeaderLength) length:NALUnitLength];[encoder gotEncodedData:data isKeyFrame:isKeyframe];// 移动到写一个块，转成NALU单元bufferOffset += AVCCHeaderLength + NALUnitLength;}}
}- (void)gotSpsPps:(NSData*)sps pps:(NSData*)pps
{// 1.拼接NALU的headerconst char bytes[] = "\x00\x00\x00\x01";size_t length = (sizeof bytes) - 1;NSData *ByteHeader = [NSData dataWithBytes:bytes length:length];// 2.将NALU的头&NALU的体写入文件[self.fileHandle writeData:ByteHeader];[self.fileHandle writeData:sps];[self.fileHandle writeData:ByteHeader];[self.fileHandle writeData:pps];}
- (void)gotEncodedData:(NSData*)data isKeyFrame:(BOOL)isKeyFrame
{NSLog(@"gotEncodedData %d", (int)[data length]);if (self.fileHandle != NULL){const char bytes[] = "\x00\x00\x00\x01";size_t length = (sizeof bytes) - 1; //string literals have implicit trailing '\0'NSData *ByteHeader = [NSData dataWithBytes:bytes length:length];[self.fileHandle writeData:ByteHeader];[self.fileHandle writeData:data];}
}- (void)endEncode {VTCompressionSessionCompleteFrames(self.compressionSession, kCMTimeInvalid);VTCompressionSessionInvalidate(self.compressionSession);CFRelease(self.compressionSession);self.compressionSession = NULL;
}@end

（3）在主页面ViewController.m中,加入点击开始采集和结束采集的按钮并实现对应方法：

@interface ViewController () /** 视频捕捉对象 */
@property (nonatomic, strong) VideoCapture *videoCapture;@end@implementation ViewController- (IBAction)startCapture {[self.videoCapture startCapture:self.view];
}- (IBAction)stopCapture {[self.videoCapture stopCapture];
}- (VideoCapture *)videoCapture {if (_videoCapture == nil) {_videoCapture = [[VideoCapture alloc] init];}return _videoCapture;
}

demo源码下载：https://github.com/dolacmeng/encodeWithVideoToolBox