爱博体育app手机版iOS录像直播初窥,的iOS录像直播推流仿写

效果图

gif1

gif2

由于licecap录制的GIF失帧太严重, 都模糊掉了, 再放两张高清截图

png1

png2

摄像直播,能够分成 采集,前处理,编码,传输, 服务器处理,解码,渲染

前言

当年八月份,斗鱼腾讯领投的1亿新币融通资金的音讯被各大平台杂志发表转发,在电竞、泛娱乐已是热门投资的即时,网络直播平台自然也取得了各行各业的关心。盗用两张有关游戏直播的样子图

打闹直播规模

游戏直播规模

那还唯有是玩玩直播这块的蛋糕.直播行业的竞争会特别激烈,
不管是主播照旧直播平台都面临着能够的竞争, 当然直播行业也会进一步规范,
直播成分也越多.

收集: iOS系统因为软硬件连串不多, 硬件适配性相比较好, 所以比较简单.
而Android端市面上机型众多, 要做些机型的适配工作.PC端是最麻烦的,
各类奇葩水墨画头驱动.所以以后游人如织的中型小型型直播平台, 都吐弃了PC的直播,
更有局地直播平台只做iOS端的录像直播.

录像直播初窥

摄像直播,能够分为 采集,前处理,编码,传输, 服务器处理,解码,渲染

  • 募集: iOS系统因为软硬件系列不多, 硬件适配性比较好, 所以比较简单.
    而Android端市面上机型众多, 要做些机型的适配工作.PC端是最劳顿的,
    种种奇葩油画头驱动.所以今后众多的中型小型型直播平台, 都抛弃了PC的直播,
    更有部分直播平台只做iOS端的摄像直播.

  • 前处理: 美颜算法,录像的模糊效果, 水印等都是在那几个环节做.
    近日iOS端最出名开源框架的早晚正是GPUImage.其中内置了125种渲染效果,
    还协理种种本子自定义. 笔者高仿的喵播的美颜效用也是依照GPUImage的.

  • 编码:
    重难题在于要在分辨率,帧率,码率,GOP等参数设计上找到最佳平衡点。iOS8今后,
    Apple开放了VideoToolbox.framework, 能够一贯开展硬编解码,
    那也是干吗未来多数直播平台最低只支持到iOS8的缘故之一.
    iOS端硬件包容性比较好, 能够间接选用硬编码.
    而Android得硬编码又是一大坑.

  • 传输: 那块一般都以交由CDN服务商.
    CDN只提供带宽和服务器之间的传导,
    发送端和接收端的互连网连接抖动缓存依然要本身实现的.近来国内最大的CDN服务商应该是网宿.

  • 服务器处理: 供给在服务器做一些流处理工科作,
    让推送上来的流适配各类平台各类分裂的商议, 比如:EnclaveTMP,HLS,FLV…

  • 解码和渲染: 也就即音录像的播放. 解码毫无疑问也务须要硬解码.
    iOS端兼容较好, Android照旧大坑.那块的难处在于音画同步,
    方今如拾草芥直播平台那块是硬伤.国内比较好的开源项目应当是B站开源的<a
    href=”https://github.com/Bilibili/ijkplayer"&gt;ijkplayer
    </a>. 斗鱼正是基于<a
    href=”https://github.com/Bilibili/ijkplayer"&gt;ijkplayer
    </a>的, 本项目也是根据<a
    href=”https://github.com/Bilibili/ijkplayer"&gt;ijkplayer
    </a>的.

技术坑 : 降噪, 音频解码器, Bluetooth适配, 回声消除, 信令控制, 登录, 鉴权,
权限管理, 状态管理, 应用消息, 音讯推送, 礼物系统, 即时拉拉扯扯, 支付种类,
总计体系, 数据库, 缓存, 分布式文件存款和储蓄, 音讯队列,
运转系统等等大小不一的坑等您来填!!!

资金坑 : 以带宽为例, 2万人同时在线, 手提式有线电话机码率在600KB,
每一种月的带宽开支至少在30万左右. 基于欢聚时期(YY)15年四季度财务报,
他们的带宽花费为人民币1.611亿元, 折合每月四千万+.
人力财力+渠道支出和其余支出就一窍不通谈了.

社会坑: 还得时刻与种种乌黑势力斗争, 包含色情, 广告, 刷大号,
刷充值, 告侵权, DDos…(作者反编写翻译喵播的官方APP,
他们的项目名就叫Shehui, O(∩_∩)O哈哈~)

前处理: 美颜算法,录制的混淆效果, 水印等都以在这一个环节做.
近日iOS端最有名开源框架的肯定正是GPUImage.个中内置了125种渲染效果,
还援救种种本子自定义. 笔者高仿的喵播的美颜功能也是根据GPUImage的.

花色下载地址

<a
href=”https://github.com/SunLiner/MiaowShow"&gt;GitHub下载地址&lt;/a&gt;

编码:
重难题在于要在分辨率,帧率,码率,GOP等参数设计上找到最佳平衡点。iOS8以往,
Apple开放了VideoToolbox.framework, 能够间接开展硬编解码,
那也是干吗今后超越四分之二直播平台最低只帮忙到iOS8的来头之一.
iOS端硬件兼容性相比较好, 能够向来运用硬编码. 而Android得硬编码又是一大坑.

最初准备

项目首要是依照<a
href=”https://github.com/Bilibili/ijkplayer"&gt;ijkplayer </a>的.
最好是打包成framework. 原本作者准备写一个打包教程,
可是后来在简书上发现了一篇尤其详细的打包blog, 分享给大家: <a
href=”http://www.jianshu.com/p/1f06b27b3ac0"&gt;http://www.jianshu.com/p/1f06b27b3ac0&lt;/a&gt;.

万一您根据教程打包战败了(当然那种概率比较小),
笔者那还有一份本人一度打包好的(Release版), 下载地址:
链接:http://pan.baidu.com/s/1eRVetdK
密码:2dc0
下载后, 直接解压即可.

传输: 那块一般都是付诸CDN服务商. CDN只提供带宽和服务器之间的传输,
发送端和接收端的互联网连接抖动缓存依然要和谐达成的.近年来国内最大的CDN服务商应该是网宿.

类别文件结构

  • Frameworks: 假设文件夹不存在, 点击classes选择Show in Finder,
    新建二个即可, 将您打包的要么下载的framework拖入当中并拉进项目中.
    你也足以协调建二个文本夹, 把这几个Frameworks直接delete即可

  • Profile : 个人基本, 那之中唯有三个ProfileController.
    因为总写重复代码, 都写吐了, 那儿有趣味的大团结写一下啊, So easy…

  • Network : 关于互联网连接的工具类. 关于互联网的实时监察, 网络状态的切换,
    互连网请求的工具类都在此地面.

  • Other : 全局的常量. 当然你也足以在里面将文件结构更为细化.

  • Home : 包括最新主播, 最热直播, 关心的直播, 礼物排名榜等模块.
    还有最首要的录像直播也在这在那之中了.

  • ShowTime :见名知意. 摄像直播的前处理,
    智能美颜和H264硬编码等都在此处面.

  • Main : UITabBarControllerUINavigationController的配置

  • Toos : 这儿命名有点不规范, 那之中放置的都是类别用到的分类

  • Login : 登录模块

  • Resource : 项目用到的财富文件

服务器处理: 要求在服务器做一些流处理工科作,
让推送上来的流适配各类平台各类分歧的合计, 比如:CRUISERTMP,HLS,FLV…

花色详解

  • tip1: 判读互连网类型.

在观看直播的时候, 大家一般都以用WiFi恐怕四分三G(土豪级其余),
一般用户在展开互连网切换的时候, 大家都要付出友善的提醒, 告诉TA:
您的互联网状态切换成了XX状态. 假诺用户从WiFi切换来4G,
你的采用也没个提示, 导致TA的流量归零甚至欠了运维商一臀部的钱,
小编想你的APP的用户体验也就归零只怕为负了.

我们得以行使苹果的Reachability重组上边包车型客车代码实时监听互联网状态的更改

typedef NS_ENUM(NSUInteger, NetworkStates) {
    NetworkStatesNone, // 没有网络
    NetworkStates2G, // 2G
    NetworkStates3G, // 3G
    NetworkStates4G, // 4G
    NetworkStatesWIFI // WIFI
};

// 判断网络类型
+ (NetworkStates)getNetworkStates
{
    NSArray *subviews = [[[[UIApplication sharedApplication] valueForKeyPath:@"statusBar"] valueForKeyPath:@"foregroundView"] subviews];
    // 保存网络状态
    NetworkStates states = NetworkStatesNone;
    for (id child in subviews) {
        if ([child isKindOfClass:NSClassFromString(@"UIStatusBarDataNetworkItemView")]) {
            //获取到状态栏码
            int networkType = [[child valueForKeyPath:@"dataNetworkType"] intValue];
            switch (networkType) {
                case 0:
                   //无网模式
                    states = NetworkStatesNone;
                    break;
                case 1:
                    states = NetworkStates2G;
                    break;
                case 2:
                    states = NetworkStates3G;
                    break;
                case 3:
                    states = NetworkStates4G;
                    break;
                case 5:
                {
                    states = NetworkStatesWIFI;
                }
                    break;
                default:
                    break;
            }
        }
    }
    //根据状态选择
    return states;
}
  • tip2: 登录模块

若果您多运维四遍就会发现,
登录模块背景中播放的录像是二个摄像每一遍随机播放二个的.并且是最为重复的,
也便是说只要你直接呆着登录界面, 就会单录制循环播放当下的录制.
那儿的登录只是多少个按钮, 没有具体的报到逻辑,
随便点哪3个按钮都得以进来首页.

我们须求监听录制, 是不是播放落成.

// 监听视频是否播放完成
    [[NSNotificationCenter defaultCenter] addObserver:self selector:@selector(didFinish) name:IJKMPMoviePlayerPlaybackDidFinishNotification object:nil];

假使播放实现了, 让IJKFFMoviePlayerController再次play即可

- (void)didFinish
{
    // 播放完之后, 继续重播
    [self.player play];
}
  • tip3: 首页

首页

那种效能相信广大人都见到过或许做过.小编大约说一下笔者的做法(不必然是最佳的,
只是提供三个思路)

三个父控制器HomeViewController+八个子控制器(最热/最新/关注.
各类控制器各自管理自个儿的作业逻辑, 高内聚低耦合).
重写HomeViewControllerloadView,
self.view替换成UIScrollView.
将多个子控制器的view添加到UIScrollView上即可. 其余的功效完成,
请参照作者的代码, 都有详尽的闽南语注释.

  • tip4: 直播(面向客官端)
    这一个是成套项目标重要之一了.那种直播的布局, 应该是相比较主流的了.
    小编下载的无数直播类APP都以那几个种类布局,
    包蕴YY也是这种界面布局.那个里面涉及的东西相比较多了, 三言两语真说不清.

一言以蔽之说一下业已达成的效能:
A: 主播的直播
B: 关联主播的摄像直播, 默许是唯有界面, 没有声息的.
点击该视图能够切换成此主播
C: 下拉切换另3个主播, 那么些职能是很普遍的.
做法是直播控制器是二个UICollectionViewController, 唯有三个cell,
cell.frame就是self.collectionViewb.bounds.
大家进去直播控制器的时候, 其实是传进去三个关系主播数组,
每便下拉的时候, 就加载数组里面包车型地铁主播
D. 查看观者席的听众详情
E. 查看主播详情
F. 足迹: 粒子动画, 后边详解
G. 弹幕: 点击最下方的工具栏第一个按钮可以敞开/关闭弹幕, 后边详解

  • tip5: 粒子动画落成旅客足迹
    粒子动画的layer是加上到播放器的view上边的. 上面代码有详细的笺注

CAEmitterLayer *emitterLayer = [CAEmitterLayer layer];
// 发射器在xy平面的中心位置
emitterLayer.emitterPosition = CGPointMake(self.moviePlayer.view.frame.size.width-50,self.moviePlayer.view.frame.size.height-50);
// 发射器的尺寸大小
emitterLayer.emitterSize = CGSizeMake(20, 20);
// 渲染模式
emitterLayer.renderMode = kCAEmitterLayerUnordered;
// 开启三维效果
//    _emitterLayer.preservesDepth = YES;
NSMutableArray *array = [NSMutableArray array];
// 创建粒子
for (int i = 0; i<10; i++) {
    // 发射单元
    CAEmitterCell *stepCell = [CAEmitterCell emitterCell];
    // 粒子的创建速率,默认为1/s
    stepCell.birthRate = 1;
    // 粒子存活时间
    stepCell.lifetime = arc4random_uniform(4) + 1;
    // 粒子的生存时间容差
    stepCell.lifetimeRange = 1.5;
    // 颜色
    // fire.color=[[UIColor colorWithRed:0.8 green:0.4 blue:0.2 alpha:0.1]CGColor];
    UIImage *image = [UIImage imageNamed:[NSString stringWithFormat:@"good%d_30x30", i]];
    // 粒子显示的内容
    stepCell.contents = (id)[image CGImage];
    // 粒子的名字
    //            [fire setName:@"step%d", i];
    // 粒子的运动速度
    stepCell.velocity = arc4random_uniform(100) + 100;
    // 粒子速度的容差
    stepCell.velocityRange = 80;
    // 粒子在xy平面的发射角度
    stepCell.emissionLongitude = M_PI+M_PI_2;;
    // 粒子发射角度的容差
    stepCell.emissionRange = M_PI_2/6;
    // 缩放比例
    stepCell.scale = 0.3;
    [array addObject:stepCell];
}

emitterLayer.emitterCells = array;
[self.moviePlayer.view.layer insertSublayer:emitterLayer below:self.catEarView.layer];

 _renderer = [[BarrageRenderer alloc] init];
// 设置弹幕的显示区域. 基于父控件的.
_renderer.canvasMargin = UIEdgeInsetsMake(ALinScreenHeight * 0.3, 10, 10, 10);
[self.contentView addSubview:_renderer.view];

弹幕配置

#pragma mark - 弹幕描述符生产方法
/// 生成精灵描述 - 过场文字弹幕
- (BarrageDescriptor *)walkTextSpriteDescriptorWithDirection:(NSInteger)direction
{
    BarrageDescriptor * descriptor = [[BarrageDescriptor alloc]init];
    descriptor.spriteName = NSStringFromClass([BarrageWalkTextSprite class]);
    descriptor.params[@"text"] = self.danMuText[arc4random_uniform((uint32_t)self.danMuText.count)];
    descriptor.params[@"textColor"] = Color(arc4random_uniform(256), arc4random_uniform(256), arc4random_uniform(256));
    descriptor.params[@"speed"] = @(100 * (double)random()/RAND_MAX+50);
    descriptor.params[@"direction"] = @(direction);
    descriptor.params[@"clickAction"] = ^{
        UIAlertView *alertView = [[UIAlertView alloc]initWithTitle:@"提示" message:@"弹幕被点击" delegate:nil cancelButtonTitle:@"取消" otherButtonTitles:nil];
        [alertView show];
    };
    return descriptor;
}

最终一步, 千万要记得start

[_renderer start];
  • tip7: 智能美颜功能
    当今的直播平台, 美颜是标配.
    不然绝大部分的主播都以迫不得已看的.美颜算法要求用到GPU编制程序,
    供给懂图像处理的人. 图像处理这一块小编不是很熟识,
    相关的文献也是看得云里雾里的. 所以, 依旧选择开源的轮子:<a
    href=”https://github.com/BradLarson/GPUImage"&gt; GPUImage
    </a>. 那么些开源框架有近1.3W+star(5月16日数码), 真不是盖的,
    内置125种滤镜效果, 没有你意料之外, 只有你不会用.
    小编的种类中都有详尽的用法, 仍旧很简短的.
    在此地摘抄一份其.h文件的注释. 一方面有利于大家修改我项目中的美颜作用,
    另一方面也是做个备份.(具体出处本人真忘了, 如若有人找到了源地址链接,
    能够联系小编加上)

#import "GLProgram.h"

// Base classes
#import "GPUImageOpenGLESContext.h"
#import "GPUImageOutput.h"
#import "GPUImageView.h"
#import "GPUImageVideoCamera.h"
#import "GPUImageStillCamera.h"
#import "GPUImageMovie.h"
#import "GPUImagePicture.h"
#import "GPUImageRawDataInput.h"
#import "GPUImageRawDataOutput.h"
#import "GPUImageMovieWriter.h"
#import "GPUImageFilterPipeline.h"
#import "GPUImageTextureOutput.h"
#import "GPUImageFilterGroup.h"
#import "GPUImageTextureInput.h"
#import "GPUImageUIElement.h"
#import "GPUImageBuffer.h"

// Filters
#import "GPUImageFilter.h"
#import "GPUImageTwoInputFilter.h"


#pragma mark - 调整颜色 Handle Color

#import "GPUImageBrightnessFilter.h"                //亮度
#import "GPUImageExposureFilter.h"                  //曝光
#import "GPUImageContrastFilter.h"                  //对比度
#import "GPUImageSaturationFilter.h"                //饱和度
#import "GPUImageGammaFilter.h"                     //伽马线
#import "GPUImageColorInvertFilter.h"               //反色
#import "GPUImageSepiaFilter.h"                     //褐色(怀旧)
#import "GPUImageLevelsFilter.h"                    //色阶
#import "GPUImageGrayscaleFilter.h"                 //灰度
#import "GPUImageHistogramFilter.h"                 //色彩直方图,显示在图片上
#import "GPUImageHistogramGenerator.h"              //色彩直方图
#import "GPUImageRGBFilter.h"                       //RGB
#import "GPUImageToneCurveFilter.h"                 //色调曲线
#import "GPUImageMonochromeFilter.h"                //单色
#import "GPUImageOpacityFilter.h"                   //不透明度
#import "GPUImageHighlightShadowFilter.h"           //提亮阴影
#import "GPUImageFalseColorFilter.h"                //色彩替换(替换亮部和暗部色彩)
#import "GPUImageHueFilter.h"                       //色度
#import "GPUImageChromaKeyFilter.h"                 //色度键
#import "GPUImageWhiteBalanceFilter.h"              //白平横
#import "GPUImageAverageColor.h"                    //像素平均色值
#import "GPUImageSolidColorGenerator.h"             //纯色
#import "GPUImageLuminosity.h"                      //亮度平均
#import "GPUImageAverageLuminanceThresholdFilter.h" //像素色值亮度平均,图像黑白(有类似漫画效果)

#import "GPUImageLookupFilter.h"                    //lookup 色彩调整
#import "GPUImageAmatorkaFilter.h"                  //Amatorka lookup
#import "GPUImageMissEtikateFilter.h"               //MissEtikate lookup
#import "GPUImageSoftEleganceFilter.h"              //SoftElegance lookup




#pragma mark - 图像处理 Handle Image

#import "GPUImageCrosshairGenerator.h"              //十字
#import "GPUImageLineGenerator.h"                   //线条

#import "GPUImageTransformFilter.h"                 //形状变化
#import "GPUImageCropFilter.h"                      //剪裁
#import "GPUImageSharpenFilter.h"                   //锐化
#import "GPUImageUnsharpMaskFilter.h"               //反遮罩锐化

#import "GPUImageFastBlurFilter.h"                  //模糊
#import "GPUImageGaussianBlurFilter.h"              //高斯模糊
#import "GPUImageGaussianSelectiveBlurFilter.h"     //高斯模糊,选择部分清晰
#import "GPUImageBoxBlurFilter.h"                   //盒状模糊
#import "GPUImageTiltShiftFilter.h"                 //条纹模糊,中间清晰,上下两端模糊
#import "GPUImageMedianFilter.h"                    //中间值,有种稍微模糊边缘的效果
#import "GPUImageBilateralFilter.h"                 //双边模糊
#import "GPUImageErosionFilter.h"                   //侵蚀边缘模糊,变黑白
#import "GPUImageRGBErosionFilter.h"                //RGB侵蚀边缘模糊,有色彩
#import "GPUImageDilationFilter.h"                  //扩展边缘模糊,变黑白
#import "GPUImageRGBDilationFilter.h"               //RGB扩展边缘模糊,有色彩
#import "GPUImageOpeningFilter.h"                   //黑白色调模糊
#import "GPUImageRGBOpeningFilter.h"                //彩色模糊
#import "GPUImageClosingFilter.h"                   //黑白色调模糊,暗色会被提亮
#import "GPUImageRGBClosingFilter.h"                //彩色模糊,暗色会被提亮
#import "GPUImageLanczosResamplingFilter.h"         //Lanczos重取样,模糊效果
#import "GPUImageNonMaximumSuppressionFilter.h"     //非最大抑制,只显示亮度最高的像素,其他为黑
#import "GPUImageThresholdedNonMaximumSuppressionFilter.h" //与上相比,像素丢失更多

#import "GPUImageSobelEdgeDetectionFilter.h"        //Sobel边缘检测算法(白边,黑内容,有点漫画的反色效果)
#import "GPUImageCannyEdgeDetectionFilter.h"        //Canny边缘检测算法(比上更强烈的黑白对比度)
#import "GPUImageThresholdEdgeDetectionFilter.h"    //阈值边缘检测(效果与上差别不大)
#import "GPUImagePrewittEdgeDetectionFilter.h"      //普瑞维特(Prewitt)边缘检测(效果与Sobel差不多,貌似更平滑)
#import "GPUImageXYDerivativeFilter.h"              //XYDerivative边缘检测,画面以蓝色为主,绿色为边缘,带彩色
#import "GPUImageHarrisCornerDetectionFilter.h"     //Harris角点检测,会有绿色小十字显示在图片角点处
#import "GPUImageNobleCornerDetectionFilter.h"      //Noble角点检测,检测点更多
#import "GPUImageShiTomasiFeatureDetectionFilter.h" //ShiTomasi角点检测,与上差别不大
#import "GPUImageMotionDetector.h"                  //动作检测
#import "GPUImageHoughTransformLineDetector.h"      //线条检测
#import "GPUImageParallelCoordinateLineTransformFilter.h" //平行线检测

#import "GPUImageLocalBinaryPatternFilter.h"        //图像黑白化,并有大量噪点

#import "GPUImageLowPassFilter.h"                   //用于图像加亮
#import "GPUImageHighPassFilter.h"                  //图像低于某值时显示为黑


#pragma mark - 视觉效果 Visual Effect

#import "GPUImageSketchFilter.h"                    //素描
#import "GPUImageThresholdSketchFilter.h"           //阀值素描,形成有噪点的素描
#import "GPUImageToonFilter.h"                      //卡通效果(黑色粗线描边)
#import "GPUImageSmoothToonFilter.h"                //相比上面的效果更细腻,上面是粗旷的画风
#import "GPUImageKuwaharaFilter.h"                  //桑原(Kuwahara)滤波,水粉画的模糊效果;处理时间比较长,慎用

#import "GPUImageMosaicFilter.h"                    //黑白马赛克
#import "GPUImagePixellateFilter.h"                 //像素化
#import "GPUImagePolarPixellateFilter.h"            //同心圆像素化
#import "GPUImageCrosshatchFilter.h"                //交叉线阴影,形成黑白网状画面
#import "GPUImageColorPackingFilter.h"              //色彩丢失,模糊(类似监控摄像效果)

#import "GPUImageVignetteFilter.h"                  //晕影,形成黑色圆形边缘,突出中间图像的效果
#import "GPUImageSwirlFilter.h"                     //漩涡,中间形成卷曲的画面
#import "GPUImageBulgeDistortionFilter.h"           //凸起失真,鱼眼效果
#import "GPUImagePinchDistortionFilter.h"           //收缩失真,凹面镜
#import "GPUImageStretchDistortionFilter.h"         //伸展失真,哈哈镜
#import "GPUImageGlassSphereFilter.h"               //水晶球效果
#import "GPUImageSphereRefractionFilter.h"          //球形折射,图形倒立

#import "GPUImagePosterizeFilter.h"                 //色调分离,形成噪点效果
#import "GPUImageCGAColorspaceFilter.h"             //CGA色彩滤镜,形成黑、浅蓝、紫色块的画面
#import "GPUImagePerlinNoiseFilter.h"               //柏林噪点,花边噪点
#import "GPUImage3x3ConvolutionFilter.h"            //3x3卷积,高亮大色块变黑,加亮边缘、线条等
#import "GPUImageEmbossFilter.h"                    //浮雕效果,带有点3d的感觉
#import "GPUImagePolkaDotFilter.h"                  //像素圆点花样
#import "GPUImageHalftoneFilter.h"                  //点染,图像黑白化,由黑点构成原图的大致图形


#pragma mark - 混合模式 Blend

#import "GPUImageMultiplyBlendFilter.h"             //通常用于创建阴影和深度效果
#import "GPUImageNormalBlendFilter.h"               //正常
#import "GPUImageAlphaBlendFilter.h"                //透明混合,通常用于在背景上应用前景的透明度
#import "GPUImageDissolveBlendFilter.h"             //溶解
#import "GPUImageOverlayBlendFilter.h"              //叠加,通常用于创建阴影效果
#import "GPUImageDarkenBlendFilter.h"               //加深混合,通常用于重叠类型
#import "GPUImageLightenBlendFilter.h"              //减淡混合,通常用于重叠类型
#import "GPUImageSourceOverBlendFilter.h"           //源混合
#import "GPUImageColorBurnBlendFilter.h"            //色彩加深混合
#import "GPUImageColorDodgeBlendFilter.h"           //色彩减淡混合
#import "GPUImageScreenBlendFilter.h"               //屏幕包裹,通常用于创建亮点和镜头眩光
#import "GPUImageExclusionBlendFilter.h"            //排除混合
#import "GPUImageDifferenceBlendFilter.h"           //差异混合,通常用于创建更多变动的颜色
#import "GPUImageSubtractBlendFilter.h"             //差值混合,通常用于创建两个图像之间的动画变暗模糊效果
#import "GPUImageHardLightBlendFilter.h"            //强光混合,通常用于创建阴影效果
#import "GPUImageSoftLightBlendFilter.h"            //柔光混合
#import "GPUImageChromaKeyBlendFilter.h"            //色度键混合
#import "GPUImageMaskFilter.h"                      //遮罩混合
#import "GPUImageHazeFilter.h"                      //朦胧加暗
#import "GPUImageLuminanceThresholdFilter.h"        //亮度阈
#import "GPUImageAdaptiveThresholdFilter.h"         //自适应阈值
#import "GPUImageAddBlendFilter.h"                  //通常用于创建两个图像之间的动画变亮模糊效果
#import "GPUImageDivideBlendFilter.h"               //通常用于创建两个图像之间的动画变暗模糊效果


#pragma mark - 尚不清楚
#import "GPUImageJFAVoroniFilter.h"
#import "GPUImageVoroniConsumerFilter.h"

// 开启硬解码
[option setPlayerOptionValue:@"1" forKey:@"videotoolbox"];

硬编码的利用场景: 大家要将主播的录像数据传送给服务器

透过拍照头来搜集图像,然后将采集到的图像,通过硬编码的主意实行编码,最后编码后的多少将其重组成H264的码流通过网络流传。

录像头采集图像, iOS系统提供了AVCaptureSession来采访录像头的图像数据.
项目中自小编是直接使用<a
href=”https://github.com/BradLarson/GPUImage"&gt; GPUImage
</a>中的GPUImageVideoCamera,
间接设置GPUImageVideoCamera的代办即可,
在其代理方法- (void)willOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer;展开数据编码即可.

牢记一点:
不管是系统自带的AVCaptureSession还是GPUImageVideoCamera征集到的数据都是未经过编码的CMSampleBuffer.

接下来将采集到的数码, 用iOS开放的VideoToolbox开始展览硬编码.
关于VideoToolbox硬编解码网上海人民广播广播台湾大学学科, 当然最好是看Apple的法定文书档案,
如若只是硬编码, 看自个儿的品类即可.

要害的编码函数(来自YOLO直播监护人的开源项目<a
href=”https://github.com/Guikunzhi/BeautifyFaceDemo"&gt;
BeautifyFaceDemo </a>)

void didCompressH264(void *outputCallbackRefCon, void *sourceFrameRefCon, OSStatus status, VTEncodeInfoFlags infoFlags,
                     CMSampleBufferRef sampleBuffer )
{
    if (status != 0) return;
    // 采集的未编码数据是否准备好
    if (!CMSampleBufferDataIsReady(sampleBuffer))
    {
        NSLog(@"didCompressH264 data is not ready ");
        return;
    }
    ALinH264Encoder* encoder = (__bridge ALinH264Encoder*)outputCallbackRefCon;

    bool keyframe = !CFDictionaryContainsKey((CFArrayGetValueAtIndex(CMSampleBufferGetSampleAttachmentsArray(sampleBuffer, true), 0)), kCMSampleAttachmentKey_NotSync);

    if (keyframe) // 关键帧
    {
        CMFormatDescriptionRef format = CMSampleBufferGetFormatDescription(sampleBuffer);
        size_t sparameterSetSize, sparameterSetCount;
        const uint8_t *sparameterSet;
        OSStatus statusCode = CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 0, &sparameterSet, &sparameterSetSize, &sparameterSetCount, 0 );
        if (statusCode == noErr)
        {
            size_t pparameterSetSize, pparameterSetCount;
            const uint8_t *pparameterSet;
            OSStatus statusCode = CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 1, &pparameterSet, &pparameterSetSize, &pparameterSetCount, 0 );
            if (statusCode == noErr)
            {
                encoder->sps = [NSData dataWithBytes:sparameterSet length:sparameterSetSize];
                encoder->pps = [NSData dataWithBytes:pparameterSet length:pparameterSetSize];
                NSLog(@"sps:%@ , pps:%@", encoder->sps, encoder->pps);
            }
        }
    }

    CMBlockBufferRef dataBuffer = CMSampleBufferGetDataBuffer(sampleBuffer);
    size_t length, totalLength;
    char *dataPointer;
    OSStatus statusCodeRet = CMBlockBufferGetDataPointer(dataBuffer, 0, &length, &totalLength, &dataPointer);
    if (statusCodeRet == noErr) {

        size_t bufferOffset = 0;
        static const int AVCCHeaderLength = 4;
        while (bufferOffset < totalLength - AVCCHeaderLength)
        {
            uint32_t NALUnitLength = 0;
            memcpy(&NALUnitLength, dataPointer + bufferOffset, AVCCHeaderLength);
            NALUnitLength = CFSwapInt32BigToHost(NALUnitLength);
            NSData *data = [[NSData alloc] initWithBytes:(dataPointer + bufferOffset + AVCCHeaderLength) length:NALUnitLength];
            bufferOffset += AVCCHeaderLength + NALUnitLength;
            NSLog(@"sendData-->> %@ %lu", data, bufferOffset);
        }

    }

}

解码和渲染: 也就即音摄像的播放. 解码毫无疑问也务供给硬解码.
iOS端兼容较好, Android依然大坑.那块的难处在于音画同步,
近来不可胜举直播平台那块是硬伤.国内相比较好的开源项目相应是B站开源的ijkplayer
. 斗鱼正是依照ijkplayer 的, 本项目也是根据ijkplayer 的.

感触

尽管如此那几个项目是个山寨的, 高仿的, 可是依然已经很庞大了.
具体的细节依然必要我们温馨去看自己的花色源码.
短短几千字还真说不清这么多的学识点. blog的稿子名字说了是初窥,
还当真只是初窥, 录制直播里面包车型地铁坑太多. 且行且保养…

tip: 本文科理科论知识部分, 采集自互联网.
请记住一句话talk is cheap show me the code, 重点在于Demo类型本身.
理论部分自身只是三个搬运工和总计者…

技巧坑 : 降噪, 音频解码器, Bluetooth适配, 回声解决, 信令控制, 登录, 鉴权,
权限管理, 状态管理, 应用消息, 音信推送, 礼物系统, 即时推推搡搡, 支付连串,
计算体系, 数据库, 缓存, 分布式文件存款和储蓄, 新闻队列,
运维系统等等大小不一的坑等您来填!!!

种类编写翻译环境

Xcode7(及以上)
最为是将项目跑在真机上. 有个别地点模拟器是不辅助的, 也看不到任何效率的,
比如硬编码/智能美颜等, 那几个功用模块, 作者做了限定的, 需求真机状态才能实行.

资金财产坑 : 以带宽为例, 2万人同时在线, 手机码率在600KB,
每一个月的带宽费用至少在30万左右. 基于欢聚时期(YY)15年四季度财务报,
他们的带宽开销为人民币1.611亿元, 折合每月陆仟万+.
人力资本+渠道支出和其余支出就一窍不通谈了.

品种下载地址

<a
href=”https://github.com/SunLiner/MiaowShow"&gt;GitHub下载地址&lt;/a&gt;
请star和fork. 后续的bug会持续创新到github上的.
格外得以在简书给作者留言/私信, 或者微博(简书个人上首页有自家的和讯)私信我.

7月十五日黎明(英文名:lí míng)翻新: 项目曾经济合营龙摄像直播推流
blog地址详解<a
href=”http://www.jianshu.com/p/8ea016b2720e"&gt;快速集成iOS基于RTMP的视频推流&lt;/a&gt;

社会坑: 还得时时与种种乌黑势力斗争, 包罗色情, 广告, 刷大号, 刷充值,
告侵权, DDos…

联系我

<a href=”https://github.com/SunLiner"&gt;github&lt;/a&gt;

<a
href=”http://www.weibo.com/5589163526/profile?rightmod=1&wvr=6&mod=personinfo&is\_all=1"&gt;微博&lt;/a&gt;

<a
href=”http://www.jianshu.com/users/9723687edfb5/latest\_articles"&gt;简书&lt;/a&gt;

初期准备项目主要是基于ijkplayer 的. 最好是包装成framework.
原本我准备写三个包裹教程, 不过后来在简书上发现了一篇专门详细的打包blog,
分享给大家:
http://www.jianshu.com/p/1f06b27b3ac0

Profile : 个人民代表大会旨, 那中间只有1个ProfileController. 因为总写重复代码,
都写吐了, 那儿有趣味的友好写一下啊, So easy…

Network : 关于网络连接的工具类. 关于网络的实时监察, 互联网状态的切换,
网络请求的工具类都在此地面.

Other : 全局的常量. 当然你也能够在中间将文件结构进一步细化.

Home : 包蕴最新主播, 最热直播, 关切的直播, 礼物排名榜等模块.
还有最关键的录像直播也在那其中了.

Show提姆e :见名知意. 摄像直播的前处理, 智能美颜和H264硬编码等都在那边面.

Main : UITabBarController和UINavigationController的配置

Toos : 这儿命名有点不专业, 那其间放置的都以种类用到的归类

Login : 登录模块

Resource : 项目用到的能源文件

类型详解tip1: 判读互连网类型.

在探望直播的时候, 大家普通都以用WiFi大概75%G(土豪级其余),
一般用户在拓展网络切换的时候, 大家都要付出友善的唤醒, 告诉TA:
您的网络状态切换来了XX状态. 若是用户从WiFi切换成4G, 你的使用也没个提示,
导致TA的流量归零甚至欠了运行商一屁股的钱,
笔者想你的APP的用户体验也就归零只怕为负了.我们得以选取苹果的Reachability结合下边包车型地铁代码实时监听互联网状态的转移

typedef NS_ENUM(NSUInteger, NetworkStates) {
    NetworkStatesNone, // 没有网络
    NetworkStates2G, // 2G
    NetworkStates3G, // 3G
    NetworkStates4G, // 4G
    NetworkStatesWIFI // WIFI
};

// 判断网络类型

+ (NetworkStates)getNetworkStates
{

    NSArray *subviews = [[[[UIApplication sharedApplication] valueForKeyPath:@"statusBar"] valueForKeyPath:@"foregroundView"] subviews];

    // 保存网络状态
    NetworkStates states = NetworkStatesNone;
    for (id child in subviews) {
        if ([child isKindOfClass:NSClassFromString(@"UIStatusBarDataNetworkItemView")]) {
            //获取到状态栏码
            int networkType = [[child valueForKeyPath:@"dataNetworkType"] intValue];
            switch (networkType) {
                case 0:
                    //无网模式
                    states = NetworkStatesNone;
                    break;
                case 1:
                    states = NetworkStates2G;
                    break;
                case 2:
                    states = NetworkStates3G;
                    break;
                case 3:
                    states = NetworkStates4G;
                    break;
                case 5:
                    states = NetworkStatesWIFI;
                    break;
                default:
                    break;
            }
        }
    }

    //根据状态选择
    return states;
}

tip2: 登录模块

万一您多运转五回就会发觉,
登录模块背景中播放的录像是二个摄像每一回随机播放一个的.并且是最最重复的,
约等于说只要你直接呆着登录界面, 就会单摄像循环播放当下的录像.
那儿的登录只是多少个按钮, 没有具体的报到逻辑,
随便点哪2个按钮都能够进来首页.大家需求监听摄像, 是或不是播放完毕.

// 监听视频是否播放完成
[[NSNotificationCenter defaultCenter] addObserver:self selector:@selector(didFinish) name:IJKMPMoviePlayerPlaybackDidFinishNotification object:nil];

// 如果播放完成了, 让IJKFFMoviePlayerController再次play即可
- (void)didFinish
{
    // 播放完之后, 继续重播
    [self.player play];
}

tip3: 首页

首页

那种效能相信广大人都看到过可能做过.我归纳说一下作者的做法(不肯定是顶级的,
只是提供1个思路)

1个父控制器HomeViewController+多个子控制器(最热/最新/关怀.
每种控制器各自管理自个儿的事体逻辑, 高内聚低耦合).
重写HomeViewController的loadView, 将self.view替换来UIScrollView.
将几个子控制器的view添加到UIScrollView上即可. 其余的意义落到实处,
请参照作者的代码, 都有详尽的普通话注释.tip4: 直播(面向观者端)

其一是全体项目标根本之一了.这种直播的布局, 应该是比较主流的了.
小编下载的成都百货上千直播类APP都以以此项目布局,
包蕴YY也是那种界面布局.这些里面涉及的东西相比较多了, 三言两语真说不清.

大概说一下业已完结的法力:A: 主播的直播

B: 关联主播的摄像直播, 暗中同意是唯有界面, 没有动静的.
点击该视图能够切换来此主播

C: 下拉切换另叁个主播, 这一个作用是很宽泛的.
做法是直播控制器是叁个UICollectionViewController, 唯有1个cell,
且cell.frame正是self.collectionViewb.bounds. 大家进入直播控制器的时候,
其实是传进去二个关乎主播数组, 每一遍下拉的时候, 就加载数组里面包车型客车主播

D. 查看观者席的观众详情

E. 查看主播详情

F. 足迹: 粒子动画, 前面详解

G. 弹幕: 点击最下方的工具栏第二个按钮能够打开/关闭弹幕, 前面详解

…tip5: 粒子动画达成旅客足迹

粒子动画的layer是丰裕到播放器的view下边包车型客车. 上面代码有详尽的注明

CAEmitterLayer *emitterLayer = [CAEmitterLayer layer];

// 发射器在xy平面的中心位置
emitterLayer.emitterPosition = CGPointMake(self.moviePlayer.view.frame.size.width-50,self.moviePlayer.view.frame.size.height-50);

// 发射器的尺寸大小
emitterLayer.emitterSize = CGSizeMake(20, 20);

// 渲染模式
emitterLayer.renderMode = kCAEmitterLayerUnordered;

// 开启三维效果
// _emitterLayer.preservesDepth = YES;

NSMutableArray *array = [NSMutableArray array];

// 创建粒子
for (int i = 0; i<10; i++) {
    // 发射单元
    CAEmitterCell *stepCell = [CAEmitterCell emitterCell];

    // 粒子的创建速率,默认为1/s
    stepCell.birthRate = 1;

    // 粒子存活时间
    stepCell.lifetime = arc4random_uniform(4) + 1;

    // 粒子的生存时间容差
    stepCell.lifetimeRange = 1.5;

    // 颜色
    // fire.color=[[UIColor colorWithRed:0.8 green:0.4 blue:0.2 alpha:0.1]CGColor];
    UIImage *image = [UIImage imageNamed:[NSString stringWithFormat:@"good%d_30x30", i]];

    // 粒子显示的内容
    stepCell.contents = (id)[image CGImage];

    // 粒子的名字
    // [fire setName:@"step%d", i];

    // 粒子的运动速度
    stepCell.velocity = arc4random_uniform(100) + 100;

    // 粒子速度的容差
    stepCell.velocityRange = 80;

    // 粒子在xy平面的发射角度
    stepCell.emissionLongitude = M_PI+M_PI_2;;

    // 粒子发射角度的容差
    stepCell.emissionRange = M_PI_2/6;

    // 缩放比例
    stepCell.scale = 0.3;

    [array addObject:stepCell];
}

emitterLayer.emitterCells = array;
[self.moviePlayer.view.layer insertSublayer:emitterLayer below:self.catEarView.layer];

tip6: 弹幕

弹幕使用的也是一个第一方轮子BarrageRenderer .
这么些开源项指标文书档案都以普通话的, 用法也是很粗略的.

宗旨配备

_renderer = [[BarrageRenderer alloc] init];

// 设置弹幕的显示区域. 基于父控件的.
_renderer.canvasMargin = UIEdgeInsetsMake(ALinScreenHeight * 0.3, 10, 10, 10);
[self.contentView addSubview:_renderer.view];

弹幕配置

#pragma mark - 弹幕描述符生产方法
/// 生成精灵描述 - 过场文字弹幕
- (BarrageDescriptor *)walkTextSpriteDescriptorWithDirection:(NSInteger)direction
{
    BarrageDescriptor * descriptor = [[BarrageDescriptor alloc]init];
    descriptor.spriteName = NSStringFromClass([BarrageWalkTextSprite class]);
    descriptor.params[@"text"] = self.danMuText[arc4random_uniform((uint32_t)self.danMuText.count)];
    descriptor.params[@"textColor"] = Color(arc4random_uniform(256), arc4random_uniform(256), arc4random_uniform(256));
    descriptor.params[@"speed"] = @(100 * (double)random()/RAND_MAX+50);
    descriptor.params[@"direction"] = @(direction);
    descriptor.params[@"clickAction"] = ^{
        UIAlertView *alertView = [[UIAlertView alloc]initWithTitle:@"提示" message:@"弹幕被点击" delegate:nil cancelButtonTitle:@"取消" otherButtonTitles:nil];
        [alertView show];
    };

    return descriptor;
}

最终一步, 千万要记得start

[_renderer start];

tip7: 智能美颜作用

今日的直播平台, 美颜是标配.
不然绝当先50%的主播都是无奈看的.美颜算法须求用到GPU编制程序,
必要懂图像处理的人. 图像处理这一块笔者不是很熟谙,
相关的文献也是看得云里雾里的. 所以, 还是采用开源的车轮: GPUImage .
这些开源框架有近1.3W+star(八月三日数码), 真不是盖的, 内置125种滤镜效果,
没有你想不到, 只有你不会用. 作者的品种中都有详尽的用法, 依旧很简短的.
在此处摘抄一份其.h文件的注释. 一方面方便咱们修改小编项目中的美颜效能,
另一方面也是做个备份.(具体出处自个儿真忘了, 假若有人找到了源地址链接,
能够联系自个儿加上)

#import "GLProgram.h"
// Base classes
#import "GPUImageOpenGLESContext.h"
#import "GPUImageOutput.h"
#import "GPUImageView.h"
#import "GPUImageVideoCamera.h"
#import "GPUImageStillCamera.h"
#import "GPUImageMovie.h"
#import "GPUImagePicture.h"
#import "GPUImageRawDataInput.h"
#import "GPUImageRawDataOutput.h"
#import "GPUImageMovieWriter.h"
#import "GPUImageFilterPipeline.h"
#import "GPUImageTextureOutput.h"
#import "GPUImageFilterGroup.h"
#import "GPUImageTextureInput.h"
#import "GPUImageUIElement.h"
#import "GPUImageBuffer.h"
// Filters
#import "GPUImageFilter.h"
#import "GPUImageTwoInputFilter.h"
#pragma mark - 调整颜色 Handle Color
#import "GPUImageBrightnessFilter.h" //亮度
#import "GPUImageExposureFilter.h" //曝光
#import "GPUImageContrastFilter.h" //对比度
#import "GPUImageSaturationFilter.h" //饱和度
#import "GPUImageGammaFilter.h" //伽马线
#import "GPUImageColorInvertFilter.h" //反色
#import "GPUImageSepiaFilter.h" //褐色(怀旧)
#import "GPUImageLevelsFilter.h" //色阶
#import "GPUImageGrayscaleFilter.h" //灰度
#import "GPUImageHistogramFilter.h" //色彩直方图,显示在图片上
#import "GPUImageHistogramGenerator.h" //色彩直方图
#import "GPUImageRGBFilter.h" //RGB
#import "GPUImageToneCurveFilter.h" //色调曲线
#import "GPUImageMonochromeFilter.h" //单色
#import "GPUImageOpacityFilter.h" //不透明度
#import "GPUImageHighlightShadowFilter.h" //提亮阴影
#import "GPUImageFalseColorFilter.h" //色彩替换(替换亮部和暗部色彩)
#import "GPUImageHueFilter.h" //色度
#import "GPUImageChromaKeyFilter.h" //色度键
#import "GPUImageWhiteBalanceFilter.h" //白平横
#import "GPUImageAverageColor.h" //像素平均色值
#import "GPUImageSolidColorGenerator.h" //纯色
#import "GPUImageLuminosity.h" //亮度平均
#import "GPUImageAverageLuminanceThresholdFilter.h" //像素色值亮度平均,图像黑白(有类似漫画效果)
#import "GPUImageLookupFilter.h" //lookup 色彩调整
#import "GPUImageAmatorkaFilter.h" //Amatorka lookup
#import "GPUImageMissEtikateFilter.h" //MissEtikate lookup
#import "GPUImageSoftEleganceFilter.h" //SoftElegance lookup
#pragma mark - 图像处理 Handle Image
#import "GPUImageCrosshairGenerator.h" //十字
#import "GPUImageLineGenerator.h" //线条
#import "GPUImageTransformFilter.h" //形状变化
#import "GPUImageCropFilter.h" //剪裁
#import "GPUImageSharpenFilter.h" //锐化
#import "GPUImageUnsharpMaskFilter.h" //反遮罩锐化
#import "GPUImageFastBlurFilter.h" //模糊
#import "GPUImageGaussianBlurFilter.h" //高斯模糊
#import "GPUImageGaussianSelectiveBlurFilter.h" //高斯模糊,选择部分清晰
#import "GPUImageBoxBlurFilter.h" //盒状模糊
#import "GPUImageTiltShiftFilter.h" //条纹模糊,中间清晰,上下两端模糊
#import "GPUImageMedianFilter.h" //中间值,有种稍微模糊边缘的效果
#import "GPUImageBilateralFilter.h" //双边模糊
#import "GPUImageErosionFilter.h" //侵蚀边缘模糊,变黑白
#import "GPUImageRGBErosionFilter.h" //RGB侵蚀边缘模糊,有色彩
#import "GPUImageDilationFilter.h" //扩展边缘模糊,变黑白
#import "GPUImageRGBDilationFilter.h" //RGB扩展边缘模糊,有色彩
#import "GPUImageOpeningFilter.h" //黑白色调模糊
#import "GPUImageRGBOpeningFilter.h" //彩色模糊
#import "GPUImageClosingFilter.h" //黑白色调模糊,暗色会被提亮
#import "GPUImageRGBClosingFilter.h" //彩色模糊,暗色会被提亮
#import "GPUImageLanczosResamplingFilter.h" //Lanczos重取样,模糊效果
#import "GPUImageNonMaximumSuppressionFilter.h" //非最大抑制,只显示亮度最高的像素,其他为黑
#import "GPUImageThresholdedNonMaximumSuppressionFilter.h" //与上相比,像素丢失更多
#import "GPUImageSobelEdgeDetectionFilter.h" //Sobel边缘检测算法(白边,黑内容,有点漫画的反色效果)
#import "GPUImageCannyEdgeDetectionFilter.h" //Canny边缘检测算法(比上更强烈的黑白对比度)
#import "GPUImageThresholdEdgeDetectionFilter.h" //阈值边缘检测(效果与上差别不大)
#import "GPUImagePrewittEdgeDetectionFilter.h" //普瑞维特(Prewitt)边缘检测(效果与Sobel差不多,貌似更平滑)
#import "GPUImageXYDerivativeFilter.h" //XYDerivative边缘检测,画面以蓝色为主,绿色为边缘,带彩色
#import "GPUImageHarrisCornerDetectionFilter.h" //Harris角点检测,会有绿色小十字显示在图片角点处
#import "GPUImageNobleCornerDetectionFilter.h" //Noble角点检测,检测点更多
#import "GPUImageShiTomasiFeatureDetectionFilter.h" //ShiTomasi角点检测,与上差别不大
#import "GPUImageMotionDetector.h" //动作检测
#import "GPUImageHoughTransformLineDetector.h" //线条检测
#import "GPUImageParallelCoordinateLineTransformFilter.h" //平行线检测
#import "GPUImageLocalBinaryPatternFilter.h" //图像黑白化,并有大量噪点
#import "GPUImageLowPassFilter.h" //用于图像加亮
#import "GPUImageHighPassFilter.h" //图像低于某值时显示为黑
#pragma mark - 视觉效果 Visual Effect
#import "GPUImageSketchFilter.h" //素描
#import "GPUImageThresholdSketchFilter.h" //阀值素描,形成有噪点的素描
#import "GPUImageToonFilter.h" //卡通效果(黑色粗线描边)
#import "GPUImageSmoothToonFilter.h" //相比上面的效果更细腻,上面是粗旷的画风
#import "GPUImageKuwaharaFilter.h" //桑原(Kuwahara)滤波,水粉画的模糊效果;处理时间比较长,慎用
#import "GPUImageMosaicFilter.h" //黑白马赛克
#import "GPUImagePixellateFilter.h" //像素化
#import "GPUImagePolarPixellateFilter.h" //同心圆像素化
#import "GPUImageCrosshatchFilter.h" //交叉线阴影,形成黑白网状画面
#import "GPUImageColorPackingFilter.h" //色彩丢失,模糊(类似监控摄像效果)
#import "GPUImageVignetteFilter.h" //晕影,形成黑色圆形边缘,突出中间图像的效果
#import "GPUImageSwirlFilter.h" //漩涡,中间形成卷曲的画面
#import "GPUImageBulgeDistortionFilter.h" //凸起失真,鱼眼效果
#import "GPUImagePinchDistortionFilter.h" //收缩失真,凹面镜
#import "GPUImageStretchDistortionFilter.h" //伸展失真,哈哈镜
#import "GPUImageGlassSphereFilter.h" //水晶球效果
#import "GPUImageSphereRefractionFilter.h" //球形折射,图形倒立
#import "GPUImagePosterizeFilter.h" //色调分离,形成噪点效果
#import "GPUImageCGAColorspaceFilter.h" //CGA色彩滤镜,形成黑、浅蓝、紫色块的画面
#import "GPUImagePerlinNoiseFilter.h" //柏林噪点,花边噪点
#import "GPUImage3x3ConvolutionFilter.h" //3x3卷积,高亮大色块变黑,加亮边缘、线条等
#import "GPUImageEmbossFilter.h" //浮雕效果,带有点3d的感觉
#import "GPUImagePolkaDotFilter.h" //像素圆点花样
#import "GPUImageHalftoneFilter.h" //点染,图像黑白化,由黑点构成原图的大致图形
#pragma mark - 混合模式 Blend
#import "GPUImageMultiplyBlendFilter.h" //通常用于创建阴影和深度效果
#import "GPUImageNormalBlendFilter.h" //正常
#import "GPUImageAlphaBlendFilter.h" //透明混合,通常用于在背景上应用前景的透明度
#import "GPUImageDissolveBlendFilter.h" //溶解
#import "GPUImageOverlayBlendFilter.h" //叠加,通常用于创建阴影效果
#import "GPUImageDarkenBlendFilter.h" //加深混合,通常用于重叠类型
#import "GPUImageLightenBlendFilter.h" //减淡混合,通常用于重叠类型
#import "GPUImageSourceOverBlendFilter.h" //源混合
#import "GPUImageColorBurnBlendFilter.h" //色彩加深混合
#import "GPUImageColorDodgeBlendFilter.h" //色彩减淡混合
#import "GPUImageScreenBlendFilter.h" //屏幕包裹,通常用于创建亮点和镜头眩光
#import "GPUImageExclusionBlendFilter.h" //排除混合
#import "GPUImageDifferenceBlendFilter.h" //差异混合,通常用于创建更多变动的颜色
#import "GPUImageSubtractBlendFilter.h" //差值混合,通常用于创建两个图像之间的动画变暗模糊效果
#import "GPUImageHardLightBlendFilter.h" //强光混合,通常用于创建阴影效果
#import "GPUImageSoftLightBlendFilter.h" //柔光混合
#import "GPUImageChromaKeyBlendFilter.h" //色度键混合
#import "GPUImageMaskFilter.h" //遮罩混合
#import "GPUImageHazeFilter.h" //朦胧加暗
#import "GPUImageLuminanceThresholdFilter.h" //亮度阈
#import "GPUImageAdaptiveThresholdFilter.h" //自适应阈值
#import "GPUImageAddBlendFilter.h" //通常用于创建两个图像之间的动画变亮模糊效果
#import "GPUImageDivideBlendFilter.h" //通常用于创建两个图像之间的动画变暗模糊效果
#pragma mark - 尚不清楚
#import "GPUImageJFAVoroniFilter.h"
#import "GPUImageVoroniConsumerFilter.h"

tip8: H264硬编码

假设利用ijkplayer 使用硬解码, 一句代码即可.

// 开启硬解码
[option setPlayerOptionValue:@"1" forKey:@"videotoolbox"];

硬编码的应用场景: 我们要将主播的录像数据传送给服务器

因而水墨画头来收集图像,然后将募集到的图像,通过硬编码的情势开始展览编码,最终编码后的数额将其构成成H264的码流通过互连网传遍。摄像头采集图像,
iOS系统提供了AVCaptureSession来收集摄像头的图像数据. 项目中自作者是间接动用
GPUImage 中的GPUImageVideoCamera, 直接设置GPUImageVideoCamera的代办即可,
在其代理方法-
(void)willOutputSampleBuffer:(CM萨姆pleBufferRef)sampleBuffer;进行数据编码即可.

牢记一点:
不管是系统自带的AVCaptureSession依然GPUImageVideoCamera采集到的数码都以未通过编码的CMSampleBuffer.然后将采访到的多少,
用iOS开放的VideoToolbox实行硬编码. 关于VideoToolbox硬编解码网上海人民广播电视台湾大学学科,
当然最好是看Apple的法定文书档案, 要是只是硬编码, 看小编的品类即可.

要害的编码函数(来自YOLO直播管事人的开源项目 BeautifyFace德姆o )

void didCompressH264(void *outputCallbackRefCon, void *sourceFrameRefCon, OSStatus status, VTEncodeInfoFlags infoFlags, CMSampleBufferRef sampleBuffer )

{
    if (status != 0) return;
    // 采集的未编码数据是否准备好
    if (!CMSampleBufferDataIsReady(sampleBuffer))
    {
        NSLog(@"didCompressH264 data is not ready ");
        return;
    }

    ALinH264Encoder* encoder = (__bridge ALinH264Encoder*)outputCallbackRefCon;
    bool keyframe = !CFDictionaryContainsKey((CFArrayGetValueAtIndex(CMSampleBufferGetSampleAttachmentsArray(sampleBuffer, true), 0)), kCMSampleAttachmentKey_NotSync);
    if (keyframe) // 关键帧
    {
        CMFormatDescriptionRef format = CMSampleBufferGetFormatDescription(sampleBuffer);
        size_t sparameterSetSize, sparameterSetCount;
        const uint8_t *sparameterSet;
        OSStatus statusCode = CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 0, &sparameterSet, &sparameterSetSize, &sparameterSetCount, 0 );
        if (statusCode == noErr)
        {
            size_t pparameterSetSize, pparameterSetCount;
            const uint8_t *pparameterSet;
            OSStatus statusCode = CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 1, &pparameterSet, &pparameterSetSize, &pparameterSetCount, 0 );
            if (statusCode == noErr)
            {
                encoder->sps = [NSData dataWithBytes:sparameterSet length:sparameterSetSize];
                encoder->pps = [NSData dataWithBytes:pparameterSet length:pparameterSetSize];
                NSLog(@"sps:%@ , pps:%@", encoder->sps, encoder->pps);
            }
        }
    }

    CMBlockBufferRef dataBuffer = CMSampleBufferGetDataBuffer(sampleBuffer);
    size_t length, totalLength;
    char *dataPointer;
    OSStatus statusCodeRet = CMBlockBufferGetDataPointer(dataBuffer, 0, &length, &totalLength, &dataPointer);

    if (statusCodeRet == noErr) {
        size_t bufferOffset = 0;
        static const int AVCCHeaderLength = 4;
        while (bufferOffset < totalLength - AVCCHeaderLength)
        {
            uint32_t NALUnitLength = 0;
            memcpy(&NALUnitLength, dataPointer + bufferOffset, AVCCHeaderLength);
            NALUnitLength = CFSwapInt32BigToHost(NALUnitLength);
            NSData *data = [[NSData alloc] initWithBytes:(dataPointer + bufferOffset + AVCCHeaderLength) length:NALUnitLength];
            bufferOffset += AVCCHeaderLength + NALUnitLength;
            NSLog(@"sendData-->> %@ %lu", data, bufferOffset);
        }
    }
}

相关文章