Android 硬编码

掌握Android的硬编码，学习使用MediaCodec、MediaMuxer、MediaExtractor完成视频解码。重点是从android DSP芯片的角度了解哪些手机好，什么时候性能差，以及android上数字信号处理本质的性能测试分析。

Android音频架构从硬件到应用的兼容性测试分析

核心编码

1.视频文件分离操作（MP4文件通道提取）、视频信息帧获取、核心API源码分析

2.完成视频剪辑

3.使用MediaPlayAPI完成一个简陋的播放器

4、解码器及解码流程的整理和总结

5.完成多个视频的拼接合成（借助mp4parser）

6.使用MediaCodec记录绘制到Surface的一段数据

7、seek解码频繁失败的分析

8.完成视频指定位置的视频预览

编码和解码练习

目前，花椒已完成全站H265技术更换。主流技术主要是H264和H265。 Android从5.0开始支持HEVC硬解码。目前很多手机也支持，包括海思芯片。

https://x265.com/hevc-video-files/

核心编码

1.看毕厚杰老师的书

2.码流格式分析，C++完成NAL解析并输出

3. 解码原理

4.特殊芯片类型和可编程类型特性（丢帧）

5.开源视频编解码器（CODEC）

6、Android使用ffmpeg和MediaCodec解码h265裸流

7. OpenMAX学习、海思安全SDK参考、OpenMAX数据结构学习、构建学习、思想升华

8.MediaCodec API，完成视频H.264的硬编码和硬解码，并完成在Surface上的映射

9. 兼容性测试

网络RTC

完成WebRTCSDK的开发，主要需求和要做的事情如下：

NodeJS+java搭建后端会议室Nginx配置与优化1对1语音/视频、多对多语音/视频业务开发新增权限管理功能，支持摄像头切换、免提、静音监听、音视频切换（视频转音频）完成一个完整的VOIP流程（振铃、呼叫、拨号）SDK封装核心业务，暴露接口AGC、FEC等算法，优化FFmpeg

完成一个播放器SDK的开发后，考虑到项目的目的是学习知识，让项目与培训机构的demo不同，我希望它是有血有肉、商业化的，具有更丰富的架构考虑。我们实践的项目架构采用：NDK+OpenGLES+FFmpeg+OpenSLES作为基本主干架构，核心编解码全部用C++实现。

核心编码

1.设计模式的使用（门面+构建器+观察者+多线程生产和消费+环形缓冲区+.）

2.支持硬解和软解

3.支持网络流媒体4.支持NDK Neno功能

5.支持音频自动对焦、传感器方向切换、复杂手势支持、清晰度切换、无缝UI切换等。

6、Android使用ffmpeg和MediaCodec解码h265裸流

7.支持exoplayer内核

8.MediaCodec API，完成视频H.264的硬编码和硬解码，并完成在Surface上的映射

9、完成自己手动解码+线程管理+C实现Render

JNI使用的库：

GLESv2 EGL OpenSLES android avcodec avformat avutil swscale swresample opencv_java4 jnigraphicsOpenGL

主要目的是掌握OpenglES的基本编码例程，掌握类似于抖音的实时滤镜效果、贴纸、模型加载、美妆处理思路。这里我们不做算法，主要是在工程上实现算法工程师的算法。出来。

核心编码

1.《图像视频滤镜与人像美颜美妆算法详解》元旦读书提升基础理论

2.人脸姿态校正算法、红眼计算

3.腾讯TCNN人脸检测的学习和使用

4.美颜、贴纸、滤镜处理

5.AI深度学习算法仿真

RTMP推流

主要针对一些还在从事直播业务的企业的实际做法。 5年前我做过大量的直播项目，包括自研和使用七牛云、腾讯的SDK。我们这里主要关注的是编码，因为当你完成上面的项目后，剩下的就是合成音视频RTMP流数据并通过网络推送到服务器了。

核心编码

1、相机包装（卡顿、丢帧、角度问题）和视频录制

2.AAC音频编码

3. h264和aac合并成Rtmp

4. RTMP服务器搭建，使用Nginx完成

5.LibRtmp推流

通过对28家主流应用业务的分析，我们可以梳理出以下业务。这也是我们的目标和学习路径。通过对经典业务的研究、模拟、模仿，掌握常用的音视频框架、程序设计、功能设计等。以下是对主流业务的总结，稍后会补充到我们的编码实践中。

主流业务梳理

[爱奇艺] Android 视频点播播放时缓存解决方案。实现思路：socket读取http协议请求+本地代理通道。 【Clip】视频编辑工具实现思路：使用opengl，使用glsurfaceview托管渲染。 【优酷】Android HLS分段视频边下载边播放的实现思路：未知猜测是文件切割、多线程下载【抖音】直播即时开播优化方案实现思路：猜测应该是GOP播放+DNS预加载+ FIFO 【抖音】抖音的动效实现思路：shader编程实现【唱吧】视频裁剪、滤镜、特效、视频预览实现思路：没有使用FFmpeg。猜测是局部硬解。可以使用Android的本地硬解来处理[西瓜]视频]变速播放实现思路：FFmpeg中的libavfilter实现[魂]萝莉变声实现思路： Fmod VS SoundTouch 没时间逆向猜测是哪一种播放器架构设计实现使用

业务层面思考

MediaPlayer+SurfaceView+MediaController 来实现和扩展，或者Android可以用于UI层和业务逻辑控制，C可以用于解码，Surface可以用于数据播放。还可以集成三方库，实现多个库之间的切换。我们使用自己的编码和解码实现。