开源VR播放器解决方案调研整理

背景

如何快速构建VR播放器

调研

首选方案,寻找开源VR播放器。

移动平台

Google VR SDK

支持移动平台Android 和IOS,提供SDK供用户开发。
Google单独分离出一个SDK,除了方便应用开发者之外,主要的目的是用来把VR的一些核心算法隐藏起来,比如用来减少延迟的ATW异步时间扭曲算法就是被封装在这里.手机上面运行VR的时候一个最大的挑战就是延迟,当一副画面的延迟超过20MS,人就会感觉不舒服恶心,严重影响用户体验,一个好的VR产品都会尽量避免延迟。.
Google VR SDK应该是解决了ATW算法和多分辨率渲染等优化问题,然后新增了一个系统服务VrManagerService和 vr HAL层, 应用通过VrManagerService来设置系统进入VR模式,VrManagerService又是通过vr HAL层去实现具体模式的切换的。
虽然Google VR眼镜项目停止了,但是其提供的SDK仍然支持。
项目地址:
https://developers.google.com/vr

IOS quick start:
https://developers.google.com/cardboard/develop/ios/quickstart
Android NDK quick start
https://developers.google.com/cardboard/develop/c/quickstart

更新:
最新版的 Google VR SDK,称为Cardboard SDK
支持跨平台的VR体验。
The open source Cardboard SDK allows you to build immersive cross-platform VR experiences for Android and iOS.

With essential VR features such as motion tracking, stereoscopic rendering, and user interaction, you can build entirely new VR experiences or enhance existing apps that support VR.
项目最新地址:
https://developers.google.com/cardboard/develop

MD360Player4Android

开源地址:
https://github.com/ashqal/MD360Player4Android

特点:

  • OpenGLES 2.0 required
  • Android 4.0.3 (Ice Cream Sandwich API-15) required
  • Compatible with all Players which have setSurface api.
  • This library do nothing but render the image of video frame, so you may deal with the issues about MediaPlayer or IjkMediaPlayer (e.g. play local file, rtmp, hls) by yourself;
  • 这个库只负责视频帧画面的渲染,所有的视频文件播放、控制的工作都交给了MediaPlayer或者IjkMediaPlayer,你可能需要自己处理使用Player过程中出现的问题(比如播放本地文件、rtmp、hls).

xl_player

开源地址:
https://github.com/xl-player-developers/xl_player

特点:

  • XLPlayer除解封装(ffmpeg)和陀螺仪数据滤波(HeadTrecker)其他部分均使用Android原生api
  • 默认情况下使用MediaCodec(Android 硬解)->SurfaceTexture->OpenGL ES工作模式,性能优异,小米3也可以轻松播放4K VR视频
  • 支持各种流媒体和本地视频播放
  • 支持几乎所有的媒体封装格式,包括但不限于.mp4 .mkv .flv rtmp hls .webm .mov等
  • 支持音/视频播放,暂停,停止,seek,获取总时长,已播时长等播放器常用功能
  • H263/H264/H265/MPEG4/VP8/VP9 支持硬件加速(部分设备不支持H265 VP9)
  • 支持音频自适应最佳采样率播放
  • 支持音视频变速(0.5 2.0)不变调播放
  • 支持VR视频播放,VR视频模式动态切换(球模式、盒子模式、小行星模式、 建筑学模式、展开模式)
  • 球模式、盒子模式、建筑学模式支持陀螺仪控制
  • 盒子模式带有透镜畸变和色散的补偿
  • 支持播放时动态切换surface
  • 支持动态切换画面方向
  • 支持后台播放
  • 支持获取已缓存时长,当前帧率,当前下载速度
  • 支持视频本身自带rotation的旋转
  • 支持强制软解(默认自适应)
  • 支持列表播放
  • 支持设置缓存时长和大小

VR全景图+Opengl3D模型展示

支持VR全景图和OpenGL 3D模型展示
只有Android 平台

项目地址:
https://github.com/DrownCoder/VRShow
VR全景图

Opengl3D模型展示

功能:

  • 支持单指拖拽
  • 支持双指缩放
  • 支持触摸响应速度模式:LOW,NORMAL,FAST
  • 异步读取STL格式的3D文件
  • 支持进度回调
  • 支持单指拖动
  • 支持双指缩放
  • 支持陀螺仪传感器

ExoPlayer

google 开源vr视频播放器。
https://github.com/google/ExoPlayer

360 VR Player(IOS版本)

Open Source iOS 360 Degree Panorama Video Player.
https://github.com/hanton/HTY360Player

SGPlayer

A powerful media play framework for iOS, macOS, and tvOS.
https://github.com/libobjc/SGPlayer

其他开源VR播放器

https://github.com/wheat7/VRPlayer

https://github.com/Martin20150405/Pano360

VR技术核心

  • VR 核心技术体现在以下几个方面:
  • 全立体显示(3D 显示):包括反畸变算法、多图像处理
  • 运动追踪:利用陀螺仪 GyroscopeSensor 加速度计 G-Sensor 等来感应我们身体移动和头部转动
  • 输入设备:触摸板、手柄、无线体感设备、手势识别
    • 利用手柄的典型方案比如 HTC 的 Vive、Sony 的 PS VR;
    • 无线体感设备比如 雷射的 Hydra、Sixense 的 STEM;
    • 手势识别感应设备比如 Leap Motion 和 Nimble VR;
    • 具体哪种方式会成为未来 VR 的 “鼠标” 暂时还不明朗。
  • 开发工具:OpenGL 提供的 API、Unity3D 引擎 等;
  • VR开发层级
    • SDK层:主要目的是提高图像质量,降低图像延时。
    • Framework层:主要对声音和图形图像,功耗进行优化。
    • 底层:提高GPU图像渲染速度和DSP数据运算速度,实现低延时。
  • VR视频播放器最起码有这些基本功能:全景360度无死角,支持陀螺仪感应和手动拖动浏览视频。支持屏幕类型切换,支持单屏、双屏等

相关产品

的图VR

http://www.detu.com/
得图自主研发生产的Detu品牌消费及商用级VR全景相机为消费者、专业客户提供了硬件、软件解决方案等综合服务,Sphere 系列和Twin系列产品主要面向消费级市场,F4系列主要面向专业和行业市场,M系列主攻安防监控领域。得图为国内颇具规模的VR影像服务社区,已沉淀超50万个用户自主上传VR影像内容,得图为商业客户和开发者提供了云服务、SDK、开发者工具等。

UtoVR虚拟现实VR内容平台

提供免费SDK
https://www.utovr.com/sdk/download/
优土视真拥有核心自主研发的全景图片、全景视频的拼接技术、VR播放器技术、后期处理技术,能够提供VR制作、VR拍摄、VR直播、VR播放技术、VR内容分发等VR视频生产软硬件核心方案技术。为湖南卫视《香草源》、SMG《国民美少女》、《第一届VR&AR国际峰会》等大型综艺活动提供VR直播服务,并且是CNTV、第一视频、咪咕视频、浙江联通、天山云TV、环球世界小姐中国区大赛等200多家视频及网络电视台全景视频播放技术及VR拍摄服务提供商。

优土视真旗下运营的UtoVR虚拟现实播放器是支撑VR播放的VR视频播放器,并且不断快速迭代进步,国内率先支持全景视频语音弹幕,其核心投影模型能够节省50%的带宽,支撑H265编码等核心技术提高播放性能和节约带宽消耗,并且在交互和设计方面支持3D音效、热点购物、播放控制、硬件适配等核心关键技术。

目前UtoVR虚拟现实视频内容平台将会结合内容平台喜马拉雅FM及岭南园林全资子公司恒润科技的VR线下布局战略,发展成为线上虚拟现实内容四大板块:VR泛娱乐、VR旅游、VR运动为体系的深度内容板块,并提供硬件及软件一体化方案来扶持四大内容体系中的内容制作合作伙伴,一起打造具有深度交互及社交元素的新一代的视频内容平台体系。

UtoVR虚拟现实内容平台是目前国内用户最活跃的VR内容平台,每日活跃用户数达到几万人并快速增长中。

AVPro Video Unity Plugin(Unity 插件)

官网:http://renderheads.com/products/avpro-video/
AVPro视频是一个功能强大的插件统一,为开发人员提供一个易于使用的视频播放解决方案在多个平台上。AVPro视频最近被提名为一个联合资产存储奖。
AVPro Video is a powerful plugin for Unity that gives developers an easy-to-use video playback solution on multiple platforms. AVPro Video was recently nominated for a Unity Asset Store Award.

资源站

http://www.52vr.com/
https://unity.com/


文章作者: YUV420.COM
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 YUV420.COM !
评论
 上一篇
QT Creator编译配置汇总 QT Creator编译配置汇总
背景QT Creator 编译配置方法汇总。 Pro文件语法QT Creator的pro配置文件中也可添加各种编译前后的操作及配置,主要通过 QMAKE_POST_LINK和QMAKE_PRE_LINK; QMAKE_POST_LINK表
2020-01-14
下一篇 
YouTube双语字幕下载工具 YouTube双语字幕下载工具
背景如何下载youtube 上视频的双语字幕 调研如果只是在线观看双语字幕youtube视频,可以安装Chrome插件【youtube双字幕】效果非常好 但是很多情况,我们需要下载双语字幕。下面两个网址都可以支持双语字幕插件下载。 Du
2020-01-13
  目录