如何做VR虚拟主播实现左右3D立体视频给OBS和AR眼镜的方法
B站的XR饭
2023.02.26 21:21发布于玩法分享
2.51k13

视频地址 https://www.bilibili.com/video/BV13Y411C7sh/

现在2D虚拟主播技术已经很成熟了,3D视频时代随着苹果发布眼镜以及AIGC人工智能生成内容和模型马上就来,是时候看看如何实现3D虚拟主播了。

1.gif

 

现在实时渲染虚拟主播已经达到真人一样的效果。

2.gif

还能随时调光。

 

 

3.gif

一键更换任何场景装饰。

5.gif

一键换装,换发型换人。

6.gif

只要能想到的,都能放进虚拟空间,玩转光与影的魔法,以后AIGC生成更容易就是几句话的事。

  4.gif

做普通虚拟主播这样就是到天花板了,再往后就是立体3D的,本来以后也是都用眼镜看,一键就3D出屏了那谁还会看2D呢。

 

ar2.gif
屏里屏外,观看感受天上地下
现在有个思路实现左右3D视频主播的方法。


首先还是按照以前教程手机连nolo启动steamvr,打开steamvr的预览窗口,让obs能录到这个窗口,这样只要想办法让虚拟主播在这个窗口里出现就可以了。

这就要用到动捕技术,包括面部捕捉,动作捕捉等,软件硬件免费付费各种实现方法方法很多,理论上找能进vr的就可以。

这里用的道乐师无穿戴方案摄像头测试捕捉动作,有哪里弄不懂的基本上找这些提供专门软件硬件服务的都有全套实现方法教,这里就不细说如何配置了。

表情的话,可用苹果手机实现,例如live face可捕捉表情和头动作,live link face专门捕捉表情,这里用的live link face

 

link.jpg


那么这两个软件动作加表情放一起在vr用,就能实现基本的全身摄像头实时捕捉加实时渲染效果了。

 

7.gif
如果想要提高捕捉质量和视频效果,要用专门的带捕捉的头显和硬件软件,那样就无法用手机捕捉表情啦,这也是用nolo的原因。

 

首赞
收藏
手机查看
举报
13个评论
倒序看帖
仅看楼主
    夏达子不语
    2023.02.26 23:11 发布
    #1

    支持

    首赞
    评论
    举报
    Steeven
    2023.02.26 23:38 发布
    #2

    那个啥也能调大小?😜

    首赞
    评论
    举报
    B站的XR饭
    评论
    Steeven
    2023.02.27 03:17 发布
    作者
    以后捏人捏东西交给AI随便出。。。
    首赞
    评论
    举报
    齐鲁青未了
    2023.02.27 06:36 发布
    #3

    支持

    首赞
    评论
    举报
    你猜
    2023.02.27 06:54 发布
    #4

    👍

    首赞
    评论
    举报
    守望者
    2023.02.27 07:09 发布
    #5

    感谢分享

    首赞
    评论
    举报
    蓝天
    2023.02.27 07:30 发布
    #6

    顶一个

    首赞
    评论
    举报
    骄傲的小花
    2023.02.27 08:36 发布
    #7

    帮顶

    首赞
    评论
    举报
    远方
    2023.02.27 08:53 发布
    #8
    666
    首赞
    评论
    举报
    王四十三
    2023.02.27 10:35 发布
    #9
    ??莲妈头套?少侠你可是星际仓鼠
    首赞
    评论
    举报
    风清扬
    2023.02.27 13:11 发布
    #10

    首赞
    评论
    举报