这是一个专门讨论 idea 的地方。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
quest3 透视看不清手机电脑上的文字，想到一个解决方案
metalvest · 2024-01-23 03:00:58 +08:00 via Android · 2741 次点击这是一个创建于 366 天前的主题，其中的信息可能已经有所发展或是发生改变。
手机电脑通过 app 配对自动连上头显，然后把虚拟屏幕内容投到真实屏幕的原位覆盖掉摄像头中的真实屏幕，看不清屏幕问题就不存在了。
也可以换一个思路解决看不清字的问题，摄像头捕捉到文字时通过 ocr 识别出文字内容，然后把内容用矢量字体覆盖显示在文字原来所在的地方。甚至可以出一个 app ，翻完一本书自动生成一个 pdf 的电子书。
不知道技术上有没有不可逾越的难关
 |
1
metalvest OP 不知道官方为什么不出一个畸变修正和摄像头分辨率增强的功能，不然透视功能真的完美了
|
 |
2
disorientatefree 2024-01-23 03:26:30 +08:00
@metalvest 摄像头就 400 万像素，还得是实时的，没办法争强啊
至于畸变修正，已经修正过一两轮了，现在至少看手机是方的。。。 OCR 的话怎么准确附上去又不影响 UI 是个挺困难的， 个人人为最好的办法是识别到了屏幕后直接串流， 但 Meta 不掌握手机平台啊，这件事 Vision Pro 应该能做（就和已经确认的 Mac 串流一样） Android 平台的话估计得靠之后三星+Google 那台 |
|
3
metalvest OP 另外有购买计划的要抓紧下手了，免费送的阿斯加德之怒 2 马上 27 日就要截止领取了，领不到立亏 60 刀。顺便附上推荐链接，激活前当天点这个链接才有效，你我都可以领 30 刀用来在商店买游戏。推荐购买节奏光剑，刚好 30 刀。
https://www.meta.com/referrals/link/perfectko |
|
4
metalvest OP @disorientatefree 主要是使用透视的时候算力基本空闲，而且外部景物以静止为主，应该有足够性能做算法类似 TTA 的通过历史数据进行的增强吧
|
|
5
metalvest OP @disorientatefree 手都能附上轮廓，屏幕这种简单的矩形应该更好跟踪识别吧？
|
|
7
disorientatefree 2024-01-23 03:49:16 +08:00
@metalvest 问题是现在延迟本就不理想，感觉现在图像增强不是一个优先考量啊
另外透视对 SoC 压力也不小吧，没记错的话开着透视跑分掉 30%+ 等下周测一下 VP （刚查了一下几个跑分软件都没有 opt out VP ，到时候可以大概猜一下多少工作交给 R1 了） |
|
8
metalvest OP @disorientatefree 又想到一个奇思妙想，用自带线连手机，把手机 GPU 当协处理器，不过这技术难关估计光靠 meta 自己的团队搞不定
|
|
9
disorientatefree 2024-01-23 04:28:15 +08:00
@metalvest 都连线了那还是串流更方便呀
用外部的处理器还是绕不开延迟问题，不考虑其他问题，光是视频流传给手机 GPU 这个延迟就不能忽略了 Quest3 没公布彩透的延迟，不过高通给的数据是最快处理器层面最快 12ms （ Quest 的 LED 屏还需要一点时间），VP 是 12ms ，除开屏幕刷新率带来的延迟，透视基本只有一两毫秒的处理时间呀 |
 |
10
weazord 2024-01-23 05:08:40 +08:00
@disorientatefree 不过个人体感 Quest3 的透视延迟至少应该是高于 30ms 的。。。
|
|
11
metalvest OP @disorientatefree 现在线连手机还不能串流的吧
|
|
12
disorientatefree 2024-01-23 06:02:07 +08:00
@metalvest 我的意思是如果想要解决手机屏幕看不清的问题，直接串流就好啦，相对最简单
|
|
13
disorientatefree 2024-01-23 06:02:36 +08:00
@weazord 有人说 80ms+， 确实延迟高得肉眼可见
|
 |
14
darktiny 2024-01-23 07:09:56 +08:00 via Android
sideload UVC APP ，买个便宜的 UVC 采集卡就解决了
|
 |
15
estk 2024-01-23 07:19:23 +08:00 via iPhone
据说 Vision Pro 可以看清手机屏幕
|
|
16
estk 2024-01-23 07:21:25 +08:00 via iPhone
@disorientatefree #13
打篮球的时候感觉明显，洗碗感觉还行 |
|
17
disorientatefree 2024-01-23 07:29:38 +08:00  1
|
 |
18
iloveoovx 2024-01-23 07:43:56 +08:00 2
各位不会以为 passthrough 就只是简单的把摄像头拍下的 raw feed 直接传给屏幕吧，当然了，如果你这么以为就已经忽略了很多东西，也说明了 meta 团队的牛逼，而不是上面说的什么插手机这种分体渲染搞不定。就这么说，Vision Pro 的基本就是照着 meta 这十年来搭起来的技术框架做的，苹果拿去重新整合然后靠供应链暴力叠参数而已，基本没看到什么技术实现的新思路
passthrough 的画面，可以粗略近似理解为通过摄像头计算出整个场景的 3D 模型，然后根据你双眼位置渲染出下一帧（所以才会出现近距离会畸变的情况）。同时还要做啥？ SLAM 计算出设备本身的位置，亚毫米精度，0.25°角度内误差，MTP 延迟极低，以及手柄跟踪，加手势识别。这叠甲叠得...关键是延迟和精度要求都非常要命，还要覆盖无数的光照条件，应对各种乱七八糟的场景。Meta 做到让你都意识不到这些技术实现有多硬核复杂，让你觉得“本应如此，算力应该是空闲的吧”然后在这异想天开 所以你还想在这上面做计算机视觉的 OCR😄？ |
 |
20
okakuyang 364 天前 via iPhone 1
@iloveoovx 你也是逆天的发想。透视根本不需要 3d 建模，也没那个算力 3d 建模了再给你映射回去。畸变矫正是广角摄像头的畸变，透视畸变，渲染畸变，镜片反射畸变。 自从 VR 透视流行起来后，看手机屏幕电脑屏幕就变成了必备的需求。avp 就能串流 mac 的屏幕，自然也能串流 iphone 的屏幕，这在以后是必然会出的。何况安卓那边更加开放，做这些东西更加有优势。 现存的唯一问题是，手机上录屏编码如果没有奇淫技巧，单纯调用系统 api 来编码发到其他设备会发热。这一点把普通开发者卡住了。
|
 |
21
wangshushu 364 天前
我计算过， 基本需要 4000 W 以上（标准拜耳排列）的摄像头，在阅读体验上才能达到真实世界的效果。打 6 折的话，也得 2400W ，现在基本没有 cmos ，有的话成本，功耗，都要非常高了。所以唯一的解决方案就是投屏。
|
 |
22
zhangsimon 364 天前
@wangshushu Apple 的是多少啊
|
|
25
iloveoovx 362 天前
@okakuyang
research.facebook.com/publications/passthrough-real-time-stereoscopic-view-synthesis-for-mobile-mixed-reality/ 没见识呢，并不是指没见过这东西，而是别人指出来了，还在这井底之蛙以为就认定是你认为的那样，硬列一堆什么自己生想出来的分类出来装样子 |
|
26
iloveoovx 362 天前
@zhangsimon 官方规格列出来是 stereoscopic 6.5m
|
Select Language