访问ARCore中的图像数据字节

我创建了一个ARCore Session并通过Session#setCameraTextureName方法附加了一个OpenGL纹理id来显示我的相机数据。 我想访问纹理上显示的摄像机图像数据字节。

ARKit和Tango提供对每个帧的图像字节的访问,但似乎在ARCore API中没有任何容易提供的东西。

使用ARCore时,还有其他方法可以访问图像字节吗?

也许这可以帮助你我想以位图forms获取相机视图。 我在三星s8上测试过。

int w=1080; int h = 2220; int b[]=new int[w*(0+h)]; int bt[]=new int[w*h]; IntBuffer ib = IntBuffer.wrap(b); ib.position(0); GLES20.glReadPixels(0, 0, w, h, GLES20.GL_RGBA, GLES20.GL_UNSIGNED_BYTE, ib); for(int i=0, k=0; i>16)&0xff; int pr=(pix<<16)&0x00ff0000; int pix1=(pix&0xff00ff00) | pr | pb; bt[(hk-1)*w+j]=pix1; } } sb=Bitmap.createBitmap(bt, w, h, Bitmap.Config.ARGB_8888); 

目前,访问图像数据的最佳选择可能是将纹理绘制到渲染缓冲区并将glReadPixels用于持久映射像素解包缓冲区。 使用fence同步来检测glReadPixels何时完成。

另一种选择是使用计算着色器并直接写入持久映射的 SSBO。 (忽略持久映射的建议。我认为EXT_buffer_storage有更广泛的支持)

后者可能是更少的副本(即使你在glReadPixels之后使它无效,渲染缓冲像素仍然可以命中DRAM),但它也是一个不太常见的代码路径并导致渲染/计算转换所以我没有直觉关于哪种方法会更有效率。

从ARCore v1.1.0开始,有一个API可以访问当前帧的图像字节:

https://developers.google.com/ar/reference/java/com/google/ar/core/Frame.html#acquireCameraImage()