What algorithm and implementation is desirable for building a stereo image based on leticular printing technology like Lumii?

Question

Image processing

spoiler

Существует очень старая технология получения стереоизображения - летикулярная/линзорастровая печать, когда одна картинка видна разной при просмотре на нее под разными углами, в этом случае изображение состоит сразу из нескольких, чередующихся тонкими полосками, а затем сверху этого изображения размещается серия таких же полос призм/линз, отвечающих за отображение нужной части изображения под своим углом.

В качестве частного случая, вместо линз можно использовать экран из тонких горизонтальных полосок, расположенный на небольшом расстоянии от картинки, таким образом чтобы при небольшой смене угла просмотра через него открывались только нужные части изображения. Недостаток - большая часть изображения экранирована.

В качестве развития этого метода с экраном, существуют алгоритмы, позволяющие рассчитать изображение и вид экрана попиксельно таким образом, чтобы оптимизировать результат, так как если мы хотим сделать стереоизображение, то соседние кадры будут сильно похожими а значит одинаковые писелы нет нужды экранировать.

Гугление навело на стартап Lumii, позволяют распечатать необходимые маски на обычном струйном принтере. Но найти информации про используемый ими алгоритм не получилось, хотя изначально говорилось что это проект mit.

A few years ago I read an article (most likely on Habré, but I can’t find it) the craftsmen opened up a 14 "monitor, removed the matrix from it, separated the color and polarization filter and carefully placed the resulting monochrome matrix (it turns out ~ 3 times higher resolution) on top of another monitor, leaving it in color. Then they developed an algorithm and software (by the way, they used a video card) that calculated the necessary image and a monochrome matrix so that a person in front of the resulting stereo monitor could see a stereo image without any additional glasses or devices.

I'm interested in this algorithm and, ideally, a ready-made implementation, perhaps She is somewhere gathering dust in the wilds of the Internet.

I would also like to read about the way they made a monochrome matrix from a monitor, how to remove the color filter without damaging the main matrix, what solvents they used, etc.

Answer 1

In the laboratory of the KGiM VMK MSU, we were engaged in similar activities - both printing lenticular images on paper and generating video for autostereoscopic monitors (we had 4 of them). The most difficult thing was to build high-quality angles from a mono image - the depth was taken from wherever possible - from motion analysis, focusing, some scenes were specially filmed with several cameras. Then a special scan of these frames was built into strips for lenses, and then a very accurate calibration and a complete lack of compression were required - such a five-minute video that we played at the booth of exhibitions weighed 200 gigs and was rendered almost a day before.
The topic is extremely voluminous and there are a lot of nuances. In real time, in those years, we didn’t get ice, the depth jumped, and there was clearly not enough power. I don’t know how things are now with this, I have not been in this lab for 5 years. Unfortunately, I can’t share the code, in any case I recommend taking an interest in the topic in PM and reading a series of articles from our lab on Habré https://habr.com/ru/users/3Dvideo/