Lichtfeld-Kamera von Lytro: ohne Auslöseverzögerung 3D-Fotos knipsen, später fokussie

[OpticalFlow]

Ach da faellt mir noch ein, eine deutsche Firma in Kiel hat das schon seit einer Weile fuer industrielle Anwendungen umgesetzt:

http://raytrix.de/index.php/R11.html

(mit schoenem Zeiss-Objektiv)
Da bekommt man dann auch Daten was die Aufloesung betrifft. Bei einem 10 MPixel 35mm-Formatsensor bleiben effektiv 3MP uebrig.

[tho]

Ein Witz. Technisch machbar, also wird es gemacht, praktischer Wert gleich Null. Danke.

Wie schön es ist, durch einen Sucher zu blicken und mit einem Drehen am Fokusring die Schärfe VOR dem Auslösen zu setzen, herrlich. Der Massenmarkt benötigt doch eh keine Unschärfeebene und Liebhaber oder Profis werden wohl nicht noch mal Zeit für ein Foto investieren, um nachträglich die Schärfe/Unschärfe zu setzen.

Wißt Ihr was, während die Early Adopters jetzt ihre Schärfe setzen, werd ich meinen Kücheboden wischen.

[CChris]

@OpticalFlow:
Das Raytrix-Produkt ist interessant, denn es liefert wichtige Vergleichsdaten. Und es zeigt, dass sich offensichtlich schon so einiges mit den heutigen Technologien anstellen lässt.

Die Zahl von nur 30 verschiedenen Tiefeebenen (bis zu 100) macht schon mal klar, dass es kein perfekter 3D-Effekt realisierbar ist. Ich nehme an, dass bei weniger Tiefenebenen u.a. auch die Qualität des am PC berechneten Bokeh leidet, aber eben auch die Datenmenge deutlich kleiner wird.

Am bemerkenswertesten ist aber die Serienbildfrequenz. Dass die Kamera mit Gigabit-Lan 'nur' 6 Bilder / Sekunde schafft, scheint ja eindeutig an der Limitierung durch die Datenübertragung zu liegen. Je nach Kodierung macht das grob 17 MB/Bild, da insgesamt 100MB pro Sekunde in eine Richtung übertragbar sind.

Offensichtlich setzt Raytrix bei seinen Tiefenbildern bereits verlustbehaftete Kompression ein - ein normales unkomprimiertes 2D-Pixelbild mit 3 Megapixel hätte nämlich bereits 9 Megabytes (3 Millionen Pixel x 3 Farben x 8 Bit pro Farbe), und ich frage mich, wie man in die 'verbleibenden' 8 Megabytes sämtliche Tiefeninformationen hinein bekommen soll, wenn man nirgendwo Kompression einsetzt.

Das heißt aber auch, dass Raytrix es schafft, mindestens 30 Tiefebenen bei 3 Megapixeln im Dauerbetrieb und ohne Tricks wie Zwischenspeicherung / aufwendige kameraseitige Berechnungen zu liefern. So wie ich das sehe, heißt das also indirekt: mit den richtigen Sensoren (!) wäre auch min. 1 15Megapixel-3D-Bild pro Sekunde drin.
Damit hätte ich nicht gerechnet. Auf der anderen Seite: eine vergleichbare Kamera wird für Endanwender sicher um einiges teurer werden als die Lytro-Kamera. Großer Sensor, professionelle Datenverarbeitung mit GPGPU, Kamerabajonett, Serienbildfunktion: das klingt alles sehr teuer, und das Zeiss-Objektiv unterstützt den Eindruck nur. Dann doch lieber eine 5D und einige L-Objektive davor


Was bisher noch keiner angesprochen hat: wäre es nicht theoretisch möglich, Bilder mit vielen Tiefeebenen per Software einen guten Shift/Tilt-Look zu verleihen?

[OpticalFlow]

@OpticalFlow:

Offensichtlich setzt Raytrix bei seinen Tiefenbildern bereits verlustbehaftete Kompression ein - ein normales unkomprimiertes 2D-Pixelbild mit 3 Megapixel hätte nämlich bereits 9 Megabytes (3 Millionen Pixel x 3 Farben x 8 Bit pro Farbe), und ich frage mich, wie man in die 'verbleibenden' 8 Megabytes sämtliche Tiefeninformationen hinein bekommen soll, wenn man nirgendwo Kompression einsetzt.

Was bisher noch keiner angesprochen hat: wäre es nicht theoretisch möglich, Bilder mit vielen Tiefeebenen per Software einen guten Shift/Tilt-Look zu verleihen?

Das bei GigE die Datenrate die Framerate begrenzt stimmt, das sieht man auch daran, dass sich mit Kameralink 10 FPS erreichen lassen.

Deine Rechnung stimmt so allerdings nicht. Lies mal genau. Die Kamera hat einen 10,7 Megapixel Sensor. Wenn man mit 8 Bit pro Pixel (bpp) arbeitet, muss man also 10,7 Mbyte uebertragen, bei 12 Bit entsprechend mehr, je nachdem ob man die 12 bit als 2 Byte (16 Bit) oder gepackt uebertraegt.

Die ganze Tiefenberechnung passiert am angeschlossenen Rechner. Ebenso das Debayering bei einem Farbsensor (ein 10,7 Mpixel Farb-CCD hat keine 32,1 Mpixel).

Das mit dem Tilt-Shift ist eine gute Idee, ich muss mir mal die Arbeit von Ren Ng nochmal genauer durchlesen. Wenn das geht waere es ein gutes Paper fuer eine Grafikkonferenz.

[CChris]

@OpticalFlow:
Du hast wahrscheinlich recht, Raytrix hat die komplette Bildverarbeitung auf den angeschlossenen Rechner mit der GPGPU als Hauptberechnungseinheit ausgelagert.
Somit fallen die erwähnten Limitierungen von Speicherkarten und die hohen Kosten für speziell entwickelte FPGAs schon mal weg und das System ist einfacher aufrüstbar.
(Nur eben nicht transportabel, falls man die Bilder unterwegs auch ansehen will.)

Ohne die Hochrechnung von den einzelnen 8 - 12 Bit Pixeln einer Farbe im Bayer-Sensor haben wir pro Bild 10,7 Megabyte (8 Bit) oder 16,0 Megabyte (12 Bit), was einem normalen DSLR-Bild ohne Debayering und Postprocessing/Kompression entspricht. Diese lassen sich, wie man von heutigen DSLRs weiß, problemlos speichern und übertragen.
Benötigt wird nur ein spezielles Mikrolinsen-Array (?) vor dem Sensor, damit eine Kamera solche Bilder aufnehmen kann.

Stimmt das soweit? Mir kommt das bisher nämlich irgendwie zu einfach vor, vor allem der Teil mit dem Sensor, und deshalb auch der Teil mit der Datenmenge

Was jedoch klar ist: die benötigte Rechenpower für die Entwicklung der Bilder in einen Kamerabody mit Batteriebetrieb zu quetschen wird eine ordentliche Herausforderung.

Schließlich braucht man momentan noch ein NVIDIA GTX 580-Rechenmonster benötigt wird. Denn das Ding will bis zu 300 Watt ;D
Und ob selbst eine GTX 580 die Verarbeitung der Bilder in 'Echtzeit' schafft, ist auch nicht ganz klar..

[OpticalFlow]

@OpticalFlow:

Benötigt wird nur ein spezielles Mikrolinsen-Array (?) vor dem Sensor, damit eine Kamera solche Bilder aufnehmen kann.

Stimmt das soweit? Mir kommt das bisher nämlich irgendwie zu einfach vor, vor allem der Teil mit dem Sensor, und deshalb auch der Teil mit der Datenmenge

Was jedoch klar ist: die benötigte Rechenpower für die Entwicklung der Bilder in einen Kamerabody mit Batteriebetrieb zu quetschen wird eine ordentliche Herausforderung.

Das mit dem Mikrolinsenarray stimmt soweit, im Prinzip ist das alles was benoetigt wird - es laesst sich aber auch auf andere Arten realisieren. Vorgestellt wurde das Hardwareprinzip schon vor etlichen Jahren in diesem recht zugaenglichen Artikel hier: http://citeseer.ist.psu.edu/viewdoc/...10.1.1.53.7845 (Downloadlink ist rechts oben). Da wurde aber an Refokusieren als moeglich Anwendung noch nicht gedacht.

Ich denke auch nicht, das Raytrix die Kameras selbst baut - ich vermute, die werden Kameras fuer die industrielle Bildverabeitung von einem Dritthersteller einkaufen und ihr Mikrolinsenarray auf den Sensor montieren.
Wegen der Rechenleistung. Die Komplexitaet des Algorithmus haengt vermutlich davon ab, was man machen moechte: "refokussieren" oder eine Tiefenkarte erstellen. Die Lytro-Kamera macht ja "nur" das Erste, und ich weiss nicht ob das auch in der Kamera passiert (vermutlich ja - was darauf schliessen laesst, dass das Implementieren des Algorithmus in Hardware mittels custom-chip eine der wesentlichen Entwicklungen von Lytro ist).

[Padiej]

D O F - Lomo !

Hilfe!

[Padiej]

Ich habe mir viele Samples angesehen. Wenn ein wenig mehr Auflösung da wäre, wäre das eine nette Kamera. Ich sehe auch die Möglichkeit, 3D Bilder mit dieser Technik ohne Stereolinse zu machen.
Von der Idee her ist dieses System ein Hammer. Mal sehen, was daraus wird.
Ich denke da auch ans Filmen.