KI in der Kamera

[wallie]

Nachdem in einem anderen Faden Beiträge zu diesem Thema gelöscht wurden, mache ich hier mal einen neuen Strang auf um diesem Thema Raum zu geben.

Ich bin selber bisher  sehr ungebildet, was dieses Thema angeht, finde die Diskussion aber sehr spannend und würde mich freuen, wenn hier die Diskussion wieder aufflammt.

[wallie]

Die letzten Beiträge, die ich gelesen hatte, stellten Upscaling der Denoising Funktion gegenüber.

Als Laie würde ich vom Bauchgefühl auch eher Vorteile beim Enttäuschen sehen, da ich bisher keine Probleme mit der Auflösung in der 20 MP Sensorenklasse habe. Aber geht das Upscaling nur darum, künstlich eine größere Drückausgabe zu ermöglichen? Wie geoß ist die Wahrscheinlichkeit, dass der Algorithmus Details hinzu bastelt, die eigentlich gar nicht da sind?

[embe71]

vor 53 Minuten schrieb wallie:

Aber geht das Upscaling nur darum, künstlich eine größere Drückausgabe zu ermöglichen? Wie geoß ist die Wahrscheinlichkeit, dass der Algorithmus Details hinzu bastelt, die eigentlich gar nicht da sind?

Ja, bzw. halt generell eine Datei mit höherer Auflösung. Ob nun zum "Pixelpeepen", Croppen oder für Druck.

Die Wahrscheinlichkeit hängt von der Güte des Algos bzw. des verwendeten Modells ab.

bearbeitet 5. Juli von embe71

[KaiRo]

Ne, will ich nicht.

Bei Auto-Weisabgleich und Autofokus macht es Sinn und bei den CP Modi solange ich Kontrolle über die KI habe.

Ansonsten nehme ich doch bewusst die Kamera um mehr Kontrolle zu haben als mit dem Handy 🤷🏼‍♂️

bearbeitet 5. Juli von KaiRo

[Gartenphilosophin]

Da ich die Diskussion nicht kenne, aber erkenne, wie schrecklich mittlerweile meine iPhone Fotos sind, möchte ich so wenig KI, wie möglich bei der Erstellung haben.
Das wird nicht besser, sondern einem sehr kuriosen Geschmack untergeordnet, den ich nicht teile.
Die Kontrolle über das, was in der Kamera bestenfalls geschehen soll, möchte ich behalten.
Wobei die Frage ist, ob die bisherigen "AUTO"-Möglichkeiten schon KI sind, oder doch noch gutes altes Programmieren.

bearbeitet 5. Juli von Gartenphilosophin

[embe71]

Ich finde, das geht hier gerade ziemlich am Thema vorbei...

KI-Upscaling wird ganz sicher eine Option sein, wie es momentan die (in der Kamera noch herkömmliche, sprich ohne KI) Entrauschung auch ist. Weshalb wäre es also ein Nachteil, diese zur Verfügung zu haben?

bearbeitet 5. Juli von embe71

[baschdl]

Ich skaliere schon seit längerem bei Bedarf am Rechner hoch - mit ON1 Resize AI - und bin regelmäßig positiv überrascht von den Ergebnissen. Das geht mittlerweile so weit, dass ich auf die Verwendung des HiRes-Modes verzichte.

Ob das mit all den Einflussmöglichkeiten, die ich am Rechner habe, auch direkt in der Kamera möglich sein wird (Rechenpower bzw. Dauer der Berechnung...), das kann ich heute natürlich noch nicht sagen... Bin gespannt!

HG Sebastian

[systemcam-neu]

vor einer Stunde schrieb wallie:

Die letzten Beiträge, die ich gelesen hatte, stellten Upscaling der Denoising Funktion gegenüber.

Als Laie würde ich vom Bauchgefühl auch eher Vorteile beim Enttäuschen sehen, da ich bisher keine Probleme mit der Auflösung in der 20 MP Sensorenklasse habe. 

Upskaling beinhaltet immer Denoising ansonsten würde das Rauschen massiv verstärkt oder als Detail interpretiert und vergrößert werden.

Prinzipiell ist eine Kamera eine extrem schlechte Plattform dafür. Man hat wenig Rechenleistung, wenig Speicher, muss Strom sparen und hat keine Zeit wenn etwas in Echtzeit passieren soll oder es ist mit langen Wartezeiten verbunden und würde die Hardware auch viel teurer machen. 

Auf dem PC bekommt man das wesentlich billiger und leistungsfähiger hin.  Der RAW Konverter in Workspace ist normalerweise identisch mit dem in der Kamera. Bis auf die KI Entrauschungsfunktion obwohl auch noch nicht besonders aufwendig hat man das bis heute auch noch nicht in die Kamera bekommen und wird es vermutlich auch noch nicht so schnell. 

Kurz um es macht nicht viel Sinn und ist in der Nachbearbeitung viel besser aufgehoben zumal man für optimale Ergebnisse oft die Einstellungen individuell an das Motiv anpassen muss.

 

[boddah]

vor einer Stunde schrieb systemcam-neu:

Prinzipiell ist eine Kamera eine extrem schlechte Plattform dafür. Man hat wenig Rechenleistung, wenig Speicher, muss Strom sparen und hat keine Zeit wenn etwas in Echtzeit passieren soll oder es ist mit langen Wartezeiten verbunden und würde die Hardware auch viel teurer machen. 

Die Kamera des Mitbewerbers macht das hinterher und selektiv, dass geht auch ziemlich flott.

Ich würde die Fähigkeiten unserer Spezialprozessoren nicht unterschätzen, deswegen würde ich absolut widersprechen das die Kamera rein technisch dafür eine extrem schlechte Plattform wäre.

Dennoch würde ich sowas immer am Computer machen, einfach weil ich dort einen hochauflösenden Monitor habe. Moderne elektronische Sucher sind richtig gut geworden ( wenn man sie denn einbaut ) aber trotzdem noch kein Vergleich zum guten alten Monitor.

[wallie]

Ich hätte jetzt dedizierten MCs/CPUs auch etwas zugetraut. Wenn ich mir anschaue, wie lange WS braucht um ein Raw zu rechnen im Vergleich zu meinen Kameras...

Auch die Frage, ob so etwas schon bei der Aufnahme möglich sein wird oder ob das erst im Nachgang wie eine Kamera interne Raw Entwicklung läuft (o.g. Mitbewerber}? Wenn es in "Echtzeit" verrechnet wird, muss ja auch Speicher etc. entsprechend ausgelegt sein. 

bearbeitet 5. Juli von wallie

[wallie]

Noch eine Frage an die, die sich damit beschäftigt haben:

Es gibt Kameras, welche eine Software basierte Bildstabilisierung für Video haben.Würden die Algorithmen schnell genug laufen um das Bild on the Fly aufzublasen,, hätte man ja mehr Fleisch um Software basierte zu stabilisieren, also den notwendigen Crop zu kompensieren.

Wäre so etwas denkbar oder habe ich einen Denkfehler? Ich sage auch nicht dass es einfach oder jetzt schon möglich wäre. Aber als Ziel fände ich so etwas schon spannend

bearbeitet 5. Juli von wallie

[Grinzold]

vor 13 Minuten schrieb wallie:

Ich hätte jetzt dedizierten MCs/CPUs auch etwas zugetraut. Wenn ich mir anschaue, wie lange WS braucht um ein Raw zu rechnen im Vergleich zu meinen Kameras...

Die Bildprozessoren sind aber keine frei programmierbaren MCs. Die können nur eines: Rawdateien rasend schnell entwickeln. Die sind halt parametrierbar, aber das ist's dann auch.

Dafür kann man dann ja auch WS mit der Kamera 'koppeln' um die Hardware zu nutzen.

bearbeitet 5. Juli von Grinzold

[boddah]

vor 41 Minuten schrieb wallie:

Wäre so etwas denkbar oder habe ich einen Denkfehler?

Ich denke hier gibt's niemanden der das entsprechende Know-How hat um das Einzuschätzen, die Frage ist sehr spezifisch.

Da gerade bei Video man ja mindestens 25-30 FPS benötigt, also das hochskalieren und dann stabilisieren dreißig mal die Sekunde machen müsste. 

Ich denke das ist von der Rechenpower (aktuell und in absehbarer Zeit) nicht möglich, das ist aber ein uneducated guess, mir fehlt das Know-How.

bearbeitet 5. Juli von boddah

[embe71]

vor 59 Minuten schrieb wallie:

Ich hätte jetzt dedizierten MCs/CPUs auch etwas zugetraut. Wenn ich mir anschaue, wie lange WS braucht um ein Raw zu rechnen im Vergleich zu meinen Kameras...

Deine Kamera zeigt Dir nie ein RAW, sondern immer nur das ins RAW integrierte JPEG (mit einer geringeren Auflösung als das RAW) an...siehst Du beim Zoomen recht deutlich, wenn Du nicht RAW + JPEG fotografierst (dann wird das externe JPEG für die Anzeige verwendet).

bearbeitet 5. Juli von embe71

[blitz]

Meine KI erzählt mir, das Thema wäre in Smalltalk besser aufgehoben. 

[Olaf W.]

Da ist es nun.

[koimann]

Da passt ja der folgende Link genau zu diesem Thema denke ich.

https://www.43rumors.com/petapixel-om-system-considering-ai-upscaling-for-low-resolution-sensors/

[Grinzold]

vor einer Stunde schrieb koimann:

Da passt ja der folgende Link genau zu diesem Thema denke ich.

https://www.43rumors.com/petapixel-om-system-considering-ai-upscaling-for-low-resolution-sensors/

Das war der Ausgangspunkt im anderen Threads, bevor da die Klappe fiel...

[pit-photography]

vor 3 Stunden schrieb Grinzold:

Das war der Ausgangspunkt im anderen Threads, bevor da die Klappe fiel...

Den Link hatte ich mal im OM-5 II Thread gepostet weil ich denke, wie die Zukunft der OM-5-Serie aussehen wird.

[tgutgu]

KI ist ein zu allgemeiner Oberbegriff, auf dessen Basis allein die Diskussion nicht geführt werden sollte

KI gibt es schon einige Zeit in Form von Mustererkennung zur Steuerung der Position der AF Felder. Dies ist eine Form des maschinellen Lernens. Kameras haben Datensätze integriert, welche erlauben bestimmte Motivtypen zu erkennen und dorthin die AF Felder zu steuern. Angefangen hat dies mit Gesichts- und Augenerkennung, Canon schafft es, den Fokus auf den Spieler zu legen, der gerade den Ballbesitz hat. Das funktioniert in Systemkameras mittlerweile ziemlich gut, ohne dass die Kameras zu heiß werden oder sehr stark an Akkulaufzeit einbüßen. Über Gesichtserkennung hinausgehend gibt es das seit der E-M1X in Olympus / OM System Kameras, die fortgeschrittenste Entwicklung ist derzeit die OM-1.2. Die Mustererkennung stellt nur die Position der AF Felder ein, garantiert aber nicht, dass der Fokus am Ende wirklich sitzt. Das wurde bei den OM-1.x Kameras über Firmware Updates graduell etwas verbessert. Diese Funktionalität sollte eigentlich jede neue Kamera haben, da ein sicherer AF Basisfunktionalität ist. Ich bin ziemlich sicher, dass die Mittelklasse das bald haben wird.

Eine weitere Form von KI ist generative KI. Über sehr große und aufwändige Datenmodelle wird berechnet, welche Werte sehr wahrscheinlich herauskommen, wenn ich ein neues Ergebnis haben will, in Form von Text oder Bild. Sprachmodelle wie ChatGPT sind zur Zeit ein großer Hype, Bildgenerierung findet Einzug in viele Bildbearbeitungsprogramme um teils übliche Funktionen besser zu machen. Die bekanntesten Funktionen sind Hochskalieren von Bildern, Entrauschung und Entfernen ungewünschter Bildelemente. Andere Modelle können auf Basis von Text“befehlen“ („Prompts“) neue Bilder komplett generieren (zeige mir Putin mit Katze), was schnell ethische Fragestellungen berührt.

Generative KI benötigt sehr viel Rechenpower, die realistisch auf absehbare Zeit vernehmlich nur in Rechenzentren verfügbar ist. Einfache Formen von generativer KI werden von Smartphones unterstützt, bei Kameras sehe ich derzeit wenig Chancen, die die Rechenleistung nicht ausreicht und es zu viele Nachteile bringt die erforderliche Rechenleistung 8n Kameras unterzubringen (Hitze, Akkulaufzeit, Laufzeiten der KI-Funktionen).

Ich persönlich halte nichts davon bildgenerative Funktionen in Kameras unterzubringen, da ich die Ergebnisse auf den kleinen Display gar nicht ausreichend beurteilen kann. Bildgenerative Funktionen wie Entrauschen, Hochskalieren und Entfernen sind viel besser in der Nachbereitung aufgehoben. Statt Unsummen in die Entwicklung kameragerechter Bild-KI-Funktionen zu stecken, sollten mehr Mittel in Sensortechnologie gesteckt werden, um die originalen Bildrohdaten zu optimieren.

Bis auf weiteres stellen bildgerenerative Funktionen in Kameras für mich keine Kaufanreize dar. Im Grunde genauso, wie das auch schon bei Art Filtern etc. der Fall ist.

Interessant ist für mich allenfalls die e8ngebaute Graufilterfunktion (Live ND), ich kann aber nicht einschätzen, ob hier schon KI Einflüsse enthalten sind.

Der Begriff „Computational Photography“ ist ein eher irreführender Begriff, da es ein solches Genre in der Fotografie nicht gibt. Er besagt lediglich, dass während der Aufnahme Bildinhalte berechnet werden (z.B. Live Composite), was bishin zu KI Funktionen gehen kann. Wenn ich bei der Bildaufnahme einen Verlaufsgraufilter anwende (Live GND), ist das kein fotografisches Genre, sondern nur ein technisches Hilfsmittel. Computational Photography ist letztlich ein ziemlich schlechter Marketingbegriff.

bearbeitet 5. Juli von tgutgu

[systemcam-neu]

vor 20 Stunden schrieb boddah:

Ich würde die Fähigkeiten unserer Spezialprozessoren nicht unterschätzen, deswegen würde ich absolut widersprechen das die Kamera rein technisch dafür eine extrem schlechte Plattform wäre.

Die Fähigkeiten sind halt begrenzt und die Rechenleistung ist verschwindend gering im Vergleich zu dem was ein PC leisten kann.

 

vor 19 Stunden schrieb wallie:

Ich hätte jetzt dedizierten MCs/CPUs auch etwas zugetraut. Wenn ich mir anschaue, wie lange WS braucht um ein Raw zu rechnen im Vergleich zu meinen Kameras...

Da ist auch nicht viel zu berechnen und dafür kann man Chips genau zuschneiden das die solch simple Berechnungen in kürzester Zeit machen.  

[KaiRo]

Das wäre alles super als Abo-Model: wer es braucht soll es buchen. 

[Grinzold]

vor 16 Minuten schrieb systemcam-neu:

Da ist auch nicht viel zu berechnen

Klar, und darum ist die Konvertierung im PC ja auch so schnell 😆

[systemcam-neu]

Gerade eben schrieb KaiRo:

Das wäre alles super als Abo-Model: wer es braucht soll es buchen. 

Das durfte aber ein ziemlich teures Abo werden wenn du damit die teuere Hardware der vielen anderen die das nicht buchen alle mitbezahlen musst.

Oder die Kamera wird dadurch so teuer das sie für Leute die das nicht brauchen schlicht nicht attraktiv weil viel zu teuer ist.

  

[systemcam-neu]

Gerade eben schrieb Grinzold:

Klar, und darum ist die Konvertierung im PC ja auch so schnell 😆

Der PC ist dafür auch gar nicht optimiert und macht das deswegen extrem ineffizient. Dafür kann er alles mögliche berechnen, 

Spezielle Chips für eine bestimmte Aufgabe können dagegen nur genau das und nichts anderes.