Sony bringt den ersten «intelligenten» Fotosensor
News & TrendsFoto + Video

Sony bringt den ersten «intelligenten» Fotosensor

David Lee
David Lee
Zürich, am 15.05.2020
Der neue Sony-Sensor verfügt über eine eigene Logikeinheit. Diese analysiert das Bild in Echtzeit und überträgt statt Pixeln semantische Informationen.

Bildanalyse durch künstliche Intelligenz ist allgegenwärtig. In Kameras beispielsweise beim Autofokus, wo KI die automatische Erkennung von Augen, Gesichtern sowie beweglichen Motiven ermöglicht. Bislang leitet der Sensor die Daten unbearbeitet an eine Recheneinheit weiter, die sie analysiert. Der neue Sensor IMX500 verfügt über einen integrierten Logikchip: Die Bildanalyse findet bereits auf Stufe Sensor statt. Laut Sony ist das eine Weltneuheit.

1557de2784161fa9d4c0a249d095eb08359deda32b0e9515da2439c2a4235deb

Der Sensor soll im Bereich Industrie und Internet of Things eingesetzt werden. Er sendet nicht das eigentliche Pixelbild weiter, sondern lediglich semantische Informationen darüber, was auf dem Bild zu sehen ist. Das braucht viel weniger Speicherplatz und geschieht deshalb praktisch verzögerungsfrei. Offenbar ist die KI auf dem Sensor selbst schnell genug, diese Informationen in Echtzeit zu kreieren.

Überwachungskameras in der Industrie erzeugen riesige Datenmengen, die in der Cloud gespeichert werden. Auch hier wird der geringe Speicherplatz von Vorteil sein. Ausserdem sollen Datenschutzvorgaben besser eingehalten werden können, wenn nur eine Information statt des Fotos gespeichert wird.

Der Chip ist prinzipiell fähig, auch ein herkömmliches Foto zu erzeugen und weiterzuleiten. Oder einen Ausschnitt wie der Kopf. Oder eine Schwarzweiss-Version. Was genau ausgegeben wird, hängt von der Konfiguration und den Wünschen des Nutzers ab.

1557de2784161fa9d4c0a249d095eb08359deda32b0e9515da2439c2a4235deb

Je nach Anwendungsgebiet können die Kunden ein anderes KI-Modell für die Bildanalyse nutzen. Dazu wird der interne Speicher entsprechend den jeweiligen Anforderungen oder den Bedingungen am Einsatzort des Systems neu beschrieben.

Wenn beispielsweise mehrere Kameras, die den Sensor nutzen, in einem Ladengeschäft installiert sind, lassen sich mit einem einzigen Kameratyp verschiedene Standorte, Bedingungen, Zeiten oder Zwecke abdecken.

Beispiele, die Sony nennt: Wird die Kamera im Eingangsbereich eines Ladengeschäfts installiert, können damit die Kunden gezählt werden. Wird sie an einem Regal angebracht, kann damit erkannt werden, wo Waren fehlen. Wenn die Kamera an der Decke installiert ist, kann sie zur Erstellung von Wärmebildern genutzt werden (um Bereiche zu erkennen, in denen viele Ladenbesucher zusammentreffen). Darüber hinaus kann das KI-Modell in einer Kamera neu geschrieben werden, sodass beispielsweise aus einem Modell zur Erkennung von Heatmaps ein Modell zur Ermittlung des Kundenverhaltens wird.

1557de2784161fa9d4c0a249d095eb08359deda32b0e9515da2439c2a4235deb

Der Sensor ist 1/2.3 Zoll gross und bietet eine Auflösung von 12.3 Megapixeln. Er existiert als reiner Chip (IMX500) und als Package mit einem Keramik-LGA (IMX501). Inwiefern diese Technologie auch für normale Fotokameras adaptiert werden kann, bleibt abzuwarten.

1557de2784161fa9d4c0a249d095eb08359deda32b0e9515da2439c2a4235deb

23 Personen gefällt dieser Artikel


David Lee
David Lee

Senior Editor, Zürich

Durch Interesse an IT und Schreiben bin ich schon früh (2000) im Tech-Journalismus gelandet. Mich interessiert, wie man Technik benutzen kann, ohne selbst benutzt zu werden. Meine Freizeit ver(sch)wende ich am liebsten fürs Musikmachen, wo ich mässiges Talent mit übermässiger Begeisterung kompensiere.

Diese Beiträge könnten dich auch interessieren