Vielen Dank für Ihren Besuch auf nature.com.Sie verwenden eine Browserversion mit eingeschränkter CSS-Unterstützung.Um die beste Erfahrung zu erzielen, empfehlen wir Ihnen, einen aktuelleren Browser zu verwenden (oder den Kompatibilitätsmodus im Internet Explorer zu deaktivieren).In der Zwischenzeit zeigen wir die Website ohne Stile und JavaScript an, um eine kontinuierliche Unterstützung zu gewährleisten.Scientific Reports Band 12, Artikelnummer: 14097 (2022 ) Diesen Artikel zitierenIm Gegensatz zur herkömmlichen Bildgebung verwendet die Einzelpixel-Bildgebungstechnik einen Einzelelement-Detektor, der eine Bildgebung mit hoher Empfindlichkeit, breiter Wellenlänge und Robustheit gegenüber Rauschen ermöglicht.Es weist jedoch mehrere Herausforderungen auf, insbesondere erfordert es umfangreiche Berechnungen für die Bildrekonstruktion mit hoher Bildqualität.Für eine Echtzeitrekonstruktion mit höherer Bildqualität werden daher Hochleistungsrechner benötigt.In dieser Studie haben wir einen kompakten dedizierten Computer für die Einzelpixel-Bildgebung mit einem System auf einem feldprogrammierbaren Gate-Array (FPGA) auf einem Chip entwickelt, der eine Echtzeitrekonstruktion mit 40 Bildern pro Sekunde bei einer Bildgröße von 128 × 128 Pixeln ermöglicht .Eine FPGA-Schaltung wurde mit dem vorgeschlagenen Rekonstruktionsalgorithmus implementiert, um eine höhere Bildqualität durch Einführung einer Codierungsmaskenmusteroptimierung zu erzielen.Der dedizierte Computer kann die Rekonstruktion 10-mal schneller beschleunigen als eine neuere CPU.Da es im Vergleich zu typischen Computern sehr kompakt ist, kann es die Anwendung der Einzelpixel-Bildgebung auf das Internet der Dinge und Outdoor-Anwendungen erweitern.Herkömmliche Bildgebung verwendet einen Bildsensor, wie z. B. Charged-Coupled-Device-Kameras.Im Gegensatz dazu ist die Einzelpixel-Bildgebung eine einzigartige Technik, die nur einen Einzelelement-Detektor, wie z. B. eine Fotodiode1, verwendet.Bei dieser Technik wird das Zielobjektbild aus erfassten Lichtintensitäten und bekannten Kodiermaskenmustern rekonstruiert.Für Einzelpixel-Bildgebung wurden verschiedene Rekonstruktionsalgorithmen vorgeschlagen, einschließlich Korrelationsberechnungen, die als Geisterbilder bezeichnet werden2,3, Methoden auf der Grundlage der Fourier-Transformation und der Hadamard-Transformation4,5, Optimierungsmethoden zur Lösung eines schlecht gestellten Problems6,7 und Deep Learning8,9,10 .Da bei der Einzelpixel-Bildgebung Einzelelement-Detektoren verwendet werden, ermöglicht dies im Gegensatz zur herkömmlichen Bildgebung eine Bildgebung mit hoher Empfindlichkeit, breiter Wellenlänge und Rauschrobustheit.Einzelpixel-Bildgebung kann für Fernerkundung11, dreidimensionale Bildgebung12,13, Terahertz-Bildgebung14,15, Zytometrie16 und Kameras für das Internet der Dinge (IoT) zur Verwendung in der Überwachung, in Fabriken, in gefährlichen dunklen Bereichen und im Freien, z. B. Infrarotkamera17, angewendet werden und Gaslecksuche18.Single-Pixel-Imaging ist rechenintensiv und erfordert kompakte und effiziente Geräte für spezifische Anwendungen, z. B. IoT-Anwendungen.Eingebettete Computer können eine mögliche Lösung sein, sie sind jedoch aufgrund ihrer geringen Rechenleistung nicht für die Rekonstruktionsberechnung geeignet.Daher ist ein kleiner Computer mit hoher Rechenleistung erforderlich, der in einem einzigen LSI-Chip (Large Scale Integration) implementiert ist.Spezielle Computer für die Einzelpixel-Bildgebung wurden unter Verwendung von feldprogrammierbaren Gate-Arrays (FPGAs) entwickelt.Ein FPGA ist ein LSI-Chip, der Logikschaltungen vor Ort frei umschreiben kann.FPGAs können Hochleistungsberechnungen durchführen, indem sie anwendungsspezifische Schaltungen entwerfen.Es gibt mehrere frühere Studien mit FPGAs.Nur die LED-Steuerung wurde von einem FPGA19,20 durchgeführt, während die Rekonstruktionsberechnung von einem Personal Computer (PC) durchgeführt wurde.Iterative Berechnungsverfahren, Hadamard-Transformation und Differential-Ghost-Imaging (DGI) wurden jeweils implementiert21,22,23, um die Bildrekonstruktion zu beschleunigen.Der gesamte Prozess von der Rekonstruktionsberechnung bis zur Darstellung wurde auf einem FPGA24 durchgeführt.Probleme bereiten jedoch die Anzahl der Pixel und die Bildqualität, die Rechenzeit und die Bildqualität bei geringer Abtastung.In dieser Studie haben wir einen dedizierten Computer mit einem System-on-a-Chip (SoC) FPGA für die Einzelpixel-Bildgebung entwickelt.Ein SoC-FPGA ist ein LSI, bei dem eine eingebettete CPU und ein FPGA auf einem einzigen Chip implementiert sind.Es hat eine höhere Rechenleistung als eine einzelne eingebettete CPU, mehr Flexibilität als ein einzelnes FPGA und kann viel kleiner als ein Computer sein.Außerdem ist die Auswahl von Rekonstruktionsalgorithmen, die als Rechenschaltung implementiert werden sollen, wichtig beim Entwerfen eines Computers, der für die Einzelpixel-Bildgebung bestimmt ist.Obwohl FPGAs eine hohe Rechenleistung haben, haben sie eine Beschränkung der Hardwareressourcen und sind nicht gut in komplexen Berechnungen, wie z. B. Divisions- und Quadratwurzelberechnungen.Unter den Algorithmen können Optimierungsmethoden zur Lösung eines schlecht gestellten Problems und Deep Learning qualitativ hochwertige Rekonstruktionen in der Einzelpixel-Bildgebung erzielen6,7,8,9,10;Deep Learning hat jedoch das Problem unzureichender Hardwareressourcen, und Optimierungsverfahren haben das Problem der Rechenlast aufgrund der Iterationsart.Die Ghost-Imaging-basierte Korrelationsberechnung2,3 eignet sich aufgrund ihres geringen Speicherverbrauchs und der Einfachheit der Berechnungsform für die FPGA-Implementierung.In dieser Studie haben wir unseren Ghost-Imaging-Algorithmus verwendet, der die Optimierung von Kodierungsmaskenmustern einführt25.Es verbessert die Bildqualität mit geringfügigen Auswirkungen auf die erforderliche Berechnung und den Speicher.In dem vorgeschlagenen dedizierten Computer beträgt die Größe der rekonstruierten Bilder 128 × 128 Pixel mit bis zu 1.024 Codierungsmaskenmustern.Wir evaluieren den dedizierten Computer hinsichtlich Bildqualität und Rechengeschwindigkeit anhand von Bildern pro Sekunde (fps) in numerischen und optischen Experimenten.Schließlich demonstrieren wir ein Echtzeit-Anzeigesystem der Einzelpixel-Bildgebung unter Verwendung des dedizierten Computers.Der von uns entwickelte dedizierte Computer kann bei gleicher Abtastrate eine höhere Bildqualität als die Referenzen19,20,22,23,24, eine größere Bildgröße als die Referenzen19,20,21,23,24 und eine höhere Geschwindigkeit als die Referenzen21,22,23 erzielen ,24, wodurch eine Echtzeitanzeige mit Größe, Bildqualität und Geschwindigkeit ermöglicht wird.Da der dedizierte Computer im Vergleich zu herkömmlichen Computern extrem kompakt ist, kann er die Anwendung der Einzelpixel-Bildgebung auf IoT- und Außenanwendungen erweitern.Spezifische Anwendungen, die dedizierte Computer verwenden, umfassen die Implementierung in der topografischen Satellitenvermessung26, wobei die geringe Größe und die Energiesparfunktionen von dedizierten Computern ausgenutzt werden.Es kann auch für die Objektverfolgung27,28,29 verwendet werden, um ein IoT-System für die Autonavigation aufzubauen.Darüber hinaus können dedizierte Computer verwendet werden, um Bilder mit großer Wellenlänge zu rekonstruieren, die Rechenleistung erfordern30.Abbildung 1 zeigt das Schema des Versuchsaufbaus.Der experimentelle Aufbau besteht aus einem Kameraobjektiv (Thorlabs MVL50M23), einer weißen Leuchtdiode (LED), einer Kondensorlinse, einem digitalen Mikrospiegelgerät (DMD) (Vialux Hi–Speed ​​V–Modules V7000), einem Einzelelementdetektor (Thorlabs PDA100A2) , Analog-Digital-Wandler (Digilent Inc. Pmod AD1) und der dedizierte Computer.Das durch das Objekt durchgelassene Licht wird vom Kameraobjektiv auf das DMD abgebildet.Eine Einzelpixelabbildung in Echtzeit ist schwierig, da sie sequentiell die Musteranzeigesteuerung, die Analog-Digital-Wandlersteuerung und die Rekonstruktionsberechnungsverarbeitung erfordert, aber das vorgeschlagene System kann eine Echtzeitrekonstruktion von Zielobjekten durch Durchführen einer parallelen Verarbeitung durchführen.Das rekonstruierte Bild wird auf einem Anzeigefeld angezeigt.Das experimentelle Verfahren der Echtzeitanzeige ist wie folgt.Das Objektlicht wird auf dem DMD durch das Kameraobjektiv geformt.Auf der DMD wird ein Kodierungsmaskenmuster angezeigt, und das Objektlicht wird durch das Muster moduliert.Das modulierte Licht wird von der Linse gesammelt und vom Einzelelementdetektor als Lichtintensität gemessen.Die erhaltene Lichtintensität wird durch den Analog-Digital-Wandler aus dem analogen Intensitätssignal in ein digitales Signal umgewandelt.Dieser Vorgang wird wiederholt, während die Codiermaskenmuster umgeschaltet werden.Die Empfangsschaltung im FPGA speichert das konvertierte Signal in einem FPGA-integrierten Speicher zum Zeitpunkt des Aktivierens des synchronisierten Signals, das erzeugt wird, wenn die DMD auf neue Codierungsmaskenmuster umschaltet.Nachdem die Empfangsschaltung das Signal eine bestimmte Anzahl von Malen gespeichert hat, beginnt die Rekonstruktionsschaltung mit der Berechnung des Zielobjektbildes.Dann empfängt die eingebettete CPU auf dem SoC-FPGA-Chip die Rekonstruktionsergebnisse und zeigt sie auf dem Anzeigefeld an.Somit können wir den Film des Zielobjekts in Echtzeit auf dem Anzeigefeld beobachten, indem wir die obige Prozedur wiederholen.Schematische Darstellung des Versuchsaufbaus.Ein Kameraobjektiv formt das Bild eines Zielobjekts auf einem DMD.Das Bild des Zielobjekts wird moduliert, indem Maskenmuster codiert werden, die auf der DMD angezeigt werden.Das modulierte Licht wird von einer Linse gesammelt und von einem Einzelelementdetektor gemessen und anschließend in digitale Signale umgewandelt.Außerdem rekonstruiert der dedizierte Computer aus den Lichtintensitäten das Bild des Zielobjekts.Der FPGA-Teil rekonstruiert ein Bild, während die eingebettete CPU auf dem SoC-FPGA die Zeichnung auf einem Display generiert und initialisiert.Blockschaltbild der Rekonstruktionsschaltung.Die Anzahl der Codiermaskenmuster kann bis zu 1024 betragen. Die Zahlen über den diagonalen Linien geben die Bitbreite eines Signals an.Die Rekonstruktionsschaltung umfasst drei Berechnungsmodule und Nachschlagetabellen.Wir haben 128 Module für die \(\langle \alpha ^2 SI \rangle \)-Berechnung und die O-Berechnung für die Parallelverarbeitung implementiert.Wir haben den dedizierten Computer mit Zynq UltraScale+ MPSoC ZCU104 Evaluation Board von Xilinx entwickelt.Das Schema des dedizierten Computers ist in Abb. 1 dargestellt. Wir haben die Schaltung des FPGA-Teils mit Vivado (Version 2020.1) und den eingebetteten CPU-Teil mit Vivado (Version 2019.1) entworfen, der integrierten Entwicklungsumgebung für das Hardwaredesign, die von bereitgestellt wird Xilinx.Die eingebettete CPU auf dem SoC-FPGA führt ein Linux-Betriebssystem (OS) mit dem Linux-Kernel aus, der mit Petalinux (Version 2019.1) von Xilinx erstellt wurde.Fig. 2 zeigt ein Blockdiagramm der Rekonstruktionsschaltung.Die Rekonstruktionsschaltung führt die Rekonstruktionsberechnung25 wie in Gl.(1).wobei \(I_i(x,y)\) die Lichtverteilung von Codierungsmaskenmustern mit binären Werten ist, der Index i ein Index der Codierungsmaskenmuster ist;und \(R_i = \sum _{y=1}^Y \sum _{x=1}^X I_i (x,y)\) ist die Gesamtlichtintensität der codierenden Maskenmuster, und X und Y sind die horizontale und vertikale Größen der Kodiermaskenmuster.Diese Werte werden nur durch die Kodiermaskenmuster bestimmt.\(\langle \alpha _{i} \rangle = \frac{1}{N} \Sigma ^{N}_{i=1} \alpha _i\) ist ein Ensemblemittelwert, wobei N die Anzahl der kodierenden Maskenmuster ist ;\(S_i = \sum _{y=1}^Y \sum _{x=1}^XT(x,y) I_i (x,y)\) ist die vom Einzelelementdetektor gemessene Lichtintensität, wobei T(x, y) ist die Lichtverteilung des Zielobjekts;und O(x, y) die Intensitätsverteilung eines rekonstruierten Zielobjekts ist.Ein auf einem Anzeigefeld anzuzeigendes Bild des Zielobjekts wird durch Normalisieren von O(x, y) erhalten.In Gl.(1) können die Berechnungen, die \(S_i\) nicht enthalten, vorberechnet werden, und die Schaltung muss nur die Berechnungen berechnen, die \(S_i\) enthalten.Obwohl der Unterschied zwischen den herkömmlichen und unseren Rekonstruktionsberechnungen darin besteht, sowohl die Optimierung der Codierungsmaskenmuster als auch den Skalierungsfaktor \(\alpha _i\) einzuführen, kann die Bildqualität mit nur wenigen zusätzlichen Operationen erheblich verbessert werden.Das vorgeschlagene Verfahren ist im Wesentlichen für eine FPGA-Implementierung geeignet.Die Identifizierung optimaler Codierungsmaskenmuster und \(\alpha _i\) wird in den „Methoden“ erklärt.Die Rekonstruktionsschaltung empfängt \(S_i\) als Eingaben und gibt O(x, y) als Berechnungsergebnisse aus.Die Eingabe wird von der in Abb. 1 gezeigten Empfangsschaltung empfangen, und die Ausgabe wird an die eingebettete CPU auf dem SoC-FPGA gesendet.In dieser Studie haben wir zwei Schaltungen für 512- und 1024-Kodierungsmaskenmuster entwickelt.Die durch die Kodierungsmaskenmuster bestimmten Werte werden in Nachschlagetabellen gespeichert, die durch Nur-Lese-Speicher (ROMs) im FPGA implementiert sind.Das \(\langle \alpha S \rangle \)-Berechnungsmodul, das \(\langle \alpha ^2 SI \rangle \)-Berechnungsmodul und das O-Berechnungsmodul führen die entsprechenden Berechnungen in Gl.(1).Alle Operationen werden durch Festkommazahlberechnungen implementiert, da sie weniger Hardware-Ressourcen benötigen und schneller sind.Wir haben 128 Module für \(\langle \alpha ^2 SI \rangle \)-Berechnungen und 128 Module für O-Berechnungen implementiert;daher kann der dedizierte Computer 128 Pixel parallel berechnen.Simulationsergebnisse des Desktops, eingebetteter CPUs und des dedizierten Computers.Die Größe der Bilder beträgt 128 × 128 Pixel.Wir haben Gleitkommaoperationen mit einfacher Genauigkeit auf den CPUs und Festkommaoperationen auf dem dedizierten Computer verwendet.Die Anzahl der bei der Rekonstruktion verwendeten Codiermaskenmuster beträgt 512 für (a) und 1024 für (b).Wir evaluieren die Bildqualität und Rechengeschwindigkeit der Rekonstruktionsschaltung in Simulationen und optischen Experimenten.Darüber hinaus zeigen wir, dass der dedizierte Computer mit dem experimentellen System dynamische Szenen in Echtzeit rekonstruieren kann.Da die Rekonstruktionsschaltung Festkommaoperationen verwendet, hängt die Bildqualität erheblich von der Bitbreite jedes Signals ab.Die Bewertung der Bildqualität ist in Abb. 3 dargestellt. Als Bildqualitätsindex haben wir das Spitzen-Signal-Rausch-Verhältnis (PSNR) verwendet.Die rekonstruierten Bilder unter Verwendung des Desktops, der eingebetteten CPUs und des dedizierten Computers sind ähnlich.Anhand dieser Ergebnisse haben wir bestätigt, dass der dedizierte Computer die gleiche Bildqualität rekonstruieren kann wie die Embedded- und Desktop-CPUs.Wir haben die reinen Rekonstruktionszeiten ohne Mustermodulation und die Analog-Digital-Wandlungszeiten in der eingebetteten CPU, der Desktop-CPU und dem dedizierten Computer verglichen.Die Ergebnisse sind in Tabelle 1 dargestellt. Die Rechenumgebung der eingebetteten CPU auf dem SoC-FPGA ist wie folgt: Die CPU ist Quad Core Arm Cortex-A53 MPCore (1,2 GHz), der Arbeitsspeicher ist 2,0 GB, das Betriebssystem ist Ubuntu 18.04.1 LTS und Compiler ist gcc 7.5.0 (Optimierungsoption -O2 aktiviert).Die Computerumgebung der Desktop-CPU ist wie folgt: Die CPU ist Intel® Core™ i5-4690 (3,5 GHz), der Arbeitsspeicher ist 32,0 GB, das Betriebssystem ist Windows 10 Enterprise und der Compiler ist Visual Studio 2015 (Optimierungsoption-O2 und Streaming SIMD-Erweiterungen aktiviert).Für die Umgebung des FPGA-Teils beträgt die Betriebsfrequenz 0,2 GHz.Pro Bearbeitungszeit werden 1000 Messungen gemittelt.Aus Tabelle 1 ist ersichtlich, dass der dedizierte Computer am schnellsten ist.Im Experiment verwendetes optisches System.Die Konfiguration und Anordnung des optischen Systems ist die gleiche wie in Fig. 1.Die Experimente wurden auf einem Echtzeit-Display unter Verwendung unseres dedizierten Computers unter den gleichen Bedingungen wie die Simulationen durchgeführt.Fig. 4 zeigt das optische System mit der gleichen Konfiguration wie Fig. 1. Tabelle 2 zeigt die Framerate, die als die Zeit der Anzeige eines vorherigen Rekonstruktionsbilds bis zum Beginn der Anzeige eines nächsten Rekonstruktionsbilds definiert ist.Die zum Anzeigen von Codiermaskenmustern erforderliche Zeit beträgt 22,53 ms bei 512-Codiermaskenmustern und 45,06 ms bei 1024-Codiermaskenmustern.Im Echtzeitanzeigeexperiment haben wir bestätigt, dass der dedizierte Computer am schnellsten ist.Abbildung 5 zeigt die Auswertung der rekonstruierten Bilder durch den dedizierten Rechner.Als Ergebnis zeigten die vom dedizierten Computer erhaltenen Rekonstruktionsbilder eine bessere Bildqualität als frühere FPGA-basierte Studien22,23.Abbildung 6 zeigt die rekonstruierte dynamische Szene unter Verwendung des dedizierten Computers.Die Rekonstruktion wurde in den Fällen von 512- und 1024-kodierenden Maskenmustern durchgeführt.Videos in den ergänzenden Informationen zeigen die Echtzeit-Rekonstruktionsfilme unter Verwendung jedes Computers in den Fällen von 512- und 1024-kodierten Maskenmustern.Beim Vergleich dieser Filme können wir sehen, dass der dedizierte Computer die Bewegung eines Zielobjekts reibungslos anzeigen kann.Das Rauschen allein der Embedded-CPU und des dedizierten Computers ist im Vergleich zur Desktop-CPU aufgrund der Auflösung des Analog-Digital-Wandlers erheblich.Der Analog-Digital-Wandler der Desktop-CPU hat eine Auflösung von 16 Bit, während der Analog-Digital-Wandler der Embedded-CPU allein und des dedizierten Computers nur eine 12-Bit-Auflösung hat.Rekonstruierte Bilder durch den dedizierten Computer.Die Bildqualität wurde durch Vergleich mit der Grundwahrheit bewertet, die mit der Hadamard-Transformation mit vollständiger Abtastung rekonstruiert wurde.Die Bildgröße beträgt 128 × 128 Pixel.Die Nummern der Kodiermaskenmuster sind 512 bzw. 1024.Eine rekonstruierte dynamische Szene: (a) ein Zielobjekt (USAF1951-Testziel, Thorlabs R3L3S1N).Der weiße Pfeil zeigt die Richtung an, in die das Zielobjekt bewegt werden soll.Das Zielobjekt innerhalb des roten Rechtecks ​​bewegt sich 1 s lang in Pfeilrichtung, (b) rekonstruierte dynamische Szene, während das Zielobjekt in seitlicher Richtung bewegt wird, im Fall von 512-Codierungsmaskenmustern, (c) rekonstruierte dynamische Szene während der Bewegung das Zielobjekt in seitlicher Richtung im Fall von 1024 kodierenden Maskenmustern, (d) ein Zielobjekt, wenn die Bewegungsrichtung in Tiefenrichtung ist.Der weiße Pfeil zeigt die Richtung an, in die das Zielobjekt bewegt werden soll.Der durch das rote Rechteck gekennzeichnete Bereich wurde rekonstruiert.das Zielobjekt wurde in 1 s von \(-1\) cm auf \(+1\) cm bewegt, (e) rekonstruierte dynamische Szene, während das Zielobjekt in der Tiefenrichtung für 512 Codierungsmaskenmuster bewegt wurde, (f) rekonstruiert dynamische Szene, während das Zielobjekt in der Tiefenrichtung für 1024 kodierende Maskenmuster bewegt wird.Die Anzahl der rekonstruierten Bilder ist unterschiedlich, da die Framerate abhängig von der Anzahl der Codiermaskenmuster unterschiedlich ist, wie in Tabelle 2 gezeigt. Die Framenummern sind über den Bildern angegeben.Zeitdiagramm des Echtzeitanzeigesystems.Jede Zeile zeigt die Verantwortlichkeiten jedes Prozesses, der parallel ausgeführt wird.(a) Zeigt ein Zeitdiagramm unter Verwendung der eingebetteten CPU allein und der Desktop-CPU.(b) Zeigt ein Zeitdiagramm unter Verwendung des dedizierten Computers.Allein die eingebettete CPU und die Desktop-CPU führen eine Verarbeitung durch, um vom Analog-Digital-Wandler zu empfangen und zu senden, da der Analog-Digital-Wandler von der CPU gesteuert wird.Somit können die eingebettete CPU allein und die Desktop-CPU nicht ständig eine Analog-Digital-Wandlung durchführen.Allein in der eingebetteten CPU dauert die Rekonstruktionsberechnung zum Kodieren nach Mustern lange.In der Desktop-CPU ist die Rekonstruktionsberechnungszeit kurz genug für die Zeit zum Codieren durch Muster.Im Gegensatz dazu hat der dedizierte Computer keine solche zeitaufwändige Verarbeitung, da der FPGA-Teil direkt einen Wert der Analog-Digital-Wandlung empfängt.Folglich ermöglicht dies dem dedizierten Computer, eine Analog-Digital-Umwandlung konstant durchzuführen, wodurch die Rekonstruktionsberechnungszeit verringert wird.Hier haben wir den dedizierten Computer für die Einzelpixel-Bildgebung mit einem SoC-FPGA vorgeschlagen.Eine Neuheit des vorgeschlagenen dedizierten Computers besteht darin, dass parallelisierte Rekonstruktionsschaltungen auf paralleler Basis verwendet werden und ein FPGA mit eingebetteter CPU übernommen wurde.Außerdem kann der dedizierte Computer Aufgabenparallelverarbeitung einschließlich Analog-Digital-Umwandlungen, Rekonstruktionsberechnungen und Anzeigeverarbeitung durchführen.Der FPGA-Teil im Soc-FPGA handhabt den Empfang gemessener Intensitäten der Analog-Digital-Wandlung und der Rekonstruktionsberechnung, und der eingebettete CPU-Teil initialisiert die Rekonstruktionsschaltung und normalisiert die Rekonstruktionsergebnisse auf 8-Bit-Bilder und zeigt die Bilder auf einem Anzeigefeld an Verwenden von OpenGL, der Open-Source-Software für Computer Vision.Insbesondere unser dedizierter Computer kann rekonstruierte Bilder mit 128 × 128 Pixel verarbeiten, was größer ist als frühere Studien mit FPGAs23,24.Um große Bilder zu verarbeiten, müssen wir ultraRAM verwenden, das die größte Kapazität unter den eingebauten Speichern im SoC-FPGA hat.Da ultraRAM nicht vom FPGA-Teil initialisiert werden kann, muss es von der eingebetteten CPU initialisiert werden, wenn es als ROM verwendet wird.Wir haben die Rechengeschwindigkeit des dedizierten Rechners analysiert.Aus Tabelle 1 ergibt sich, dass die Berechnungszeit der eingebetteten CPU allein und der Desktop-CPU proportional zur Anzahl der Codierungsmaskenmuster zunimmt.Im Gegensatz dazu nimmt die Berechnungszeit des dedizierten Computers nicht wesentlich zu, wenn die Anzahl der Codierungsmaskenmuster zunimmt.Dies liegt daran, dass die erforderliche Kommunikationszeit in dem dedizierten Computer den größten Teil der gesamten Verarbeitungszeit einnimmt.Die Kommunikation des dedizierten Computers ist nur die Übertragung rekonstruierter Bilder an die eingebettete CPU, da die Codierungsmaskenmuster in den ROMs im FPGA gespeichert sind.Daher hängt die Kommunikationszeit nicht von der Anzahl der Codiermaskenmuster ab.Somit wird der dedizierte Computer im Hinblick auf die für die Rekonstruktion erforderliche Zeit vorteilhafter, wenn die Anzahl der Codiermaskenmuster zunimmt.Aus Tabelle 2 ist ersichtlich, dass der dedizierte Computer in den Experimenten am schnellsten war.Die Rekonstruktionsberechnung wird parallel zum Anzeigen von Kodiermaskenmustern wie in Fig. 7 durchgeführt. Die eingebettete CPU allein ist langsam, da die Rekonstruktionsberechnung langsamer ist als das Anzeigen von Kodiermaskenmustern.Im Gegensatz dazu sind die Desktop-CPU und der dedizierte Computer schnell, da die Rekonstruktionsberechnung schneller ist als das Anzeigen von Codierungsmaskenmustern.Die Analog-Digital-Wandlung des dedizierten Computers ist schneller als die der Desktop-CPU.Wie in Abb. 7 gezeigt, wird in der Desktop-CPU der Analog-Digital-Wandler per Software gesteuert und kommuniziert, während im dedizierten Computer die Werte der Analog-Digital-Wandlung direkt vom FPGA gelesen werden, was zu einem höheren Durchsatz führt im dedizierten Computer als Desktop-CPU.Wenn die Bildgröße zunimmt, wird es für die Desktop-CPU schwierig, die Rekonstruktionsberechnung und die Anzeige der Codierungsmaskenmuster zu überlappen, wohingegen der dedizierte Computer sie leicht überlappen kann, was seine Nützlichkeit weiter erhöht.Verfahren der Musteroptimierung.In Schritt 1 berechnet „Bildrekonstruktion“ Gl.(1) ohne \(\alpha _i\) .„Verlustfunktion“ E ist ein mittlerer quadratischer Fehler.„Updating“ führt einen Gradientenabstieg durch.„Binarisierung“ führt \( {I}_{B, i}(x,y) = 1 \) aus, wenn \( {I}_{i}(x,y) \ge 0,5 \) sonst \( {I} _{B, i}(x,y) = 0 \) .Vergleich zwischen der Musteroptimierung und herkömmlichen Verfahren: Ein Beispiel eines optimierten Musters ist auf der linken Seite der Abbildung gezeigt.Die rechte Seite der Abbildung zeigt einen Vergleich der rekonstruierten Bildqualität.Die Bildqualität wurde mit DGI23 und Hadamard-Transformation22 verglichen, die in früheren Studien in einem FPGA implementiert waren.Die Größe der Bilder betrug 128 × 128 Pixel.Die Anzahl der Kodiermaskenmuster betrug 512 bzw. 1024.Beim Ghost-Imaging-Verfahren25 werden optimierte Kodierungsmaskenmuster und Skalierungsfaktor \(\alpha _i\) in Gl.(1) wurden in herkömmliches DGI eingeführt31,32.Die optimierten Codierungsmaskenmuster werden durch Gradientenabstieg erhalten, der häufig beim maschinellen Lernen verwendet wird.Der Skalierungsfaktor \(\alpha _i\) in Gl.(1) erhält man alswobei \(\alpha _i = \frac{\sum _{x=1}^{X} \sum _{y=1}^{Y}I_i (x,y) I_{B,i} (x,y )}{\sum _{x=1}^{X} \sum _{y=1}^{Y} I_{B,i}^2(x,y)}\) , \(I_{i} (x,y)\) bezeichnet Graustufen-Codierungsmaskenmuster vor der Binarisierung;und \(I_{B, i}(x,y)\) bezeichnet binärisierte Codierungsmaskenmuster.Die Binarisierung erfolgt als \( {I}_{B, i}(x,y) = 1 \) if \( {I}_{i}(x,y) \ge 0.5 \) sonst \( {I }_{B, i}(x,y) = 0\) .Abbildung 8 zeigt die Abläufe der Musteroptimierung.Die Optimierung erfolgt in zwei Schritten.In Schritt 1 erhalten wir optimierte Graustufenmuster.In Schritt 2 optimieren wir die Graustufenmuster erneut, während wir die bereits in Schritt 1 erhaltenen Graustufenmuster binarisieren. Als nächstes wird die Bildrekonstruktion unter Verwendung von Gl.(1) mit dem binarisierten Muster, und Graustufenmuster werden durch eine Verlustfunktion aktualisiert, für die wir einen mittleren quadratischen Fehler verwendet haben.Durch Wiederholen des obigen Verfahrens erhalten wir endgültige optimierte binäre Muster.Um unser Verfahren mit herkömmlichen Verfahren zu vergleichen, zeigt Fig. 9 ein Beispiel von Maskenmustern und entsprechenden Rekonstruktionen unter Verwendung dieser Verfahren.Als herkömmliche Verfahren werden die in FPGA22,23 implementierte DGI- und Hadamard-Transformation verglichen.Wie in Fig. 9 zu sehen ist, ist die Bildqualität mit unserer Optimierung der Kodierungsmaskenmuster drastisch besser als die mit den herkömmlichen Verfahren.Die während der aktuellen Studie verwendeten und/oder analysierten Datensätze sind auf begründete Anfrage beim entsprechenden Autor erhältlich.Edgar, MP, Gibson, GM & Padgett, MJ Prinzipien und Perspektiven für die Einzelpixel-Bildgebung.Nat.Photon.13, 13–20 (2019).ADS-CAS-Artikel Google ScholarPittman, TB, Shih, YH, Strekalov, DV & Sergienko, AV Optische Bildgebung mittels Zwei-Photonen-Quantenverschränkung.Phys.Rev. A 52, R3429–R3432 (1995).ADS-CAS-Artikel Google ScholarShapiro, JH Computational Ghost Imaging.Phys.Rev. A 78, 061802 (2008).Zhang, Z., Ma, X. & Zhong, J. Einzelpixelbildgebung mittels Fourier-Spektrumerfassung.Nat.Kommun.6, 1–6 (2015).Zhang, Z., Wang, X., Zheng, G. & Zhong, J. Hadamard-Einzelpixel-Bildgebung versus Fourier-Einzelpixel-Bildgebung.Option.Express 25, 19619–19639 (2017).Duarte, M. F. et al.Einzelpixelbildgebung über Compression Sampling.IEEE-Signalprozess.Mag.25, 83–91 (2008).Katz, O., Bromberg, Y. & Silberberg, Y. Compressive Ghost Imaging.Appl.Phys.Lette.95, 131110 (2009).Shimobaba, T. et al.Computational Ghost Imaging mit Deep Learning.Option.Kommun.413, 147–151 (2018).ADS-CAS-Artikel Google ScholarHigham, CF, Murray-Smith, R., Padgett, MJ & Edgar, MP Deep Learning für Einzelpixelvideo in Echtzeit.Wissenschaft.Rep. 8, 1–9 (2018).ADS-CAS-Artikel Google ScholarHoshi, I., Shimobaba, T., Kakue, T. & Ito, T. Einzelpixelbildgebung unter Verwendung eines rekurrenten neuronalen Netzwerks in Kombination mit Faltungsschichten.Option.Express 28, 34069–34078 (2020).Erkmen, BI Computational Ghost Imaging für die Fernerkundung.JOSA A 29, 782–789 (2012).Sonne, B. et al.Computergestützte 3D-Bildgebung mit Einzelpixel-Detektoren.Wissenschaft 340, 844–847 (2013).ADS-CAS-Artikel Google ScholarSonne, M.-J.& Zhang, J.-M.Einzelpixelbildgebung und ihre Anwendung in der dreidimensionalen Rekonstruktion: Ein kurzer Überblick.Sensoren 19, 732 (2019).Olivieri, L. et al.Hyperspektrale Terahertz-Mikroskopie durch nichtlineare Geisterbildgebung.Optica 7, 186–191 (2020).ADS-CAS-Artikel Google ScholarVallés, A., He, J., Ohno, S., Omatsu, T. & Miyamoto, K. Broadband High-Resolution Terahertz Single-Pixel Imaging.Option.Express 28, 28868–28881 (2020).Ota, S. et al.Geisterzytometrie.Wissenschaft 360, 1246–1251 (2018).ADS-CAS-Artikel Google ScholarEdgar, M. et al.Gleichzeitiges sichtbares und infrarotes Echtzeit-Video mit Einzelpixel-Detektoren.Wissenschaft.Rep. 5, 1–8 (2015).Gibson, GM et al.Echtzeit-Bildgebung von Methangaslecks mit einer Einzelpixelkamera.Option.Express 25, 2998–3005 (2017).ADS-CAS-Artikel Google ScholarXu, Z.-H., Chen, W., Penuelas, J., Padgett, M. & Sun, M.-J.1000 fps Computer-Ghost-Imaging mit LED-basierter strukturierter Beleuchtung.Option.Express 26, 2427–2434 (2018).Salvador-Balaguer, E. et al.Kostengünstige Einzelpixel-3D-Bildgebung durch Verwendung eines LED-Arrays.Option.Express 26, 15623–15631 (2018).García, A. M., Quero, C. O., Rangel-Magdaleno, J., Martínez-Carranza, J. & Romero, D. D. Edge-Computing-SoC-Implementierung des Compression-Sensing-Algorithmus für Einzelpixelkameras.2021 18. International Conference on Electrical Engineering, Computing Science and Automatic Control (CCE), 1–5 (IEEE, 2021).del Angel-Arrieta, F., Morales-Pérez, C. J., de Jesus Rangel-Magdaleno, J. & Ramos-García, R. Fpga-Implementierung der linearen Kombination für die Rekonstruktion von Einzelpixelbildern.2021 IEEE International Instrumentation and Measurement Technology Conference (I2MTC), 1–6, https://doi.org/10.1109/I2MTC50364.2021.9460102 (2021).Hoshi, I., Shimobaba, T., Kakue, T. & Ito, T. Computational Ghost Imaging unter Verwendung eines feldprogrammierbaren Gate-Arrays.OSA-Kontin.2, 1097–1105 (2019).Yang, Z., Liu, J., Zhang, W.-X., Ruan, D. & Li, J.-L.Sofortige Einzelpixel-Bildgebung: On-Chip-Echtzeitimplementierung basierend auf dem Instant-Ghost-Imaging-Algorithmus.OSA-Kontin.3, 629–636 (2020).Hoshi, I., Shimobaba, T., Kakue, T. & Ito, T. Optimierte Binärmuster durch Gradientenabstieg für Geisterbilder.IEEE Access 9, 97320–97326 (2021).Li, Z.-P.et al.Einzelphotonenbildgebung über 200 km.Optica 8, 344–349 (2021).Shi, D. et al.Schnelle Verfolgung von sich bewegenden Objekten durch Einzelpixel-Bildgebung.Option.Kommun.440, 155–162 (2019).ADS-CAS-Artikel Google ScholarZha, L. et al.Komplementäre Momenterkennung zum Verfolgen eines sich schnell bewegenden Objekts mit zwei Einzelpixel-Detektoren.Option.Lette.47, 870–873 (2022).Zha, L. et al.Single-Pixel-Tracking von sich schnell bewegenden Objekten mit geometrischer Momentenerkennung.Option.Express 29, 30327–30336 (2021).Hahn, J., Debes, C., Leigsnering, M. & Zoubir, AM Compressive Sensing and Adaptive Direct Sampling in Hyperspectral Imaging.Graben.Signalprozess.26, 113–126 (2014).Ferri, F., Magatti, D., Lugiato, LA & Gatti, A. Differential Ghost Imaging.Phys.Rev. Lett.104, 253603 (2010).ADS-CAS-Artikel Google ScholarSun, B., Welsh, SS, Edgar, MP, Shapiro, JH & Padgett, MJ Normalized Ghost Imaging.Option.Express 20, 16892–16901 (2012).Diese Arbeit wurde teilweise von der Yazaki Memorial Foundation for Science and Technology unterstützt.Graduate School of Engineering, Chiba-University, 1-33, Yayoi-cho, Inage-ku, Chiba, JapanIkuo Hoshi, Tomoyoshi Shimobaba, Takashi Kakue und Tomoyoshi ItoSie können diesen Autor auch in PubMed Google Scholar suchenSie können diesen Autor auch in PubMed Google Scholar suchenSie können diesen Autor auch in PubMed Google Scholar suchenSie können diesen Autor auch in PubMed Google Scholar suchenIH und TS konzipierten das Projekt, IH entwarf und implementierte den dedizierten Computer, führte die Experimente durch und analysierte die Ergebnisse.Alle Autoren haben das Manuskript überprüft.Die Autoren erklären keine konkurrierenden Interessen.Springer Nature bleibt neutral in Bezug auf Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Verwendung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, solange Sie den/die ursprünglichen Autor(en) und die Quelle angemessen nennen. Stellen Sie einen Link zur Creative Commons-Lizenz bereit und geben Sie an, ob Änderungen vorgenommen wurden.Die Bilder oder andere Materialien von Drittanbietern in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in einer Quellenangabe für das Material nichts anderes angegeben ist.Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung durch gesetzliche Bestimmungen nicht gestattet ist oder die zulässige Nutzung überschreitet, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen.Eine Kopie dieser Lizenz finden Sie unter http://creativecommons.org/licenses/by/4.0/.Hoshi, I., Shimobaba, T., Kakue, T. et al.Einzelpixel-Bildgebung in Echtzeit unter Verwendung eines Systems auf einem feldprogrammierbaren Gate-Array auf einem Chip.Sci Rep. 12, 14097 (2022).https://doi.org/10.1038/s41598-022-18187-8DOI: https://doi.org/10.1038/s41598-022-18187-8Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:Leider ist für diesen Artikel derzeit kein teilbarer Link verfügbar.Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedItDurch das Absenden eines Kommentars erklären Sie sich mit unseren Nutzungsbedingungen und Community-Richtlinien einverstanden.Wenn Sie etwas missbräuchlich finden oder unseren Bedingungen oder Richtlinien nicht entsprechen, markieren Sie es bitte als unangemessen.Wissenschaftliche Berichte (Sci Rep) ISSN 2045-2322 (online)