Il software può riparare un obiettivo della fotocamera difettoso

Le fotocamere moderne possono fare cose impressionanti.

La riduzione del rumore può rendere un'immagine scura più pulita. Gli algoritmi di intelligenza artificiale possono affinare i bordi. Il software può correggere la distorsione, regolare il colore e persino generare dettagli che sembrano mancanti.

Quindi, naturalmente, qualcuno alla fine chiede:

Se il software sta diventando così valido, abbiamo ancora bisogno di un obiettivo fotografico costoso?

Risposta breve:

SÌ. Molto.

Il software può migliorare un'immagine mediocre.

Non può trasformare in modo affidabile le cattive informazioni ottiche in buone informazioni ottiche.

E questa distinzione è più importante che mai poiché le telecamere vengono utilizzate per il riconoscimento dell’intelligenza artificiale, la robotica, la sorveglianza, l’imaging automobilistico e la visione artificiale.

Il software è molto bravo a ripulire un pasticcio

Diamo prima un po' di credito al software.

La moderna elaborazione delle immagini può fare molto.

Se un'immagine contiene rumore, gli algoritmi possono ridurlo.

Se la distorsione della lente è prevedibile, il software può correggere la geometria.

Se un'immagine ha un contrasto leggermente debole, la nitidezza e il miglioramento del contrasto locale possono migliorarne l'aspetto.

L'elaborazione del colore può anche compensare alcune caratteristiche del sistema di imaging.

Questo è incredibilmente utile.

In effetti, le fotocamere moderne sarebbero molto peggiori senza l’imaging computazionale.

Ma c’è un limite importante:

Il software può elaborare le informazioni. Non è in grado di recuperare perfettamente le informazioni che il sistema ottico non ha mai catturato.

È qui che entra in gioco l'obiettivo.

Non puoi affinare ciò che non è mai stato risolto

Immagina di fotografare una targa a distanza.

Il sensore ha abbastanza pixel.

La fotocamera è esposta correttamente.

Ma l'obiettivo non è in grado di risolvere chiaramente i piccoli caratteri.

I personaggi arrivano al sensore come forme sfocate.

Ora applica la nitidezza.

I bordi potrebbero sembrare più forti.

Applica il miglioramento dell'IA.

Il risultato potrebbe sembrare ancora più convincente.

Ma c'è un problema.

I minimi dettagli originali non sono mai stati registrati correttamente.

Il software sta stimando come avrebbero potuto apparire i dettagli.

Per una fotografia casuale, ciò potrebbe essere perfettamente accettabile.

Per applicazioni quali il riconoscimento delle targhe, il riconoscimento facciale, l’ispezione industriale o la visione artificiale, “sembra plausibile” e “contiene informazioni affidabili” non sono necessariamente la stessa cosa.

Questa differenza è importante.

MTF è il luogo in cui la questione si fa seria

Questo è uno dei motivi a cui gli ingegneri ottici prestano attenzioneMTF (funzione di trasferimento della modulazione).

MTF descrive l'efficacia con cui un obiettivo preserva il contrasto a diversi livelli di dettaglio.

Una lente con scarse prestazioni ad alta frequenza potrebbe avere difficoltà a riprodurre strutture molto fini.

Nessuna quantità di post-elaborazione può magicamente far sì che l’obiettivo si comporti come un sistema ottico fondamentalmente migliore.

Il software può aumentare la nitidezza apparente.

Non può modificare la capacità di risoluzione fisica dell'obiettivo.

Questo è il motivo per cui una fotocamera con sensore da 8 MP può comunque produrre dettagli deludenti se il sistema ottico non è in grado di sfruttare quei pixel.

Puoi avere otto milioni di pixel.

Non puoi forzare una lente sfocata a fornire otto milioni di dettagli utili.

Che dire del miglioramento delle immagini tramite intelligenza artificiale?

È qui che le cose diventano particolarmente interessanti.

Il miglioramento delle immagini basato sull’intelligenza artificiale a volte può produrre risultati straordinariamente convincenti.

Ma esiste una sottile distinzione tra:

recuperare informazioni

E

generando un risultato probabile.

L’intelligenza artificiale può dedurre modelli in base a ciò che ha imparato.

Ciò può rendere un'immagine significativamente migliore per uno spettatore umano.

Ma se la fotocamera viene utilizzata per prendere una decisione obiettiva, gli ingegneri devono prestare attenzione.

Ad esempio, se un sistema di intelligenza artificiale identifica un veicolo, legge un testo o ispeziona un difetto di fabbricazione, i dettagli generati artificialmente potrebbero non sempre rappresentare ciò che era effettivamente presente nella scena.

In altre parole:

Una bella immagine non è automaticamente un’immagine affidabile.

Questa è una distinzione che vale la pena ricordare quando si progettano sistemi di visione AI.

Ci sono alcuni problemi che il software semplicemente non può annullare

Considera diversi problemi ottici comuni.

Scarsa risoluzione

Se l'obiettivo non è in grado di risolvere i dettagli più fini, il software dispone di informazioni reali limitate con cui lavorare.

Luce insufficiente

Un obiettivo lento in un ambiente buio può forzare il sensore a funzionare ad alto guadagno, producendo rumore e riducendo i dettagli utilizzabili.

Il software può ridurre il rumore, ma una riduzione aggressiva del rumore può anche rimuovere informazioni fini.

AcutoCromaticoAberrazione

Il software può correggere alcune aberrazioni cromatiche prevedibili, ma una grave aberrazione ottica significa comunque che la qualità dell'immagine originale è stata compromessa.

Prestazioni sui bordi scadenti

Se gli angoli di un'immagine grandangolare sono molto sfocati, la nitidezza digitale potrebbe farli apparire più contrastati senza ripristinare i dettagli mancanti.

Bagliori e immagini fantasma

Forti riflessi all'interno del sistema ottico possono contaminare l'immagine. Una volta che la luce indesiderata si è mescolata al segnale catturato, il software ha una capacità molto limitata di separarla perfettamente.

Ecco perché il design ottico è ancora importante.

La migliore fotocamera utilizza sia l'ottica che il software

La vera risposta non è:

Ottica vs. software.

È:

Ottica + software.

Una fotocamera ben progettata offre al software un buon punto di partenza.

L'obiettivo fornisce:

Risoluzione sufficiente

Adeguata trasmissione della luce

Distorsione controllata

Buon contrasto

Prestazioni dei bordi stabili

Abbinamento sensore appropriato

Quindi l'elaborazione delle immagini può prendere quella solida base ottica e rendere l'immagine finale ancora migliore.

Questo è molto più efficace che chiedere al software di salvare un sistema ottico fondamentalmente debole.

Consideralo come cucinare.

Il software è il condimento.

Un buon algoritmo può migliorare una buona immagine.

Ma se gli ingredienti sono già bruciati, aggiungere altro condimento probabilmente non è la soluzione.

Questo è ancora più importante per le fotocamere AI

Per la fotografia tradizionale, un’immagine leggermente imperfetta potrebbe semplicemente risultare poco attraente.

Per la visione basata sull’intelligenza artificiale, le conseguenze possono essere più gravi.

Gli algoritmi AI dipendono da funzionalità visive come:

Bordi

Forme

Texture

Contrasto

Colore

Confini degli oggetti

Se il sistema ottico distrugge queste caratteristiche prima che raggiungano il sensore, il sistema AI riceve un input peggiore.

Ciò può influire sulle prestazioni di rilevamento e riconoscimento.

Questo è il motivo per cui la progettazione ottica dovrebbe essere sempre più considerata parte del sistema di intelligenza artificiale, non semplicemente un componente collegato alla parte anteriore di una fotocamera.

Quindi, il software può riparare una lente difettosa?

Dipende da cosa intendi per "aggiustare".

Il software può correggere alcune caratteristiche ottiche prevedibili.

Può migliorare il contrasto.

Può ridurre il rumore.

Può rendere più nitide le immagini.

Può correggere la distorsione.

Ma il software non può sostituire completamente:

Buona risoluzione ottica.

Buona trasmissione della luce.

Buon allineamento ottico.

Buon controllo delle aberrazioni.

Il miglior algoritmo di elaborazione delle immagini al mondo ha ancora bisogno di fotoni con cui lavorare.

E quei fotoni devono prima viaggiare attraverso la lente.

Noi di Boshi Optics affrontiamo lo sviluppo degli obiettivi fotografici partendo da questo punto di partenza: il sistema ottico deve fornire informazioni utili prima che il software inizi a elaborarle. Con capacità di progettazione ottica, produzione, assemblaggio e test ottici, Boshi Optics sviluppa obiettivi per applicazioni tra cui telecamere di sicurezza, visione con intelligenza artificiale, imaging automobilistico, droni, imaging medico e altri sistemi di telecamere.

Perché alla fine il software può migliorare un'immagine.

Ma è l'obiettivo a decidere in primo luogo quali informazioni arrivano.