Perché le fotocamere AI stanno cambiando il modo in cui sono progettati gli obiettivi
Per molto tempo, lo sviluppo delle fotocamere ha seguito una logica abbastanza semplice:
Sensore migliore → risoluzione più elevata → fotocamera migliore.
Poi è entrata in scena l’intelligenza artificiale.
All'improvviso, la telecamera non si limitava più a registrare quello che era successo.
Ci si aspettava che lo capisse.
Una telecamera di sicurezza potrebbe dover distinguere una persona da un veicolo. Un robot potrebbe dover riconoscere un ostacolo. Un drone potrebbe aver bisogno di comprendere l’ambiente circostante mentre si muove ad alta velocità.
E questo crea un problema che non riceve abbastanza attenzione:
L’intelligenza artificiale può funzionare solo con le informazioni visive fornite dalla fotocamera.
Un algoritmo brillante non può recuperare dettagli che il sistema ottico non ha mai catturato.
Questo è il motivo per cui l’intelligenza artificiale sta cambiando silenziosamente il modo in cui sono progettati gli obiettivi delle fotocamere.
L'intelligenza artificiale non fa scomparire le ottiche scadenti
È forte la tentazione di pensare che modelli di intelligenza artificiale sempre più potenti compenseranno le fotocamere mediocri.
A volte la fotografia computazionale può aiutare.
La riduzione del rumore può migliorare un'immagine.
L'affilatura può rendere i bordi più forti.
Il miglioramento dell'intelligenza artificiale può ricostruire dettagli visivamente plausibili.
Ma c'è una differenza tra migliorare l'aspetto di un'immagine e catturare informazioni più reali.
Se un oggetto è molto sfocato a causa della scarsa risoluzione ottica, il software non è in grado di ricreare in modo affidabile i minimi dettagli originali.
Se un’immagine notturna non contiene quasi nessun segnale utilizzabile, un algoritmo non può semplicemente inventare prove visive affidabili.
Ciò è particolarmente importante per le applicazioni di sicurezza e industriali in cui l'immagine non viene visualizzata per intrattenimento.
Viene utilizzato per prendere decisioni.
Le prestazioni in condizioni di scarsa illuminazione stanno diventando un requisito dell'intelligenza artificiale
Una delle maggiori sfide per le fotocamere AI è la scarsa illuminazione.
Gli esseri umani possono spesso esprimere giudizi ragionevoli in ambienti poco illuminati.
I sistemi di visione artificiale sono meno indulgenti.
Quando l'illuminazione diminuisce, le telecamere in genere sono rivolte:
Aumento del rumore del sensore
Contrasto inferiore
Sfocatura movimento
Perdita di informazioni sul colore
Ridotta definizione dei bordi
Questi problemi possono influenzare direttamente il rilevamento e la classificazione dell’IA.
Consideriamo una persona che cammina in un parcheggio di notte.
In una scena luminosa, l'IA può avere informazioni chiare sulla sagoma, sull'abbigliamento, sui movimenti e sull'ambiente circostante della persona.
In una scena scarsamente illuminata, la stessa persona può diventare una silhouette rumorosa.
L’algoritmo non è diventato improvvisamente stupido.
L'input è diventato semplicemente molto più difficile da interpretare.
Questo è uno dei motivi per cui i progetti ottici ad ampia apertura e in condizioni di scarsa illuminazione stanno diventando sempre più rilevanti per i sistemi di visione AI.
Pixel più piccoli creano richieste ottiche maggiori
I sensori moderni continuano ad aumentare la densità dei pixel.
Ciò crea più dati immagine, ma impone anche maggiori esigenze all'obiettivo.
Pixel più piccoli possono richiedere al sistema ottico di risolvere dettagli spaziali più fini.
Se l'obiettivo non riesce a tenere il passo, l'aggiunta di pixel produce rendimenti decrescenti.
Ciò è particolarmente importante per le telecamere AI perché il sistema può dipendere da caratteristiche visive relativamente piccole.
Un essere umano può riconoscere un oggetto dalla sua forma generale.
Un modello di intelligenza artificiale può fare affidamento su motivi, bordi, trame o relazioni di colore sottili.
L'obiettivo deve quindi fornire un'immagine sufficientemente pulita affinché queste caratteristiche sopravvivano all'intero processo di imaging.
Questo è uno dei motivi per cui è sempre più necessario che la progettazione ottica e la selezione dei sensori avvengano insieme.
Gli obiettivi grandangolari creano un interessante compromesso sull'intelligenza artificiale
Le telecamere AI spesso necessitano di un ampio campo visivo.
I robot devono comprendere l’ambiente circostante.
I droni hanno bisogno di consapevolezza della situazione.
Le telecamere di sicurezza devono coprire vaste aree.
Allora perché non allargare semplicemente l'obiettivo?
Perché l'ottica grandangolare presenta le proprie sfide.
All’aumentare del campo visivo, i progettisti devono gestire:
Distorsione
Risoluzione dei bordi
Illuminazione relativa
Aberrazione cromatica
Geometria dell'immagine
Un obiettivo molto ampio può catturare una parte maggiore dell'ambiente ma produrre una qualità dell'immagine inferiore in prossimità dei bordi.
Per la visione umana, ciò potrebbe essere accettabile.
Per l’intelligenza artificiale, le cose possono diventare più complicate.
Se gli oggetti vicino al bordo dell'immagine sono fortemente distorti o sfocati, all'algoritmo viene chiesto di interpretare le informazioni visive che sono già degradate.
Ciò crea un compromesso progettuale fondamentale:
Più campo visivo rispetto a più dettagli utilizzabili.
La risposta corretta dipende dall'applicazione.
Robotica: le lenti stanno diventando parte del sistema di percezione
L’ascesa dell’intelligenza artificiale incorporata sta spingendo ulteriormente questo problema.
Un robot non può permettersi il lusso di chiedere:
"Qualcuno può accendere le luci?"
Deve operare nell'ambiente che gli viene dato.
Tale ambiente può contenere:
Ombre
Illuminazione irregolare
Superfici riflettenti
Spazi ristretti
Spostamento di persone
Oggetti a distanze diverse
La telecamera fa quindi parte del sistema di percezione del robot.
Per la visione robotica, la progettazione delle lenti deve considerare:
Campo visivo
Distorsione
Prestazioni in condizioni di scarsa illuminazione
Risoluzione
Requisiti di percezione della profondità
Dimensioni e peso
Un obiettivo che produce una bella immagine di laboratorio potrebbe non essere necessariamente l'obiettivo giusto per un robot in movimento.
L'affidabilità nel mondo reale conta più di una demo perfetta.
UAV e droni necessitano di un equilibrio ottico diverso
I droni creano un’altra sfida interessante.
Una telecamera per droni potrebbe aver bisogno di:
Ampio campo visivo + peso ridotto + buona risoluzione + capacità in condizioni di scarsa illuminazione.
Questa è una combinazione difficile.
Un ampio campo visivo aiuta il drone a comprendere il suo ambiente.
Il peso ridotto aiuta l'efficienza del volo.
Una buona risoluzione aiuta a identificare gli oggetti.
Le prestazioni in condizioni di scarsa illuminazione diventano importanti all'alba, al tramonto, al volo indoor o in condizioni meteorologiche difficili.
I sistemi FPV aggiungono un altro requisito:
L'immagine deve sembrare immediata.
Sfocatura del movimento, scarsa esposizione o eccessiva distorsione dell'immagine possono influenzare negativamente la percezione visiva del pilota.
Questo è il motivo per cui la progettazione delle lenti dei droni sta diventando sempre più un problema di ottimizzazione piuttosto che una semplice selezione della lunghezza focale.
La sorveglianza dell’intelligenza artificiale si sta spostando dal rilevamento alla comprensione
Le telecamere di sicurezza forniscono uno degli esempi più chiari di questa transizione.
La sorveglianza tradizionale chiedeva:
"Si è mosso qualcosa?"
La moderna sorveglianza basata sull’intelligenza artificiale chiede:
Chi si è trasferito?
Che veicolo è questo?
In che direzione sta viaggiando?
Quale oggetto viene trasportato?
Il comportamento è insolito?
Cosa è successo prima e dopo l'evento?
Quanto più avanzate diventano le analisi, tanto più preziosa diventa l'immagine originale.
Questo è il motivo per cui l’imaging a colori in condizioni di scarsa illuminazione sta attirando l’attenzione.
Il colore può fornire informazioni utili per:
Classificazione dei veicoli
Identificazione dell'abbigliamento
Riconoscimento degli oggetti
Comprensione della scena
Gli infrarossi rimangono estremamente utili in ambienti molto bui, ma quando è disponibile la luce ambientale visibile, un sistema ottico ad ampia apertura può aiutare a preservare le informazioni che altrimenti scomparirebbero quando una telecamera passa alla visione notturna monocromatica.
L'obiettivo sta diventando un componente di qualità dei dati
Questo è forse il cambiamento più grande che l’intelligenza artificiale sta apportando all’ingegneria ottica.
Storicamente, le lenti venivano spesso trattate come componenti di imaging.
Ora dovrebbero essere sempre più considerati componenti della qualità dei dati.
La fotocamera cattura i dati.
L'obiettivo determina la quantità di informazioni ottiche utili che raggiungono il sensore.
Il sensore converte tali informazioni in segnali elettrici.
L'ISP lo elabora.
Il modello AI lo interpreta.
Se la prima fase è debole, ogni fase successiva deve lavorare di più.
Questa non è sempre una buona strategia.
Di solito è meglio acquisire informazioni migliori all’inizio piuttosto che spendere enormi risorse computazionali cercando di ripararle in seguito.
Cosa significa questo per la progettazione delle lenti?
È probabile che i futuri obiettivi per fotocamere IA siano progettati sempre più in base ai requisiti applicativi piuttosto che a specifiche isolate.
Gli ingegneri potrebbero dover considerare:
Design ottico specifico del sensore
Invece di supportare semplicemente il formato del sensore, gli obiettivi devono corrispondere alle caratteristiche effettive del sensore.
Migliori prestazioni in condizioni di scarsa illuminazione
I sistemi di intelligenza artificiale necessitano di informazioni visive utilizzabili anche quando l’illuminazione è limitata.
Prestazioni dei bordi più costanti
I sistemi grandangolari necessitano di informazioni utilizzabili in tutta l'immagine, non solo al centro.
Controllatodistorsione
Alcune applicazioni possono tollerare la distorsione. Altri no.
Stabilità termica
Robot, veicoli, droni e telecamere esterne possono funzionare in ampi intervalli di temperature.
Ottimizzazione specifica dell'applicazione
L'obiettivo di sicurezza ideale non è necessariamente l'obiettivo di robotica ideale.
Il futuro appartiene ai sistemi ottici progettati in base al lavoro che devono svolgere.
Cosa stiamo imparando alla Ottica Boshi
AOttica Boshi, operiamo nel campo della sorveglianza di sicurezza, dell'imaging automobilistico, dell'imaging medico, dei dispositivi intelligenti e di altre applicazioni ottiche. Questa gamma di applicazioni rende particolarmente evidente una cosa:
Non esiste una definizione universale di “buon obiettivo”.
Un obiettivo grandangolare può essere eccellente per una fotocamera e completamente inadatto per un'altra.
Una lente ad alta risoluzione potrebbe non essere necessaria per un sistema di monitoraggio a basso costo, ma essenziale per la visione artificiale.
Un obiettivo ad ampia apertura può essere fondamentale per un'applicazione di sorveglianza notturna ma meno importante in un ambiente industriale controllato.
Questo approccio incentrato sull’applicazione è sempre più importante poiché le fotocamere diventano parte dei sistemi di intelligenza artificiale.
L’obiettivo dovrebbe essere progettato in base alle informazioni che l’intelligenza artificiale deve ricevere, non semplicemente in base alle specifiche che sembrano impressionanti su una scheda prodotto.
Il futuro: dal “vedere chiaramente” al “vedere utilmente”
L’intelligenza artificiale sta cambiando lo scopo delle fotocamere.
Una macchina fotografica non esiste più semplicemente per produrre un’immagine attraente.
Esiste per fornire informazioni.
Ciò cambia le priorità ottiche.
La domanda non è più solo:
"Quanto è nitido questo obiettivo?"
Diventa:
"Questa lente fornisce informazioni visive affidabili per l'attività effettiva del sistema?"
Per motivi di sicurezza, ciò potrebbe significare preservare l'aspetto di una persona durante la notte.
Per la robotica, ciò può significare mantenere il riconoscimento degli oggetti attraverso un ampio campo visivo.
Per i droni, ciò potrebbe significare bilanciare la percezione grandangolare con le prestazioni in condizioni di scarsa illuminazione.
Per la visione industriale, ciò può significare risolvere in modo coerente piccoli difetti.
La rivoluzione dell’intelligenza artificiale può essere guidata dagli algoritmi, ma gli algoritmi hanno ancora bisogno di qualcosa a cui prestare attenzione.
Ed è per questo che anche il futuro della visione AI sarà modellato dall’ottica.
