Google Pixel 3, modalità ritratto con machine learning

A parte qualche problema di "gioventù", i nuovi Pixel 3 e Pixel 3 XL sono considerati quasi all'unanimità i migliori smartphone Android sul mercato. Mentre gli altri produttori usano almeno due fotocamere posteriori per l'effetto bokeh, Google ha scelto ancora una singola fotocamera (sensore da 12,2 megapixel) per ottenere lo stesso risultato. Ciò è possibile grazie al machine learning.

Anche i Pixel 2 e Pixel 2 XL offrivano la modalità ritratto, ma sfruttavano il PDAF (autofocus a rilevamento di fase) e un tradizionale algoritmo stereo per applicare l'effetto bokeh. In pratica venivano catturate due viste leggermente diverse della stessa scena, creando un effetto parallasse. Quest'ultimo è funzione della distanza del punto dalla fotocamera e dalla distanza tra le due viste, per cui è possibile stimare la profondità, informazione necessaria per sfocare lo sfondo.

Per migliorare la qualità delle foto in modalità ritratto è stata utilizzata una rete neurale convoluzionale, scritta in TensorFlow. La rete è stata addestrata fornendo come input numerose immagini PDAF e le corrispondenti mappe di profondità in alta qualità. Le mappe sono state ottenute dalle foto scattate con un "Frankenphone" formato da cinque Pixel 3. Grazie ad un dispositivo WiFi è stato possibile scattare la stessa foto contemporaneamente con tutti gli smartphone (tolleranza di 2 millisecondi) e misurare la profondità di ogni oggetto nella scena.

Tutti i calcoli vengono eseguiti direttamente sui Pixel 3, sfruttando la potenza della GPU integrata nello Snapdragon 845. Dato che le mappe di profondità sono inglobate nelle immagini Portrait Mode (Google Camera 6.1 e successive versioni), l'utente può utilizzare l'editor dell'app per cambiare il livello di sfocatura e il punto di fuoco dopo lo scatto.

  • shares
  • +1
  • Mail