Universal Image Quality Index - Version II

  • Published on
    13-Jul-2015

  • View
    243

  • Download
    5

Transcript

Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoA Universal Image Quality IndexMtrica de Avaliao da Qualidade em Imagens DigitaisMichel Alves dos SantosPs-Graduao em Engenharia de Sistemas e ComputaoUniversidade Federal do Rio de Janeiro - UFRJ - COPPECidade Universitria - Rio de Janeiro - CEP: 21941-972Docente Responsvel: Prof. Dsc. Ricardo Marroquim{michel.mas, michel.santos.al}@gmail.com03 de Maio de 2013Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoComo Medir a Qualidade de Imagens?Figura: Avaliao de Imagens. (A) Imagem original Lena, 512x512, 8bits/pixel; (B) Imagem contaminada com rudo gaussiano aditivo.Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoMtricas de QualidadeMtricas de Qualidade Subjetivas e Objetivas.Figura: Organograma exibindo alguns tipos de mtricas de qualidade.Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoMtricas de QualidadeClassificao Referencial das MtricasMichel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoMtricas de QualidadeEmpregabilidade das Mtricas de QualidadeMichel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoAplicaes das Mtricas de Qualidadereas nas quais essas mtricas podem atuar.Aplicaes na rea Geolgica;Aplicaes na rea Metereolgica;Aplicaes na rea Mdica;Aplicaes na rea Militar;Aplicaes na rea de Transmisso de Vdeo, etc.Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoPreviamente...Antes do ndice de Qualidade Universal.Abordaremos, apenas a ttulo de comparao,outras mtricas que so amplamente utilizadas.As mtricas abordadas sero:MSE I Mean Squared Error;NRMSE I Normalized Root Mean Squared Error;PSNR I Peak Signal-To-Noise Ratio.Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoMSE - Mean Squared ErrorSejam x = {xi |i = 1, 2, . . . ,N} e y = {yi |i = 1, 2, . . . ,N} ossinais de duas imagens e N o nmero de sinais das imagens.O MSE entre as imagens x e y ser dado por:MSE (x , y) = 1NNi=1(xi yi)2 largamente usado em tarefas de otimizao eproblemas de deconvoluo, porm possui limitaesquando usado na predio da percepo humana dequalidade e fidelidade de imagens.Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoNRMSE - Normalized Root Mean Squared ErrorSejam x = {xi |i = 1, 2, . . . ,N} e y = {yi |i = 1, 2, . . . ,N} ossinais de duas imagens e N o nmero de sinais das imagens.O NRMSE entre as imagens x e y ser dado por:NRMSE (x , y) = Ni=1(xi yi)2/ Ni=1x 2iOnde ser dado por: = Ni=1(xi yi)/ Ni=1y 2iMichel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoPSNR - Peak Signal-To-Noise RatioO PSNR uma relao entre o mximo possvel depotncia de um sinal, pela potncia do rudo, quandocomparamos um sinal antes e depois de um processo dedegradao. Sua unidade o dB (decibel).O ndice de qualidade definido como:PSNR = 10 log10MAX 2pMSE = 20 log10( MAXpMSE)Onde MAXp o valor mximo possvel de um pixel eMSE o erro quadrtico mdio do conjunto avalidado.Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoPeak Signal-To-Noise RatioAplicando o conceito de PSNR em vdeos e imagens,podemos observar que o mesmo a relao entre aentrada e a sada de um processo de compresso comperdas, que avalia o quanto o processo introduziurudos na imagem ou frame original.Quanto maior o valor do PSNR, maior a relao entrea potncia do sinal pela potncia do rudo, o quesignifica melhor qualidade.Valores de PSNR acima de 42dB correspondem compresses que introduzem perdas imperceptveis aoolho humano, o que significa uma qualidadeexcepcional.Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoPeak Signal-To-Noise RatioQuadro de Qualidade dos Valores PSNRQualidade ValoresQualidade Excepcional Acima de 42dBBastante Aceitvel Acima de 36dBQualidade Mediana Entre 30dB e 36dBBaixa Qualidade Abaixo de 30dBTabela: Quadro com as faixas de qualidade para o ndice PSNR.Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoA Universal Image Quality IndexMovidos pela necessidade de uma mtrica que fossefcil de se obter e de ser empregada em vriasaplicaes de processamento de imagens, Zhou Wang eAlan Bovik propuseram um novo ndice.Diferente dos mtodos tradicionais de avaliao deerro, o ndice proposto foi concebido para modelagemde quaisquer distores em imagens como umacombinao de 3 fatores:Perda de Correlao;Distores na Luminncia;Distores no Contraste.Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoCaractersticas da Nova MtricaPrincipais Caractersticas do ndice de QualidadeMatematicamente definido;Baixa complexidade computacional;Modelado para lidar com diferentes tipos de distoro;Independente de avaliao humanaMichel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoDefinio do Novo ndice de QualidadeSejam x = {xi |i = 1, 2, . . . ,N} e y = {yi |i = 1, 2, . . . ,N} ossinais das imagens original e de teste, respectivamente.O novo ndice de qualidade proposto ser definidocomo:Q = 4xy x y(2x + 2y)[(x)2 + (y)2]Os valores assumidos por Q variam no intervalo [1, 1]Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoDetalhamento do Novo ndice de QualidadeQ = 4xy x y(2x + 2y)[(x)2 + (y)2]x = 1NNi=1xi y = 1NNi=1yi2x =1N1Ni=1(xi x)2 2y = 1N1Ni=1(yi y)2xy =1N1Ni=1(xi x)(yi y)Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoOs Trs Fatores que Compem o ndiceQ = 4xy x y(2x + 2y)[(x)2 + (y)2]O novo ndice de qualidade pode ser reescrito como oproduto de trs fatores ou componentes:Q = xyxy 2 x y(x)2 + (y)2 2xy2x + 2yMichel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoEntendendo Melhor a Composio de Fatores.Q = xyxy 2 x y(x)2 + (y)2 2xy2x + 2yxyxy= Coeficiente de correlao entre x e y .2 x y(x)2 + (y)2 = Coeficiente de luminncia entre x e y .2xy2x + 2y= Coeficiente de constraste entre x e y .Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoQuadro de Avaliao dos Fatores.Q = xyxy 2 x y(x)2 + (y)2 2xy2x + 2yFator Intervalo Melhor CasoCoeficiente de Correlao [1, 1] yi = axi + b, i = 1, 2, . . . ,NCoeficiente de Luminncia [0, 1] x = yCoeficiente de Contraste [0, 1] x = yTabela: Quadro comparativo entre os fatores que compem o ndice.Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoFinalmente... Como Funciona o Algoritmo?Usando a abordagem de janelas deslizantes!Comeamos pelo canto superior esquerdo da imagemcom uma janela deslizante de tamanho B B.Movemos a janela pixel a pixel, de maneira horizontal evertical atravs de todas as linhas e colunas da imagemat alcanar o canto inferior da mesma.A cada passo computamos o ndice de qualidade localQj levando em considerao apenas os valores internosda janela.Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoIlustrando...Passo 1Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoIlustrando...Passo 2Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoIlustrando...Passo 3Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoIlustrando...Passo 20Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoIlustrando...Passo 21Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoIlustrando...J-simoMichel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoAo Final do Processo...Ao trmino do processo:Teremos executado um total de M passos.O ndice de qualidade global da imagem ser dado por:Q = 1MMj=1QjE alm disso teremos acesso ao mapa de ndices dequalidade da imagem.Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoMapa de ndices de QualidadeAdmitindo um bloco de avaliao de dimenso B B:Map.Width = Image.Width - B + 1Map.Height = Image.Height - B + 1Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoFluxograma - Obteno do ndice de QualidadeMichel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoExemplo - Obtido Atravs da Plataforma RMichel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoMapas - Obtidos Atravs da Plataforma RMichel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e Computaondices - Obtidos Atravs da Plataforma R.ndices Relativos ao Exemplo Anterior.ndice Valor EncontradoUniversal Image Quality Index (UIQI) 0.60898Mean Squared Error (MSE) 81.3293Normalized Root Mean Squared Error (NRMSE) 0.00469Peak Signal-To-Noise Ratio (PSNR) 29.0283Tabela: Quadro com os ndices encontrados utilizando a plataforma Rpara a imagem Lena, 512x512, 8bits/pixel. Observe que um simplesdesfoque gaussiano levemente aplicado faz com que o PSNR atinja olimiar de qualidade que dito como bastante aceitvel quando seu valorse encontra acima de 36dB e mediano entre 30dB e 36dB.Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoCodificao da Funo Mdia em RExibindo a funo que computa a mdia dosblocos original e de teste.x = 1NNi=1xi y = 1NNi=1yiImplementada na Plataforma R. 1 MyMeanFunction Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoCodificao da Funo Varincia em RExibindo a funo que computa a varinciados blocos original e de teste.2x =1N1Ni=1(xi x)2 2y = 1N1Ni=1(yi y)2Implementada na Plataforma R. 1 MySquaredSigmaFunction Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoCodificao da Funo Covarincia em RExibindo a funo que computa a covarincia.xy =1N1Ni=1(xi x)(yi y)Implementada na Plataforma R. 1 MyDoubleSigmaFunction Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoCodificao do ndice em R 1 MyUn i v e r s a l ImageQua l i t y I ndexPe rB l o ck Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoCodificao do Mapa em R 1 MyUnive r sa l ImageQua l i t y IndexMap Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoAlguns Cuidados Devem Ser Tomados!Devemos prestar ateno ao clculo das componentesdo ndice de Qualidade!O que acontece com o ndice se o seguinte bloco foravaliado?132 132 132 132 132 132 132 132132 132 132 132 132 132 132 132132 132 132 132 132 132 132 132132 132 132 132 132 132 132 132132 132 132 132 132 132 132 132132 132 132 132 132 132 132 132132 132 132 132 132 132 132 132132 132 132 132 132 132 132 132Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoQuadro Comparativo.Estimativas Fornecidas e Encontradas.Distoro Artigo Encontrado MSEA MSEEMean Shift 0.9894 0.98939 225 225.032Contrast Stretching 0.9372 0.93389 225 225.244Impulsive Salt-Pepper Noise 0.6494 0.64889 225 225.472Multiplicative Speckle Noise 0.4408 0.44048 225 225.769Additive Gaussian Noise 0.3891 0.38898 225 226.283Blurring 0.3461 0.34302 225 224.741Jpeg Compression 0.2876 0.28725 215 215.603Tabela: Quadro comparativo entre os ndices fornecidos pelo artigo eencontrados atravs de implementao do algoritmo utilizando aplataforma R para a imagem Lena, 512x512, 8bits/pixel. MSEA -fornecido no artigo. MSEE - encontrado atravs de implementao.Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoQuadro Comparativo - Mean Shift.Figura: Comparao entre imagens: Lena, 512x512, 8 bits/pixel.Avaliao Utilizando Imagem Original e Mean ShiftMichel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoComparativo Detalhado - Mean Shift.Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoQuadro Comparativo - Contrast Stretching.Figura: Comparao entre imagens: Lena, 512x512, 8 bits/pixel.Avaliao Utilizando Imagem Original e Contrast StretchingMichel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoComparativo Detalhado - Contrast Stretching.Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoQuadro Comparativo - Impulsive Salt-Pepper Noise.Figura: Comparao entre imagens: Lena, 512x512, 8 bits/pixel.Avaliao Utilizando Imagem Original e Salt-Pepper NoiseMichel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoComparativo Detalhado - Impulsive Salt-Pepper Noise.Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoQuadro Comparativo - Multiplicative Speckle Noise.Figura: Comparao entre imagens: Lena, 512x512, 8 bits/pixel.Avaliao Utilizando Imagem Original e Speckle NoiseMichel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoComparativo Detalhado - Multiplicative Speckle Noise.Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoQuadro Comparativo - Additive Gaussian Noise.Figura: Comparao entre imagens: Lena, 512x512, 8 bits/pixel.Avaliao Utilizando Imagem Original e Gaussian NoiseMichel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoComparativo Detalhado - Additive Gaussian Noise.Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoQuadro Comparativo - Blurring.Figura: Comparao entre imagens: Lena, 512x512, 8 bits/pixel.Avaliao Utilizando Imagem Original e BlurringMichel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoComparativo Detalhado - Blurring.Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoQuadro Comparativo - Jpeg Compression.Figura: Comparao entre imagens: Lena, 512x512, 8 bits/pixel.Avaliao Utilizando Imagem Original e Jpeg CompressionMichel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoComparativo Detalhado - Jpeg Compression.Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoIsso tudo pessoal !!!Michel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESC Ps-Graduao em Engenharia de Sistemas e ComputaoAgradecimentosGrato Pela Ateno!Michel Alves dos Santos - michel.mas@gmail.comMichel Alves - Laboratrio de Computao Grfica - LCG Introduo ao Processamento Digital de Imagens - COS756Universidade Federal do Rio de Janeiro - COPPE / PESCPs-Graduao em Engenharia de Sistemas e Computao