1.评价方法

图像质量评价分为:主观和客观两个方面。其中客观又分为全参考、半参考和无参考三种

详情见如下博客内容

https://blog.csdn.net/shinuone/article/details/149176494

2.评价指标和评价算法

GitHub - chaofengc/IQA-PyTorch: 👁️ 🖼️ 🔥PyTorch Toolbox for Image Quality Assessment, including PSNR, SSIM, LPIPS, FID, NIQE, NRQM(Ma), MUSIQ, TOPIQ, NIMA, DBCNN, BRISQUE, PI and more...

IQA-PyTorch/docs/ModelCard.md at main · chaofengc/IQA-PyTorch · GitHubhttps://github.com/chaofengc/IQA-PyTorch/blob/main/docs/ModelCard.md

按照git上的要求搭好环境后使用以下testiqa.py进行测试,图片可以放在绝对路径下

import pyiqa
# pyiqa是pytorch实现的图像质量评估库,直接pip install
import torch
from PIL import Image
import torchvision.transforms as transforms

# 可以列出左右库里的函数
print(pyiqa.list_models())

device = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")

# 示例
iqa_metric = pyiqa.create_metric('arniqa', device=device) #随意选择上述存在的模型,注意是否是NR的
to_tensor = transforms.ToTensor()
img_path=r"E:\code\pytorch_test\IQA-PyTorch-main\IQA-PyTorch-main\test.jpg" #图片路径
img = to_tensor(Image.open(img_path)).unsqueeze(0)
score = iqa_metric(img)
print("NIME:", score.item())

测试结果如下图所示

表示使用该模型arniqa,得到的分数为0.45

3.常用的无参考的IQA方法详细解析

详见博客

【IQA技术专题】使用CLIP进行IQA:CLIPIQA-CSDN博客

其中涉及到图像的美感以及感知评价的模型主要有:

LPIPS(learned perceptual Image patch similarity)使用预训练的深度网络(如VGG、Alexnet)来提取图像特征,然后计算这些特征之间的距离,以评估图像之间的感知相似度

hyperiqa(blindly Assess Image Quality in the wild Guided by A self-Adaptive Hyper Network)一种针对无参考图像质量评价的自适应Hyper Network 

提出了一种自适应超网络架构来无参考评估图像质量。将IQA过程分为三个阶段:内容理解、感知规则学习和质量预测,提取图像语义后由超网络自适应建立感知规则,再由质量预测网络采用。

clipiqa(contrastive language-image pretranining mode)图文多模态模型

exploring clip for assessing the look and feel of image 探索了clip模型在图像的质量感知(look)和抽象感知(feel)评估中的潜力,提出了clip-iqa模型,其核心改进为反义词提示词配对策略和移除位置嵌入,无需任务特定训练即可实现评估

这种方法突破了传统iqa方法的三大局限:

1.无需手工特征工程

2.跨领域泛化能力

3.零样本学习能力

对于CLIP模型的结构学习

【小白】一文读懂CLIP图文多模态模型_clip模型-CSDN博客

 经典多模态模型CLIP - 直观且详尽的解释 - 知乎

将CLIP模型用于iqa的过程见如下博客

【IQA技术专题】使用CLIP进行IQA:CLIPIQA-CSDN博客

Logo

开源鸿蒙跨平台开发社区汇聚开发者与厂商,共建“一次开发,多端部署”的开源生态,致力于降低跨端开发门槛,推动万物智联创新。

更多推荐