图像质量评价(IQA)
1.评价方法
图像质量评价分为:主观和客观两个方面。其中客观又分为全参考、半参考和无参考三种

详情见如下博客内容
https://blog.csdn.net/shinuone/article/details/149176494
2.评价指标和评价算法

按照git上的要求搭好环境后使用以下testiqa.py进行测试,图片可以放在绝对路径下
import pyiqa
# pyiqa是pytorch实现的图像质量评估库,直接pip install
import torch
from PIL import Image
import torchvision.transforms as transforms
# 可以列出左右库里的函数
print(pyiqa.list_models())
device = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")
# 示例
iqa_metric = pyiqa.create_metric('arniqa', device=device) #随意选择上述存在的模型,注意是否是NR的
to_tensor = transforms.ToTensor()
img_path=r"E:\code\pytorch_test\IQA-PyTorch-main\IQA-PyTorch-main\test.jpg" #图片路径
img = to_tensor(Image.open(img_path)).unsqueeze(0)
score = iqa_metric(img)
print("NIME:", score.item())
测试结果如下图所示
表示使用该模型arniqa,得到的分数为0.45

3.常用的无参考的IQA方法详细解析
详见博客
【IQA技术专题】使用CLIP进行IQA:CLIPIQA-CSDN博客
其中涉及到图像的美感以及感知评价的模型主要有:
LPIPS(learned perceptual Image patch similarity)使用预训练的深度网络(如VGG、Alexnet)来提取图像特征,然后计算这些特征之间的距离,以评估图像之间的感知相似度
hyperiqa(blindly Assess Image Quality in the wild Guided by A self-Adaptive Hyper Network)一种针对无参考图像质量评价的自适应Hyper Network
提出了一种自适应超网络架构来无参考评估图像质量。将IQA过程分为三个阶段:内容理解、感知规则学习和质量预测,提取图像语义后由超网络自适应建立感知规则,再由质量预测网络采用。
clipiqa(contrastive language-image pretranining mode)图文多模态模型
exploring clip for assessing the look and feel of image 探索了clip模型在图像的质量感知(look)和抽象感知(feel)评估中的潜力,提出了clip-iqa模型,其核心改进为反义词提示词配对策略和移除位置嵌入,无需任务特定训练即可实现评估
这种方法突破了传统iqa方法的三大局限:
1.无需手工特征工程
2.跨领域泛化能力
3.零样本学习能力
对于CLIP模型的结构学习
【小白】一文读懂CLIP图文多模态模型_clip模型-CSDN博客
将CLIP模型用于iqa的过程见如下博客
更多推荐




所有评论(0)