
计算机视觉系统的标准工作流程是:
一组图像识别进入系统。
使用特征提取器对这些图像识别进行预处理并提取特征。
机器学习系统通过提取的特征对模型进行训练,并作出预测。
以下简要说明在这三个不同步骤中数据可能的一些主要过程。
图像识别输入系统。
实现计算机视觉系统时,需要考虑图像识别采集硬件和图像识别处理软件两大部分。建立计算机视觉系统的主要要求之一就是测试其鲁棒性。
事实上,系统应该能够适应环境变化(如光源、方向、比例变化),并且能够重复地完成设计任务。要达到这些要求,可能需要对系统的硬件或软件施加一些约束(例如,对照明环境进行远程控制)。
当从硬件设备获取图像识别之后,软件系统中的颜色(颜色空间)可以用多种方法来数字化地表达。最著名的两个色彩空间是RGB(红、绿、蓝)和HSV(色调、饱和度、价值)。利用HSV色彩空间的一个主要优势是:只考虑HS的分量,系统照明可以保持恒定(如下图所示)。
RGB和HSV颜色空间。
特性提取器
图像识别预处理。
图像识别进入系统并使用collespace表示后,就可以将不同的运算符应用到图像识别上来改进它的表现:
1.点类运算子:使用图像识别中的所有点来创建原始图像识别的转换版本(明确显示图像识别内容而不改变其内容)。例如:强度归一化、直方图均衡化和阈值化等点类运算符。点类操作符经常被用来更好的可视化人类的视觉图像识别,但是这并不一定给计算机视觉系统带来任何好处。
2.组类操作符:在本例中,从原始图像识别中取得一组点,以便在转换后的图像识别中创建一个点。这类操作通常通过使用卷积来完成。要获取转换结果,您可以使用不同类型的内核对图像识别进行卷积。
核心卷积
图像识别经过预处理后,可应用更高级的技术,通过使用一阶边缘检测(如Prewitt算子、Sobel算子、Canny边缘检测器)和Hov变换来尝试提取图像识别的边缘和形状。
特性提取
经过图像识别的预处理后,可以利用特征提取器从图像识别中提取出四种主要的特征形态:
总体特征:对整个图像识别进行整体分析,然后从特征提取器中提取单个特征向量。一个简单的全局特征的例子就是合并像素值的直方图。
以区域为基础的特征:将图像识别分成不同的区域(例如,使用诸如阈值或K-Means聚类等技术,然后用连通域来连接它们作为片段),然后从每一个区域中提取特征。特征的提取可通过区域和边界的描述技术(如“矩”和“链码”)来进行。
提出了一种基于网格或块的方法,将图像识别分成多个分块,从各分块中提取特征。用来从图像识别块中提取特征的一种主要技术是密集SIFT(不变尺度特征转换)。这类功能通常用于训练机器学习模型。
局部特征:在图像识别中检测出多个单个兴趣点,通过对相邻兴趣点像素进行特征提取。有两种主要的兴趣点类型是角点和斑点,可以利用Harris&Stephens的角点检测算法和高斯拉普拉斯算子等方法提取它们。
最终,可以使用诸如SIFT(尺度不变的特征转换)等技术,从检测到的兴趣点提取特征。为了构造全景/3D重构或从数据库检索图像识别,通常使用局部特征对图像识别进行匹配。
只要提取出一组判别特征,就可以用它们训练机器学习模型进行推理。像OpenCV这样的库很容易在Python中应用功能描述符。
机器学习。
视觉词袋模型(BoVW)是计算机视觉中用于图像识别分类的一个主要概念。要构建一个视觉词袋模型,首先要从一组图像识别中提取所有的特征(例如,使用基于网格的特征或局部特征)创建词汇表。
然后计算提取出的特征出现在图像识别中的次数,并根据结果构造频率直方图。以频率直方图为模板,最终可以通过比较图像识别的直方图来判断图像识别是否属于同一类别。
这一过程可被归纳为以下步骤:
1.首先利用特征提取算法(如SIFT和DenseSIFT)从图像识别数据集中提取不同的特征来建立词汇表。
2.其次,利用K-Means或DBSCAN等算法对词汇表中的所有特征进行聚类,并利用聚类中心归纳数据分布。
3.最后,每幅图像识别的频率直方图是通过计算词汇中不同特征出现在图像识别中的次数。
通过对每幅待分类的图像识别重复相同的处理,然后利用任意分类算法,找出词汇表中哪个图像识别与被测试图像识别最相似,从而对新图像识别进行分类。
直观词汇包模型
目前,由于建立了卷积神经网络(CNN)和递归人工神经网络(RCNN)等人工神经网络体系结构,为计算机视觉研究提供了一种新的工作流程。
计算机视觉工作流程。
该方法将计算机视觉工作流程中的特征提取与分类相结合,实现深度学习。在将卷积神经网络用于描述时,神经网络的每一层在向密集层分类器提供特征向量之前,分别采用不同的特征提取技术(例如,第一层检测边缘,第二层在图像识别中找到形状,第三层分割图像识别等)。
不只如此,机器学习在计算机视觉中的应用还包括了多标签分类和目标识别。提出了一种基于多标签分类的模型,该模型能准确地识别出图像识别中的物体数量,以及它们属于哪一类。并且在目标识别方面,识别出图像识别中不同物体的位置,进一步发展了这个概念。






