本发明属于温度采集技术领域，具体涉及一种濠江集装箱温度信息采集方法、装置及系统，尤其涉及一种濠江冷藏濠江集装箱的温度采集方法。
随着运输业的发展越来越迅速，濠江集装箱作为货运的主要方式，正在扮演着越来越重要的角色。遗憾的是，虽然现代化管理的模式已经被许多濠江集装箱码头所采用，但是濠江集装箱温度的识别大多数仍然需要通过人工读取和记录的方式，这很大程度上影响了码头的工作效率。而濠江集装箱温度自动识别系统正是解决这一问题的关键之一。
为了实现温度采集自动化，一些厂家采用濠江集装箱内置温度传感器来进行温度采集。其主要方法是：在智能濠江集装箱中内嵌温度传感器，温度传感器通过串口将温度传送到单片机，单片机通过物联网技术传输到物联网平台，用户通过手机或pc机实现实时监控温度。该技术需要依赖于濠江集装箱厂家提供接口。
另外，也有部分厂家通过对濠江集装箱拍照，对所拍图像进行ocr图像识别，识别出濠江集装箱的有关信息。目前，利用图像识别提取集装箱的信息的实现方法包括以下步骤：在箱体检测部分，首先通过透视变换对集装箱图像进行畸变矫正。在箱号提取部分，主要通过图像的灰度化、边缘提取、数学形态学、二值化等机器视觉的方法来进行图像预处理，然后通过包络矩形检测和筛选、直方图投影等方法得出箱号区域，然后分割字符得到箱号，并结合箱号排列特点进行再处理以增加鲁棒性。在箱号识别部分，主要采用稀疏表示方法对箱号进行识别，计算原图像和重构图像残差最小的类别来进行分类，并且通过与模板匹配的比较来体现该方法的高识别率和高鲁棒性。由于拍摄角度不准会导致该技术的识别率下降；另外该技术在遇到反光时识别率通常较低。
由于濠江冷藏濠江集装箱温度表区域作为自然场景下文本区域的一部分，除了具有自然场景下文本定位难的特点外，还具有其自身的特性。目前多数厂家采用一个固定摄像头(比如在通关处放置一个高清摄像头)，会导致拍摄角度无法调整的问题，单纯依靠矫正图像角度效果有限；另外，各种集装箱型号的不统一造成编号大小、长宽比等无规律可循，为图像定位检测带来一定的难度。
针对上述问题，本发明提出一种集装箱温度信息采集方法、装置及系统，针对不同型号的集装箱建立对应的集装箱模型，并基于获取到的集装箱图像的特征点，筛选出与其对应的集装箱模型，然后筛选出温度显示区域图像，最终完成温度信息的采集，大大减少了港口码头和集装箱公司的技术对接工作量，促进了港口码头的智能化、自动化、数字化普及。
基于所述集装箱模型中的温度显示区域位置信息，从集装箱图像中筛选出温度显示区域图像；
基于所述温度显示区域图像，识别出集装箱温度信息，完成集装箱温度信息采集。
利用训练好的图像分类器基于提取到的设定特征，对所述温度显示区域图像进行分类，获得对应的图像类型；
基于与该图像类型对应的字符特征参数，从所述原始图像中提取出待匹配字符特征；
将所述待匹配字符特征与该图像类型对应的字符特征库进行匹配，获得对应的字符数据；
对所述字符模板和待识别字符进行归一化处理，对并归一化处理后的数据作差，计算出做差后的总像素值，如果小于设定阈值，则表示待识别字符与字符模板是同一个字符，完成一次识别。
可选地，所述基于所述集装箱模型中的温度显示区域位置信息，从集装箱图像中筛选出温度显示区域图像步骤之前，还包括：
基于所述集装箱模型中的温度显示区域位置信息与采集到的集装箱图像中的温度显示区域位置信息，识别出摄像头的偏差范围；
基于所述偏差范围发送位置调整指令至驱动单元，驱动摄像头运动至指定的位置，使得摄像头拍出来的图像中的温度显示区域位置信息与集装箱模型中的温度显示区域位置信息相一致，并重新采集集装箱图像。
第一筛选单元，用于基于获取到的集装箱图像的特征点，筛选出与其对应的集装箱模型；
第二筛选单元，用于基于所述集装箱模型中的温度显示区域位置信息，从集装箱图像中筛选出温度显示区域图像；
处理单元，用于基于所述温度显示区域图像，识别出集装箱温度信息，完成集装箱温度信息采集。
分类单元，用于利用训练好的图像分类器基于提取到的设定特征，对所述温度显示区域图像进行分类，获得对应的图像类型；
第二提取单元，用于基于与该图像类型对应的字符特征参数，从所述原始图像中提取出待匹配字符特征；
匹配单元，用于将所述待匹配字符特征与该图像类型对应的字符特征库进行匹配，获得对应的字符数据；
采集单元，用于对所述字符数据顺次进行分割和识别，完成集装箱温度信息采集。
对所述字符模板和待识别字符进行归一化处理，对并归一化处理后的数据作差，计算出做差后的总像素值，如果小于设定阈值，则表示待识别字符与字符模板是同一个字符，完成一次识别。
第二识别单元，用于基于所述集装箱模型中的温度显示区域位置信息与采集到的集装箱图像中的温度显示区域位置信息，识别出摄像头的偏差范围；
控制单元，用于基于所述偏差范围发送位置调整指令至驱动单元，驱动摄像头运动至指定的位置，使得摄像头拍出来的图像中的温度显示区域位置信息与集装箱模型中的温度显示区域位置信息相一致，并重新采集集装箱图像。
所述处理器用于根据所述指令进行操作以执行根据第一方面中任一项所述方法的步骤。
第四方面，本发明提供了一种集装箱信息采集系统，包括摄像头、驱动单元和处理单元；
所述处理单元提取出摄像头发送的集装箱图像的特征点，并基于所述特征点筛选出与该集装箱图像对应的集装箱模型；基于所述集装箱模型中的温度显示区域位置信息与采集到的集装箱图像中的温度显示区域位置信息，识别出摄像头的偏差范围；基于所述偏差范围发送位置调整指令至驱动单元，驱动摄像头运动至指定的位置，使得摄像头拍出来的图像中的温度显示区域位置信息与集装箱模型中的温度显示区域位置信息相一致，并重新采集集装箱图像，形成新的集装箱图像；
基于所述集装箱模型中的温度显示区域位置信息，从所述新的集装箱图像中筛选出温度显示区域图像；
基于所述温度显示区域图像，识别出集装箱温度信息，完成集装箱温度信息采集。
本发明通过外围拍照的方式自动获取温度信息，解决了对港口码头对集装箱公司的技术依赖性；通过图像关键点识别计算出偏差范围，从而自动控制摄像头的水平平移、仰俯角度，来提高识别率。
本发明通过针对不同型号的集装箱建立多套模板模型，通过模板匹配找到对应集装箱型号，找到该集装箱的摄像头的正确位置，对当前摄像头拍摄角度进行调整，然后通过图像矫正、图像分割、图像识别等算法，最终完成字符识别功能，从而减少了港口码头和集装箱公司的技术对接工作量，促进了港口码头的智能化、自动化、数字化普及。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
(1)基于获取到的集装箱图像的特征点，筛选出与其对应的集装箱模型；所述特征点可以集装箱图像中集装箱的某边界点或温度计的边界点，具体可以根据实际情况进行设置；
(2)基于所述集装箱模型中的温度显示区域位置信息，从集装箱图像中筛选出温度显示区域图像；
(3)基于所述温度显示区域图像，识别出集装箱温度信息，完成集装箱温度信息采集。
在本发明实施例的一种具体实施例中，所述步骤(1)中的筛选出与其对应的集装箱模型，具体包括以下步骤：
本发明将图像中的特征点作为单词，当需要判断一幅图像属于哪一类时，则需要判断当前图像的“单词”的分布范围，从而推断出所属类别。其分为以下基本的步骤：获取样本—标注样本—图像特征提取—词袋模型构成词典—词袋模型提取特征—训练svm—图像分类器分类，所述分类过程为现有技术，本发明中不做过多的赘述。
在本发明实施例的一种具体实施方式中，所述集装箱温度信息的识别方法，包括：
利用训练好的图像分类器基于提取到的设定特征，对所述温度显示区域图像进行分类，获得对应的图像类型；不同的图像类型中的字符会有不同的特性，包括颜色特性，对比度特性等等，而这些特性对分割步骤起决定性的作用；
基于与该图像类型对应的字符特征参数，从所述原始图像中提取出待匹配字符特征；
将所述待匹配字符特征与该图像类型对应的字符特征库进行匹配，获得对应的字符数据；
在本发明实施例的一种具体实施方式中，所述从所述原始图像中提取出待匹配字符特征，具体包括：
提取温度显示区域图像中的特征点，这部分是查找图像中具有某些特征(不同的算法有不同的)的像素；
根据特征点的描述子，进行匹配，特征的匹配是针对特征描述子的进行的，上面提到特征描述子通常是一个向量，两个特征描述子的之间的距离可以反应出其相似的程度，也就是这两个特征点是不是同一个。根据描述子的不同，可以选择不同的距离度量。如果是浮点类型的描述子，可以使用其欧式距离；对于二进制的描述子(brief)可以使用其汉明距离(两个不同二进制之间的汉明距离指的是两个二进制串不同位的个数)。
有了计算描述子相似度的方法，本发明采用knn匹配算法在特征点的集合中寻找和其最相似的特征点，完成特征点的匹配。
在本发明实施例的一种具体实施方式中，所述对所述字符数据进行分割，包括以下步骤：
在具体实施时，可利用二值化图片的像素的分布直方图进行分析，从而找出相邻字符的分界点进行分割投影所反应的就是在垂直方向上数字区域像素个数。接下来只需判断投影的每一列，即可找出分割点。
在本发明实施例的一种具体实施方式中，所述对所述字符数据进行识别，包括以下步骤：
获取字符模板，所述字符模板与待识别字符的字体格式一致；所述字符模板的获取过程具体为：对图像做倾斜校正，使得字符都是正视的效果。根据“roi定位”方法，得到roi；根据“字符分割”方法，获取每个字符的图片，规定大小28*28；对每个类型下每个字体中每个字符的多幅图像做均值处理，得到最终字符模板。
对所述字符模板和待识别字符进行归一化处理，对并归一化处理后的数据作差，计算出做差后的总像素值，如果小于设定阈值，则表示待识别字符与字符模板是同一个字符，完成一次识别。
字符模板制作：字符模板的要求是与要识别的字符的字体格式一致，实验中采用microsoftword软件上的标准字符，通过截图软件截图后按照3-6步的处理过程制作出需要的字符模板，从0到9共10个数字，a到z共26个字母。
字符模板归一化：在满足识别率的条件下，尽量采用小模板识别可以提神运算速度，具体的模板大小，可以根据后面的与待识别字符的比较中调节。
识别过程：将待识别字符与字符模板做同样的归一化处理，然后遍历与字符模板比较，处理方法为先和字符模板做差，然后计算做差后的图像的总像素值，如果小于设定阈值，则表示该待识别字符和该模板是同一个字符，这样就完成了一次识别。
循环对要识别的字符做同样的处理就可以识别出所有的字符，将结果保存在字符串中。
在本发明实施例的一种具体实施方式中，为了实现拍摄角度的自动校正，所述基于所述集装箱模型中的温度显示区域位置信息，从集装箱图像中筛选出温度显示区域图像步骤之前，还包括：
基于所述集装箱模型中的温度显示区域位置信息与采集到的集装箱图像中的温度显示区域位置信息，识别出摄像头的偏差范围；
基于所述偏差范围发送位置调整指令至驱动单元，驱动摄像头运动至指定的位置，使得摄像头拍出来的图像中的温度显示区域位置信息与集装箱模型中的温度显示区域位置信息相一致，并重新采集集装箱图像。
基于与实施例1相同的发明构思，本发明实施例中提供了一种集装箱信息采集装置，包括：
第一筛选单元，用于基于获取到的集装箱图像的特征点，筛选出与其对应的集装箱模型；
第二筛选单元，用于基于所述集装箱模型中的温度显示区域位置信息，从集装箱图像中筛选出温度显示区域图像；
处理单元，用于基于所述温度显示区域图像，识别出集装箱温度信息，完成集装箱温度信息采集。
分类单元，用于利用训练好的图像分类器基于提取到的设定特征，对所述温度显示区域图像进行分类，获得对应的图像类型；
第二提取单元，用于基于与该图像类型对应的字符特征参数，从所述原始图像中提取出待匹配字符特征；
匹配单元，用于将所述待匹配字符特征与该图像类型对应的字符特征库进行匹配，获得对应的字符数据；
采集单元，用于对所述字符数据顺次进行分割和识别，完成集装箱温度信息采集。
在本发明实施例的一种具体实施方式中，所述对所述字符数据进行分割，包括以下步骤：
在本发明实施例的一种具体实施方式中，所述对所述字符数据进行识别，包括以下步骤：
对所述字符模板和待识别字符进行归一化处理，对并归一化处理后的数据作差，计算出做差后的总像素值，如果小于设定阈值，则表示待识别字符与字符模板是同一个字符，完成一次识别。
如何保证摄像头拍摄角度是图像识别的第一步。当图像视角变化后，同一个物体的灰度值也会跟着变化。所以，就需要找出一种能够在摄像头进行移动和旋转(视角发生变化)，仍然能够保持不变的特征，利用这些不变的特征来找出不同视角的图像中的同一个物体。
为能够更好的进行图像匹配，需要在图像中选择具有代表性的区域，例如：图像中的角点、边缘和一些区块，但在图像识别出角点是最容易，也就是说角点的辨识度是最高的。但是单纯的角点并不能很好的满足我们的需求，例如：摄像头从远处得到的是角点，但是在近处就可能不是角点；或者当摄像头旋转后，角点就发生了变化。为此，为实现摄像头拍摄角度的自动校正，基于实施例2，本发明实施例与实施例2的区别在于，所述集装箱信息采集装置，还包括：
第一识别单元，用于识别出采集到的集装箱图像中的温度显示区域位置信息；所述集装箱图像是基于现有的摄像头角度，对集装箱进行拍照获得的；
第二识别单元，用于基于所述集装箱模型中的温度显示区域位置信息与采集到的集装箱图像中的温度显示区域位置信息，识别出摄像头的偏差范围；
控制单元，用于基于所述偏差范围发送位置调整指令至驱动单元，驱动摄像头运动至指定的位置，使得摄像头拍出来的图像中的温度显示区域位置信息与集装箱模型中的温度显示区域位置信息相一致，并重新采集集装箱图像。
基于与实施例1相同的发明构思，本发明实施例中提供了一种集装箱信息采集系统，包括处理器及存储介质；
所述处理器用于根据所述指令进行操作以执行根据实施例1中任一项所述方法的步骤。
本发明实施例中提供并了一种集装箱信息采集系统，包括：摄像头、驱动单元和处理单元；
所述处理单元提取出摄像头发送的集装箱图像的特征点，并基于所述特征点筛选出与该集装箱图像对应的集装箱模型；基于所述集装箱模型中的温度显示区域位置信息与采集到的集装箱图像中的温度显示区域位置信息，识别出摄像头的偏差范围；基于所述偏差范围发送位置调整指令至驱动单元，驱动摄像头运动至指定的位置，使得摄像头拍出来的图像中的温度显示区域位置信息与集装箱模型中的温度显示区域位置信息相一致，并重新采集集装箱图像，形成新的集装箱图像；
基于所述集装箱模型中的温度显示区域位置信息，从所述新的集装箱图像中筛选出温度显示区域图像；
基于所述温度显示区域图像，识别出集装箱温度信息，完成集装箱温度信息采集。
对摄像头进行标定，摄像头标定只需要进行一次即可。由于每个摄像头畸变程度可能有差异，为了保证准确性，需要对每个相机都要做一次标定。
对集装箱图像进行分类，正常情况下仅需执行一次分类，以后只需要加载相应的文件即可。但是若有新增图像类型，则需要重新执行分类工作。
选取比较好的集装箱图像，特别是对比度、清晰度，倾斜角度等，若有必要，需要手动对集装箱图像处理，来构造比较理想的图像集，基于所述图像集训练得到图像分类器。
字符分割的功能看似和图像类型无关，但实际却大有关联。每一种型号的集装箱对应一种图像类型，不同的图像类型中的字符会有不同的特性，包括颜色特性，对比度特性等等，而这些特性对分割的预处理步骤起了决定性的作用。所以需要在前期准备阶段针对每类的类型大量的测试，以获取对应的最佳方法和参数。如此，将参数保存，分割的时候根据图像类型选择相应的参数，即可大大增加分割的准确性。
对图像做倾斜校正，使得字符都是正视的效果。根据“roi定位”方法，得到roi；根据“字符分割”方法，获取每个字符的图片，规定大小28*28；对每个类型下每个字体中每个字符的多幅图像做均值处理一种集装箱温度信息采集方法、装置及系统与流程，得到最终字符模板，保存字符模板。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机集装箱信息、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式集装箱信息，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
技术研发人员：黄国方;张静;刘晓铭;单超;杨浩胜;周兴俊;吴嵩青;王文政;甘志坚;陈向志;陆盛资;谢永麟;彭奕;汤济民;谢芬;郝永奇;廖志勇;杨明鑫
1.计算机视觉 2.无线.计算机仿线.网络安全；物联网安全 、大数据安全 2.安全态势感知、舆情分析和控制 3.区块链及应用
客服