工控網(wǎng)首頁
>

新聞中心

>

人物專訪

>

3D視覺+AI,如何打破藥盒盲文OCR讀取難題?

3D視覺+AI,如何打破藥盒盲文OCR讀取難題?

——— 中國(guó)機(jī)器視覺網(wǎng)專訪Teledyne?DALSA視覺軟件部門高級(jí)技術(shù)工程師黃明

640.jpg

近年來,隨著醫(yī)藥行業(yè)的快速發(fā)展,上游的制藥裝備行業(yè)也愈來愈受重視,一系列利好政策和相關(guān)標(biāo)準(zhǔn)不斷落地。制藥裝備業(yè)作為醫(yī)藥行業(yè)整體發(fā)展的重要抓手,將在國(guó)家醫(yī)藥衛(wèi)生水平整體進(jìn)步的過程中發(fā)揮更重要的作用。前幾年席卷全球的新冠病毒流行,更是助推了國(guó)內(nèi)整個(gè)制藥裝備行業(yè)將由中低端向高端方向轉(zhuǎn)型,制藥設(shè)備產(chǎn)業(yè)結(jié)構(gòu)升級(jí)勢(shì)在必行,提升自動(dòng)化、數(shù)字化、智能化仍是接下來制藥設(shè)備行業(yè)發(fā)展的主要方向。

機(jī)器視覺技術(shù)在醫(yī)藥行業(yè)整體的升級(jí)轉(zhuǎn)型中有著不容忽視的地位。機(jī)器視覺技術(shù)在醫(yī)藥行業(yè)具體有哪些應(yīng)用?Teledyne?DALSA在該領(lǐng)域有哪些助力?日前,Teledyne?DALSA視覺軟件部門高級(jí)技術(shù)工程師黃明接受中國(guó)機(jī)器視覺網(wǎng)專訪,并對(duì)以上問題進(jìn)行了詳細(xì)解答。

相比于其他行業(yè),醫(yī)藥及醫(yī)療行業(yè)一直都有著更高的行業(yè)標(biāo)準(zhǔn),尤其在醫(yī)藥制造業(yè)。一直以來在整個(gè)醫(yī)藥制造流程,對(duì)醫(yī)藥質(zhì)量控制、跟蹤和追蹤過程都至關(guān)重要,新冠疫情大流行凸顯了疫苗質(zhì)量作為一個(gè)全球衛(wèi)生問題的重要性。

在制藥行業(yè),機(jī)器視覺檢測(cè)的典型應(yīng)用與其他行業(yè)大抵相同,但每一項(xiàng)特定任務(wù)都需要制定更加嚴(yán)格的標(biāo)準(zhǔn)和規(guī)范。因此,作為質(zhì)控的一環(huán),制造商必須確保生產(chǎn)的每一個(gè)步驟,從產(chǎn)品密封到膠囊型號(hào)再到瓶子印刷的批號(hào),都需要確保在規(guī)定的標(biāo)準(zhǔn)范圍內(nèi),特別是安全和保障方面的標(biāo)準(zhǔn)規(guī)范。

機(jī)器視覺在整個(gè)醫(yī)藥制造的各個(gè)環(huán)節(jié)中的應(yīng)用:

1、存在和缺失檢測(cè)

存在和缺失檢測(cè)旨在檢查某種特定屬性以及視覺系統(tǒng)是否能夠看到該屬性,此類檢測(cè)常用于藥品或醫(yī)療器械的包裝。制造商需要確保每件產(chǎn)品包裝妥當(dāng),每個(gè)部件放置到位,無一遺漏。制造過程中就會(huì)用到存在和缺失檢測(cè),以確保恰當(dāng)?shù)陌惭b每件產(chǎn)品。檢測(cè)可采用圖像匹配方式驗(yàn)證是否存在訓(xùn)練后目標(biāo)。另一應(yīng)用實(shí)例是使用計(jì)數(shù)工具清點(diǎn)零件并記錄零件所在位置。

640.png

2、缺陷檢測(cè)

表面缺陷檢測(cè)工具可識(shí)別玻璃和金屬等表面的劃痕和裂紋。此類檢測(cè)對(duì)醫(yī)療器械檢測(cè)十分有用,提前發(fā)現(xiàn)缺陷可以節(jié)省生產(chǎn)成本。缺陷可以通過瑕疵形式進(jìn)行識(shí)別,例如小瓶或藥瓶中的灰塵或污垢的規(guī)格。

3、驗(yàn)證—一維碼、二維碼的讀取和OCR(光學(xué)字符辨識(shí))

讀碼與OCR在醫(yī)藥行業(yè)是十分重要的一個(gè)角色,由于印刷質(zhì)量差,對(duì)于大多數(shù)傳統(tǒng)OCR算法而言,很難保證讀取每個(gè)字符的準(zhǔn)確性。OCR讀取屬于人工智能的應(yīng)用場(chǎng)景之一,可以利用工具模型進(jìn)行人工智能推理,基于大量圖像進(jìn)行學(xué)習(xí)優(yōu)化分類、異常檢測(cè)、目標(biāo)檢測(cè)、分割、降噪等任務(wù)。OCR與人工智能技術(shù)集成后,無需對(duì)系統(tǒng)進(jìn)行所有字符的訓(xùn)練,就可圓滿完成檢測(cè)任務(wù)。

美國(guó)FDA發(fā)布的“條碼標(biāo)簽要求”中要求產(chǎn)品采用國(guó)家藥品代碼(NDC)標(biāo)識(shí)符編碼所采用的一維條碼進(jìn)行貼標(biāo)。FDA頒布的《藥品供應(yīng)鏈安全法案》中要求藥品采用含產(chǎn)品NDC的一維條碼進(jìn)行標(biāo)記。該法令還要求產(chǎn)品采用帶有NDC、序列號(hào)、批號(hào)和有效期的數(shù)據(jù)矩陣條碼進(jìn)行標(biāo)記。

為確保這些信息印刷清晰可讀,采用讀取一維條碼和二維碼(例如QR碼)或執(zhí)行OCR的掃描工具讀取標(biāo)簽上的字母和數(shù)字。通常,配備這些工具的機(jī)器是集成視覺解決方案的重要組成部分,可檢測(cè)一維碼和二維碼,從而確保有效期正確、印刷清晰、位置正確。這些掃描工具用于制藥行業(yè)的追溯、分類和過程控制,對(duì)于產(chǎn)品日期、批次代碼、包裝單元和劑量代碼的驗(yàn)證以及滿足整個(gè)制藥供應(yīng)鏈的跟蹤和追蹤要求并符合FDA制定的《聯(lián)邦規(guī)章典集》第21篇(21 CFR)第11部的規(guī)定均十分重要。

640 (1).png

4、測(cè)量

幾乎所有行業(yè)都會(huì)使用機(jī)器視覺作為質(zhì)量檢測(cè)工具,而在制藥行業(yè)中也是各種應(yīng)用均需要進(jìn)行準(zhǔn)確測(cè)量,例如測(cè)量醫(yī)用針頭或外科手術(shù)刀的尺寸。因此,需要利用機(jī)器視覺來精確測(cè)量一個(gè)零件的形狀和尺寸。如果任何零件的測(cè)量結(jié)果超出規(guī)定范圍,其后果可能危及生命。測(cè)量工具也可用于確定藥瓶或疫苗注射器的灌裝液位高度,或者驗(yàn)證是否存在安全密封。

640 (2).png

5、機(jī)器人引導(dǎo)

除了檢測(cè)物體外,機(jī)器視覺還可通過機(jī)器人引導(dǎo)對(duì)其進(jìn)行定位。這個(gè)過程包括定位和驗(yàn)證機(jī)器人引導(dǎo)抓取應(yīng)用的零件,對(duì)裝配線上的零件進(jìn)行定位。在制藥行業(yè)中,定位工具可以對(duì)藥瓶瓶蓋進(jìn)行正確對(duì)位或正確放置注射器中的橡膠密封圈。

Teledyne DALSA機(jī)器視覺軟硬件直面醫(yī)藥領(lǐng)域新挑戰(zhàn)

Teledyne DALSA公司有42年以上為機(jī)器視覺行業(yè)提供部件和解決方案的歷史,有著完備的相機(jī)產(chǎn)品線,從智能相機(jī)到視覺軟件,從面陣相機(jī)到線掃相機(jī)。在面陣相機(jī)方面,DALSA主要集中在高端高分辨率的面陣相機(jī)譬如,譬如5G接口,Cameralink接口的高達(dá)86M面陣相機(jī),分辨率從30w 到8600w 像素。

Teledyne DALSA的線掃描相機(jī)追求更好的圖像質(zhì)量以及更高的相機(jī)分辨率,從1k到32K,從技術(shù)到應(yīng)用屬于全球前列水平,滿足了不同視覺項(xiàng)目的選型。同時(shí)在滿足高分辨率的前提下,又要提高相機(jī)的采集頻率,Teledyne DALSA針對(duì)不同型號(hào)的相機(jī)使用不同的傳輸接口,以滿足更高的傳輸帶寬需求。

640 (3).png

640 (1).jpg

Teledyne?DALSA視覺軟件部門高級(jí)技術(shù)工程師黃明

“視覺軟件在整個(gè)視覺項(xiàng)目中更像是人的大腦,負(fù)責(zé)處理圖像,和外設(shè)通訊的作用。強(qiáng)大的視覺軟件是所有視覺方案的基石。Teledyne DALSA的iNspect和Sherlock,基于幾十年在工業(yè)自動(dòng)化各個(gè)制造領(lǐng)域的沉淀積累,建立了強(qiáng)大的客戶群體?!?/p>

iNspect

iNspect是一款簡(jiǎn)單易用的機(jī)器視覺檢測(cè)軟件,無需編程與培訓(xùn),簡(jiǎn)單直接的設(shè)置過程讓用戶能夠快速配置和實(shí)施應(yīng)用,提供了一整套可隨時(shí)應(yīng)用于大批量檢測(cè)任務(wù)的工具,例如定位、測(cè)量、識(shí)別、驗(yàn)證和瑕疵探測(cè),對(duì)于精度計(jì)量到醫(yī)藥包裝等多種應(yīng)用領(lǐng)域十分友好。

Sherlock

Sherlock主要針對(duì)視覺工程師能夠應(yīng)對(duì)更為負(fù)責(zé)的視覺項(xiàng)目,是更強(qiáng)大高級(jí)機(jī)器視覺軟件。包含2D圖像的處理工具,3D點(diǎn)云圖像的處理,同時(shí)集成了人工智能AI工具來應(yīng)對(duì)更負(fù)責(zé)的項(xiàng)目。

3D+AI打破藥盒盲文OCR讀取難題

藥品容器上印刷質(zhì)量差的藥品說明書可能會(huì)讓患者面臨巨大風(fēng)險(xiǎn),比如錯(cuò)過續(xù)藥日期、吞錯(cuò)藥片或服用過期藥物。這些風(fēng)險(xiǎn)對(duì)盲人來說更具挑戰(zhàn)性,他們必須閱讀盲文才能理解處方名稱、劑量說明和其他標(biāo)簽信息等。

從本質(zhì)上來說,盲點(diǎn)很難閱讀。一般的盲文高度只有0.2毫米,在已印刷的字符表面形成凸點(diǎn),對(duì)大多數(shù)視覺技術(shù)來說,檢測(cè)盲文質(zhì)量極具挑戰(zhàn)性。此外,在字符背景下讀取盲文使問題更加復(fù)雜。

Teledyne DALSA開發(fā)了一種特殊的盲文視覺檢測(cè)系統(tǒng),該系統(tǒng)使用帶有面掃描攝像頭的VICORE智能視覺系統(tǒng)的形狀陰影技術(shù),以及Sherlock形狀陰影算法,從背景復(fù)雜的盲文中獲取對(duì)比度較高的3D效果圖像。然后,Sherlock應(yīng)用預(yù)處理程序優(yōu)化盲文點(diǎn)的殘缺形狀,從而使OCR算法能夠讀取盲文字符。

640 (4).png

隨著3D技術(shù)及AI技術(shù)的深入發(fā)展,Teledyne?DALSA也發(fā)布相關(guān)的人工智能AI軟件及3D相機(jī),開始應(yīng)用到醫(yī)療的各個(gè)應(yīng)用環(huán)節(jié),比如人工智能AI 利用工具模型進(jìn)行人工智能推理。如分類、異常檢測(cè)、目標(biāo)檢測(cè)、分割、降噪等任務(wù)都可以基于大量圖像進(jìn)行學(xué)習(xí)優(yōu)化,其中一個(gè)應(yīng)用場(chǎng)景是支持OCR讀取。例如,由于印刷質(zhì)量差,對(duì)于大多數(shù)傳統(tǒng)OCR算法而言,很難保證讀取每個(gè)字符的準(zhǔn)確性。OCR與人工智能技術(shù)集成后,無需對(duì)系統(tǒng)進(jìn)行所有字符的訓(xùn)練,就可圓滿完成檢測(cè)任務(wù)。

Teledyne DALSA的圖像傳感器、相機(jī)、智能相機(jī)、圖像采集卡、軟件和視覺解決方案是全球多個(gè)行業(yè)的數(shù)千個(gè)檢測(cè)系統(tǒng)的核心。醫(yī)藥行業(yè)在在產(chǎn)品識(shí)別、分類和驗(yàn)證方面,是要求比較高的行業(yè)應(yīng)用之一,生產(chǎn)、包裝或?qū)ψ匪莘矫娴馁|(zhì)量檢測(cè)錯(cuò)誤可能會(huì)造成人員傷害或死亡。這些都凸顯了使用比較佳檢測(cè)工具和方法的重要性。

審核編輯(
吳新慧
)
投訴建議

提交

查看更多評(píng)論
其他資訊

查看更多

Teledyne FLIR IIS宣布推出一款用于高精度機(jī)器人應(yīng)用的新型立體視覺產(chǎn)品

Teledyne FLIR IIS擴(kuò)展其Forge相機(jī)系列,達(dá)到IP67防護(hù)等級(jí),適用于智能農(nóng)業(yè)、食品和飲料行業(yè)

Sherlock AI 助力PCB產(chǎn)業(yè)流程完善及質(zhì)量提升

360° 球面視覺 | 移動(dòng)地圖 - GIS 和 AEC

10GigE最佳實(shí)踐:設(shè)置單攝像頭系統(tǒng)