基於自動圖像標註之圖像檢索工具

Image Retrieval Tool Based on Automatic Image Annotation, IRT-AIA

所屬單位:華人文化主體性研究中心
Research Center of Chinese Cultural Subjectivity in Taiwan
簡介

「數位圖像」在資訊蓬勃發展的現代,已經成為支持數位人文研究的重要資料型態之一,而其發展亦為數位時代的人文研究開闢新的挑戰與發展機會。而過去許多研究指出數位圖像的顯示不該是一長串清單或縮略圖,應該存在能透過視覺立刻吸收資訊的物件訊息,會讓閱讀者具有更好的組織圖像能力。因此,能大量辨識數位圖像中存在物件並加以分析的需求愈發重要。而「圖像標註」在此扮演了不可或缺的地位,透過決定適當詞彙來描述數位圖像,以降低人類使用者對於圖像的解釋以及圖像低級特徵之間的語意落差。其中隨著科技發展而衍伸出的「自動圖像標註」則在圖像標註的基礎上,做到降低人工標註的成本與具備高效率及低主觀性等優點,進而促成本研究探索「自動圖像標註」技術輔助數位人文學者進行個體之圖像詮釋的使用差異與感受,嘗試以人文學者角度出發去瞭解使用者如何,以及為何使用圖像,進一步發展出得以有效輔助人文學者進行圖像情境解讀之數位人文工具。

因此,本研究發展出「基於自動圖像標註之圖像檢索工具(Image Retrieval Tool Based on Automatic Image Annotation, IRT-AIA)」。該系統的核心技術採用圖像辨識領域中實現實例分割任務的演算法-Mask R-CNN,主要目的為圖像中的實體物件識別,除了能具體辨識圖像中各自獨立的實體物件所屬類別與所在位置以外,更進一步描繪出各實體物件之輪廓,藉此快速萃取數位圖像中的實體物件訊息,並作為圖像集合的替代資訊呈現,讓使用者得以快速吸收並有效組織圖像內容。最後輔以友善且有助於增進人文學者與系統互動之介面,讓人文學者得以在個體詮釋的角度下進行圖像標註以快速取得數位圖像之後設資料內容,進而促進人文學者更有效率地解讀圖像情境。

收合
Description

Image Retrieval Tool Based on Automatic Image Annotation, IRT-AIA

 
Show

整合式檢索