Crowdsourcing of Real-world Image Annotation via Visual Properties

在現有的主流影像資料集中，一張標示為「棕熊」的照片可能同時包含真實的熊、泰迪熊娃娃、卡通畫，甚至是穿著熊布偶裝的人。為了解決這類由人類主觀認知造成的標註混亂，倫敦大學學院與特倫托大學的研究團隊提出基於視覺特徵的群眾外包標註框架，成功將標註一致性指標 Krippendorff’s Alpha 提升至 0.974，並使 GoogleNet 在下游辨識任務的準確率從 0.734 飆升至 0.835。

剖析 ImageNet 標註機制的語意鴻溝與主觀性

以數據為中心的人工智慧（Data-centric AI）發展趨勢，讓學界重新審視了電腦視覺模型依賴的高品質資料集。針對 ImageNet 與 CIFAR 等標竿資料集的構建過程進行深入分析後，研究人員發現其中存在系統性的缺陷。傳統的非生成式影像資料集通常依賴群眾外包技術，要求標註者從預先定義的詞彙或同義詞集中，選出最符合影像的標籤。如果同義詞集設定為「熊」，所有被標註者認定含有「熊」的影像都會被歸類到該標籤下。

這種建構方法帶來了一個廣泛被討論的問題，即類別與影像之間的多對多匹配。雖然像 COCO 和 PASCAL VOC 這樣專為物件偵測設計的資料集，透過多邊形邊界框（polygonal boxes）實現了單一物件的一對一標註，稍微緩解了多物件帶來的資訊混亂，但針對單一物件類別的標註邏輯仍然不變：本質上還是將影像硬匹配到預設的詞彙上。這高度依賴標註者的主觀認知。例如，一把木吉他的影像可能同時被標為「原聲吉他」、「吉他」或「樂器」，這取決於標註者主觀決定的分類顆粒度。

自然語言的複雜性與多義性，在描述影像視覺資訊時必然會引入歧義，這也就是學界熟知的語意鴻溝問題（SGP，Semantic Gap Problem）。SGP 指的是從視覺資料提取的資訊，與使用者在特定情境下對該資料的語意解釋之間存在落差。缺乏明確的分類與標準化流程，使得來自不同背景的標註者難以維持一致性，最終將混亂的錯誤資訊輸入到機器學習模型中，嚴重阻礙了物件辨識技術的進一步發展。

整合 WordNet 知識庫的四階段視覺屬性標註法

為了解決語意鴻溝，研究團隊提出了一套結合知識表示、自然語言處理與電腦視覺技術的四階段影像標註方法。第一步是「標籤定義」，這也是確保資料集品質的基礎。研究團隊借助 WordNet 與 Wikipedia 等知識庫，為資料集中的物件類別建構出一個階層架構。在這個架構中，每個類別都被賦予精確的短語或句子定義，並選定一組能與語言描述對齊的視覺屬性，從而消除非正式標籤帶來的模糊性。例如，「金翅雀」會被具體定義為「具有深紅色臉龐與黃黑相間翅膀的歐洲小型雀鳥」。

第二步是「標籤消歧義」，系統會為每個標籤分配唯一的概念識別碼。透過分層的識別碼（例如 1-1 或 2-5-3），每個標籤都能明確對應到其視覺表徵。這項機制有助於記錄特定的類別及其視覺屬性，確保每個標籤在視覺資料中都反映出獨特且可辨識的概念，解決了多義詞帶來的語言混亂。

第三步為「物件定位」，目的是解決影像標註中的多對多問題。透過機器學習定位模型找出影像中的所有物件並進行裁切，逐步萃取可感知的視覺屬性。對於包含多個物件的影像而言，標註前先進行定位與裁切是確保資料品質的必要操作。最後一步則是「視覺分類」，研究團隊預先定義了兩組關鍵的視覺屬性來引導標註：視覺屬（visual genus）代表不同物件間的共有特徵，用來確定母類別；視覺種差（visual differentia）則是同屬物件中的區別性特徵，用來與層級中的姊妹類別做出區隔。

部署於 Prolific 平台的動態迴圈外包問答機制

有了完善的標籤與影像準備後，研究團隊將這套方法部署到群眾外包平台 Prolific 上。考慮到外包人員的背景各異，系統提供了一個高度互動的介面，將資料集的完整物件階層結構呈現給標註者，並附上每個節點的視覺屬與視覺種差。系統會根據預設的階層結構以及標註者的即時回饋，動態生成一系列針對視覺屬性的問題，藉由自動化流程引導人類逐步精煉影像的標籤。

這個互動過程包含了系統性的垂直迴圈與水平迴圈。垂直迴圈負責引導標註者從階層結構的根節點一路往下走到葉節點，詢問影像是否與特定類別共享視覺屬，藉此鎖定候選類別並觸發水平迴圈；水平迴圈則要求標註者辨識視覺種差，用以判定物件究竟屬於候選類別底下的哪一個具體子類別。這種在階層結構中穿梭的交叉比對，能夠確保最終產出的標籤具備極高的準確度。

在品質控制方面，每張影像都會分配給三位不同的標註者進行標註。當其中至少兩位給出相同的分類結果時，該標籤才會被採納為最終標籤。如果初步的三位標註者無法達成共識，系統會自動引入第四位標註者進行重新評估。這種將機器演算法效率與人類認知能力結合的動態過程，為物件辨識所需的精確資料提供了堅實的後盾。

1200張影像實測：標註一致性指標高達 0.974

為了驗證這套方法的有效性，研究團隊收集了涵蓋鳥類、車輛與樂器三大領域、共 12 類別的 1200 張影像進行實驗，並使用 Krippendorff’s Alpha 指標來衡量標註者的跨組一致性。實驗對比了三種標註模式：Method A（僅提供類別名稱，如 ImageNet 現行做法）、Method B（在階層結構中提供類別名稱）以及 Method C（在階層結構中提供完整的視覺屬性引導，即本研究提出的新方法）。

實測數據顯示，雖然 Method A 的標註速度最快，但一致性僅有 0.912，證明純文字名稱的標註高度依賴主觀語意理解；導入階層結構的 Method B 將一致性提升至 0.937；而採用視覺屬性的 Method C 在 50 張影像的任務組合中，一致性指標飆高至 0.974。這符合認知科學的理論：對資訊進行更深層次的處理（例如分析視覺屬與種差），能帶來更好的理解與記憶。

此外，成本與效率的評估也給出了明確指引。雖然 Method C 的標註時間比 Method B 多出約 0.39 分鐘，且在 50 張影像任務上的外包費用略高（約 1.5 英鎊比 1.0 英鎊），但其換來的資料品質飛躍被證實是一項極具價值的投資。研究也發現，單一任務包含 50 張影像是一個甜蜜點，任務過短（如 10 張）會讓外包人員因報酬過低而缺乏動力，任務過長（100 張）則會引發認知超載與倦怠。

強化 GoogleNet 等辨識模型的下游任務表現

更高品質的標註不僅代表人類認知的一致，更能轉換為機器學習模型的實質效能提升。團隊將標註完成的資料集投入下游的電腦視覺辨識評估，在相同的超參數設定、資料擴增策略與 ImageNet 預訓練權重基礎下，測試了包含 AlexNet、ZFNet、VGG 以及 GoogleNet 等 8 款主流架構。以 80% 作為訓練集、20% 作為測試集的標準流程進行對比驗證。

結果顯示，所有使用 Method C 標註資料訓練的模型，表現全面超越傳統純名稱標註的 Method A。具體而言，AlexNet 的準確率從 0.543 提升至 0.596，ZFNet 從 0.612 提升至 0.657，VGG 從 0.655 躍升至 0.743，而表現最佳的 GoogleNet 更是從 0.734 大幅飆升至 0.835。這份強而有力的實證數據表明，當類別分配明確建立在結構化的視覺語意上時，模型能接收到更具鑑別度的監督訊號，減少對無關背景雜訊的過度依賴。

這套標註方法成功解決了過去同一張圖片在不同細緻度下被重複歸類、或是視覺差異極大卻共用同一個標籤的荒謬現象。未來，這座蘊含多層次分類與自然語言視覺特徵描述的資料集，除了能優化物件辨識技術，更有潛力應用於細粒度影像辨識（Fine-grained Image Recognition）、零樣本學習（Zero-shot Learning）、影像描述生成甚至影像生成等跨越視覺與語言領域的先端任務中。

影像資料集的升級關鍵不在於盲目擴充規模，而是透過階層化的視覺特徵約束，從根本消弭人類語意認知的模糊地帶。