top of page

從 2D 工程圖到品質檢驗表:運用 MBDVidia、BALLOON2D,減少 PMI 擷取與資料重複登錄

1天前
讀畢需時 12 分鐘

一、前言:將工程圖中的產品製造資訊(PMI)轉換為結構化資料,串接氣泡標註、特徵清單(BoC)與品質檢驗表的製作流程。


在製造業中,品質檢驗的準備工作往往耗費大量時間。工程人員或品保人員必須從 2D 工程圖逐一確認尺寸、公差、幾何尺寸與公差(GD&T)、表面粗糙度及其他技術要求,再進行氣泡編號、建立檢驗特徵清單,最後將資料整理至品質檢驗表或首件檢驗報告(FAI)中。


當圖面數量多、規格複雜,或設計變更頻繁時,這些重複性作業不僅增加工時,也可能造成資料漏登、編號錯誤或檢驗項目不一致。


近年來,工程圖影像辨識、文件理解模型與視覺語言模型(VLM)等技術,逐步展現將圖面資訊轉換為結構化資料的潛力。搭配合適的工程軟體,企業可望降低人工抄錄與重複整理的負擔,讓檢驗準備流程更有效率。


本文將從研究成果、氣泡標註與檢驗表製作流程,以及實際應用案例切入,說明相關技術的發展與導入時應注意的事項。

二、從 2D 工程圖擷取 PMI:讓圖面資訊轉為結構化資料


2D 工程圖不只是尺寸與線條的集合,也包含尺寸公差、幾何公差、材料、表面粗糙度、螺紋規格及其他製造要求。要讓這些資訊進入後續製造與品質管理流程,第一步是將圖面內容辨識並轉換為可供系統處理的結構化資料。


傳統 OCR(光學字元辨識)可以辨識部分文字與數字,但工程圖還涉及符號、尺寸線、標註位置、視圖關係及工程語意。因此,相關研究開始結合物件偵測、文件理解模型與視覺語言模型,嘗試提升工程圖資訊擷取的完整性。

1. 工程圖資訊擷取的研究進展

以下研究呈現不同方法在特定資料集與測試條件下的成果。由於資料集、評估指標與實驗設計不盡相同,這些數值適合用來了解技術發展,不宜直接視為不同方法之間的排名,也不能直接等同於商用軟體的實際效能。


  • 結合方向感知的檢測模型 YOLOv11-OBB (Oriented Bounding Boxes) 與 Donut 的工程圖解析研究


    研究使用 1,367 張工程圖資料,針對 GD&T 辨識回報 94.77% 的精確率(precision),整體 F1 分數為 97.3%,並回報 5.23% 的幻覺率(hallucination rate)[2]。換句話說,機器「辨識圖」的穩定性,已經勝過多數人工抄錄。

圖 1|「偵測+解析」兩階段架構:先透過方向框偵測定位並裁切 2D 機械工程圖中的目標區域,再由文件理解模型輸出結構化 JSON 資料(圖片來源:文獻 [2])。
圖 1|「偵測+解析」兩階段架構:先透過方向框偵測定位並裁切 2D 機械工程圖中的目標區域,再由文件理解模型輸出結構化 JSON 資料(圖片來源:文獻 [2])。

  • 多階段工程圖理解框架

    一張零件工程圖上,可能同時包含主視圖、局部放大圖、技術要求與標題欄,且標註文字的方向各異,增加了自動辨識的難度。


    2025 年發表的三階段解析框架提出一套處理方法:先進行版面分割,定位各個視圖、標題欄與技術要求區域;接著透過旋轉框定位各項標註;最後由兩個分工不同的視覺語言模型(VLM),分別解析文字類與數值類資訊。


    該研究使用 1,000 張版面影像與 1,406 張標註層級影像進行評估,數值型資訊解析(包括尺寸、幾何尺寸與公差〔GD&T〕框格、表面粗糙度)的整體 F1 分數達 0.963。此外,整個流程會輸出統一格式的 JSON 結構化資料,為後續串接 CAD 與製造資料庫提供基礎 [3]。

    圖 2|三階段解析流程:版面分割 → 標註定位 → 視覺語言模型(VLM)語意解析,最終輸出結構化 JSON 資料(圖片來源:文獻 [3])。
    圖 2|三階段解析流程:版面分割 → 標註定位 → 視覺語言模型(VLM)語意解析,最終輸出結構化 JSON 資料(圖片來源:文獻 [3])。

這項技術路線的最新研究成果,已於 2026 年 6 月發表於機器人與電腦整合製造領域的學術期刊《Robotics and Computer-Integrated Manufacturing》。研究使用涵蓋航太、汽車與一般機械領域的 1,367 張機械工程圖進行評估,微調後的輕量型視覺語言模型達到 99.2% 的召回率、89.2% 的精確率,以及 94% 的 F1 分數;研究亦回報 10.8% 的幻覺率 [4]。


另一項值得企業管理者關注的發現是:通用大型模型並不一定適合直接處理專業工程圖。 2026 年國際機器學習會議(ICML)發表的機械圖面理解基準 MechVQA,使用 3,300 張高密度機械圖面及約 2.1 萬組問答資料,評估多模態大型語言模型的理解能力。研究發現,面對密集標註與工程投影規則等專業內容,通用模型仍有其限制;經機械領域資料訓練的專用模型 MechVL,在總體評分上比測試中表現最佳的閉源通用模型高出 7.57 個百分點 [5]。


企業在導入時應注意:工程圖資訊擷取的關鍵,不只是辨識出文字或符號,還包括辨識結果是否正確、是否保留原始標註的關聯,以及能否在後續流程中追溯與驗證。對尺寸、公差及安全或品質關鍵特性,仍應設計適當的檢核機制。

2. 為什麼結構化資料很重要?

當 PMI 仍以分散的圖面標註存在時,後續流程往往需要人員重新判讀、抄錄及整理。若能將辨識結果轉換為具備欄位、類型與關聯資訊的結構化資料,就更有機會進一步支援:

  • 尺寸、公差及其他檢驗特性的分類與整理。

  • 檢驗特徵清單(BoC)的建立。

  • 氣泡編號與圖面標註的對應。

  • 品質檢驗表及相關文件的產製。

  • 後續系統整合與資料追溯。


不過,資料成功擷取不等於資料已完成驗證。在正式投入品質檢驗前,仍應確認辨識結果是否與原始圖面一致,並釐清圖面版本、單位、特徵識別方式與檢驗規則。

三、自動化氣泡標註:減少人工編號與特徵整理


氣泡標註(ballooning)是品質檢驗準備工作中的重要環節。透過在工程圖上為尺寸及其他檢驗特性加上編號,檢驗人員可以將圖面上的要求與檢驗表中的項目逐一對應。


傳統人工編號雖然直接,但在特徵數量多、圖面複雜或設計變更頻繁的情況下,容易產生重複編號、遺漏特徵或圖面與表格不一致等問題。


自動化的價值不只是提升作業效率,更在於協助維持編號的一致性與完整性,強化圖面標註與檢驗項目之間的對應及可追溯性。實際成效仍取決於軟體的檢核機制,以及人員對辨識結果的確認。


1. 自動氣泡標註的研究與應用

自動標註的品質究竟如何?一項航空製造相關研究提供了具體案例:針對同一張包含 15 項尺寸特徵的零件工程圖,人工編號的正確率約為 90%~93%,平均出現 1~2 處漏標或重複編號;自動辨識程式的正確率則達 98%~100%,僅出現極少數辨識偏差 [1]。


除了處理速度,另一項重要優勢是作業的一致性。自動化程序可以依照既定規則執行標註,降低因疲勞或人為疏忽造成的遺漏風險。不過,上述數據來自特定研究案例,不能直接推論所有工程圖都能達到相同的正確率。


更重要的是,自動產生氣泡編號,不代表系統已正確理解每個標註所對應的幾何特徵。 例如,同一個數值「10」,可能代表孔徑、槽寬或其他尺寸;若將標註錯誤地對應至幾何特徵,即使編號完整,後續的檢驗項目仍可能出錯。


2026 年 2 月發布的一項研究,便針對「2D 工程圖標註如何對應至 3D CAD 特徵」提出解決方法 [6]。該方法先利用視覺語言模型,將圖面標註轉換為包含語意資訊的結構化描述,再透過結合特徵類型相容性、公差一致性與上下文一致性的可解釋評分規則進行比對;若無法明確判定,則進一步交由大型模型推理,並保留人工審核環節。


在 20 組實際 CAD 模型與工程圖配對資料上,該方法的平均精確率為 83.67%、召回率為 90.46%,F1 分數為 86.29% [6]。


這項研究也提醒企業:工程圖自動化不能只看編號是否完整,更要檢查標註與幾何特徵之間的關聯是否正確。對品質關鍵特性而言,建立可驗證的對應機制,並保留必要的人工複核,仍是確保檢驗資料可靠的重要環節。

圖 3|基於 CATIA 二次開發的尺寸氣泡自動產生結果:程式依照工程圖中尺寸標註的出現順序,自動產生(1)至(15)的氣泡編號(圖片來源:文獻 [1])。
圖 3|基於 CATIA 二次開發的尺寸氣泡自動產生結果:程式依照工程圖中尺寸標註的出現順序,自動產生(1)至(15)的氣泡編號(圖片來源:文獻 [1])。

2. 從 2D 標註對應至 3D CAD 特徵

如果企業希望將 2D 工程圖的標註與 3D CAD 模型中的對應特徵連結,問題就不只在文字辨識,也涉及圖面註記與模型幾何之間的關聯判斷。


一項針對 20 組實際配對資料的研究,探討運用大型語言模型輔助推理,將 2D 工程圖標註對應至 3D CAD 特徵;研究回報

精確率 83.67%、召回率 90.46%,F1 分數為 86.29% [6]。

這組數據顯示,跨越 2D 圖面與 3D 模型的特徵對應已有研究進展,但仍存在誤配與漏配的可能。實際導入時,應特別留意多視圖、重複幾何、複雜標註與模型變更等情境,並建立可供人員確認的對應機制。

三、從 PMI 到 BoC:讓品質檢驗表製作流程更連貫


在完成 PMI 擷取與氣泡標註後,下一個關鍵是把圖面資訊整理成可供檢驗作業使用的資料。

特徵清單(BoC,Bill of Characteristics)可用來彙整產品的檢驗特性;實際欄位與定義則應依企業採用的標準、品質流程及軟體實作方式確認。若 BoC 中的特徵能與圖面上的氣泡編號對應,便可進一步支援檢驗表的建立與檢驗結果記錄。


機械製造領域的研究已展示這類自動化流程的可行性。發表於《機械研究與應用》2026 年第 7 期的研究,透過 CATIA 二次開發,建立從尺寸資訊擷取到 FAI 特性表匯出的完整流程 [1]。


其作業步驟包括:

  1. 尺寸屬性擷取:從 CATIA 工程圖中讀取尺寸物件的相關屬性。

  2. 尺寸類型自動辨識:依據尺寸標註內容,分類線性尺寸、直徑、半徑、角度、倒角及幾何尺寸與公差(GD&T)等類型。例如,利用「ϕ」等符號及標註特徵輔助判斷尺寸類別。

  3. 氣泡編號自動產生:依照圖面尺寸資訊,自動建立對應的氣泡編號。

  4. 檢驗特性表自動匯出:將尺寸資訊整理並匯出至 Excel,產生 FAI 特性表,內容包含特性編號、所在視圖、特性類別及尺寸要求等欄位 [1]。

研究亦展示了圖面變更後的處理方式:程式可移除原有氣泡標註,再依更新後的尺寸資訊重新編號並匯出資料。這讓原本需要人工逐項檢查、修改與重新整理的變更作業,有機會透過重新執行程序來完成,大幅簡化後續處理。


這項研究所展示的價值,不只是自動產生一份 Excel 檢驗表,而是將尺寸資訊擷取、特徵分類、氣泡標註與 FAI 特性表產製串接成連續流程,減少人工重複登錄,也降低圖面與檢驗文件之間發生資料不一致的機會。


實際應用時,仍須確認圖面變更後的標註結果、特徵對應及匯出欄位是否正確,避免將自動化產出直接視為已完成品質審核的正式檢驗文件。


圖 4|機械零件工程圖的 PMI 標註全覽:研究資料集將材料、幾何尺寸與公差(GD&T)、尺寸公差、表面粗糙度、螺紋及技術要求等九類標註以不同顏色區分並定位,作為自動化資訊擷取與 FAI 特性管理的辨識對象                    (圖片來源:文獻 [4])。
圖 4|機械零件工程圖的 PMI 標註全覽:研究資料集將材料、幾何尺寸與公差(GD&T)、尺寸公差、表面粗糙度、螺紋及技術要求等九類標註以不同顏色區分並定位,作為自動化資訊擷取與 FAI 特性管理的辨識對象 (圖片來源:文獻 [4])。

在產業應用方面,這類自動化流程也已逐步發展為商業軟體工具。以 MBDVidia_BALLOON2D 為例,其功能流程涵蓋:

2D 工程圖 PMI 讀取 → 自動產生氣泡圖 → 建立 BoC 特徵清單 → 匯出品質檢驗表格

透過這樣的整合,檢驗人員不必再從頭逐項抄錄工程圖上的尺寸與檢驗要求,而是可以先取得系統整理的特徵清單,再進行必要的確認、修正與後續檢驗作業。


這樣的應用方向與前述學術研究所探討的技術路線一致:將工程圖中的 PMI 資訊轉換為結構化資料,並進一步應用於氣泡標註、BoC 特徵管理及品質檢驗文件產製。


值得強調的是,自動化的核心價值不只是產生氣泡圖或檢驗表,而是讓工程資訊從圖面擷取後,能以結構化、可檢核的形式持續運用於後續流程。 至於是否能直接串接 QMS 或 FAI 系統,則須視軟體支援的輸出格式、介面及企業既有系統架構而定。


從資料管理的角度來看,這代表企業有機會逐步減少重複登錄,讓同一份工程資訊在不同作業環節中持續被使用。

資料一次擷取、確認後多處運用,讓品質資訊不再需要一再重抄。

四、結語:給企業管理者的三筆效益評估

  1. 時間效益:減少重複作業,提升檢驗準備效率

在一項包含 15 項尺寸特徵的工程圖案例中,氣泡編號作業由人工處理約 15 分鐘,縮短至自動化處理約 2 分鐘,換算後處理時間減少約 86.7% [1]。此外,機械工程圖結構化解析研究也回報 F1 分數達 94% [4],顯示相關技術在特定測試條件下已具備一定的辨識能力。


這些研究成果呈現了自動化的效益潛力,但應注意,氣泡編號的時間改善與圖面解析的 F1 分數來自不同研究,不能直接合併推論為企業導入後的整體工時改善幅度。實際效益仍須依圖面複雜度、辨識範圍及人工複核需求評估。


  1. 品質效益:降低人工錯誤,強化資料檢核


在上述 15 項尺寸特徵案例中,人工氣泡編號的正確率約為 90%~93%,自動化辨識結果則達 98%~100% [1]。透過自動化擷取與資料整理,也有機會減少人工抄錄過程中的漏登、重複編號及資料不一致問題。


不過,自動辨識不代表完全不需要人工確認。尤其當 2D 工程圖標註需要對應至 3D CAD 幾何特徵時,仍可能出現語意誤配。相關研究提出結合確定性規則、大型模型推理及人工審核的處理方式,並在 20 組 CAD 與工程圖配對資料中,取得 83.67% 的精確率、90.46% 的召回率及 86.29% 的 F1 分數 [6]。


因此,企業導入時應重視的不只是辨識能力,更包括結果檢核、異常提示、人工複核及錯誤追蹤機制,才能讓自動化成果真正符合品質管理需求。


  1. 追溯效益:建立工程資訊與檢驗資料的連結


從 2D 工程圖 PMI 擷取、氣泡編號、BoC(特徵清單)建立,到品質檢驗表產製,若能透過一致的特徵識別方式串接各階段資料,就能降低圖面與檢驗文件之間的資訊落差。


每項檢驗特性都可以透過對應的編號與資料欄位進行管理,讓工程人員與品保人員更容易核對圖面要求、檢驗項目及後續紀錄。當客戶稽核或內部品質追溯發生時,也能減少反覆翻查圖面與人工比對的負擔。


實際能否達到完整追溯,仍取決於軟體是否保留圖面版本、特徵對應關係、檢驗結果及必要的變更紀錄,以及是否能與企業既有品質系統整合。


對於計畫導入工程圖自動化能力的機械製造企業,可以將整體方向歸納為:

先讓機器讀懂圖面,再讓系統檢核資料,最後由人員確認關鍵資訊。

無論是以 CATIA 等平台進行自主二次開發 [1],或評估 MBDVidia_BALLOON2D 等商業化工具,企業都應以相同的標準進行選型:


  • 辨識能力:是否有真實機械工程圖資料作為測試依據?支援哪些 PMI 與標註類型?

  • 品質檢核:是否具備辨識結果確認、異常提示及人工複核機制?

  • 資料應用:能否產生符合企業需求的 BoC 特徵清單與品質檢驗表?

  • 系統整合:輸出格式是否能與既有 QMS、FAI 或其他製造資訊系統銜接?

  • 導入效益:是否能以企業自身的代表性圖面,實測處理時間、辨識品質、人工修正量及資料一致性?


真正有價值的工程圖自動化,不只是把人工操作變成機器操作,而是讓工程資訊從設計圖面開始,就能以結構化、可檢核、可追溯的方式持續運用於製造與品質管理。


從減少重複登錄,到建立跨流程的工程資料連結,這才是企業推動 MBD 與智慧製造時,值得關注的長期效益。

參考文獻

[1] 劉超。〈基於 CATIA 二次開發的工程圖尺寸氣泡自動識別方法研究〉[J]。《機械研究與應用》,2026。DOI: 10.16576/j.ISSN.1007-4414.2026.07.024。


[2] Khan M T, Yong Z, Chen L, Tan J M, Feng W, Moon S K. Automated parsing of engineering drawings for structured information extraction using a fine-tuned document understanding transformer [EB/OL]. arXiv:2505.01530v3, 2025.


[3] Khan M T, Yong Z, Chen L, Feng W, Tan N Y J, Moon S K. A multi-stage hybrid framework for automated interpretation of multi-view engineering drawings using vision language model [EB/OL]. arXiv:2510.21862, 2025.(已獲 ICIEA 2026 會議錄取)


[4] Khan M T, Chen L, Yong Z, Tan J M, Feng W, Moon S K. From drawings to decisions: A hybrid vision-language framework for parsing 2D engineering drawings into structured manufacturing knowledge [J]. Robotics and Computer-Integrated Manufacturing, 2026, 99: 103186.


[5] Kou Q, Shi X, Li Y, Qiu X, Wang X, Zhou H, Cao D X. MechVQA: Benchmarking and enhancing multimodal LLMs on comprehensive mechanical drawing understanding [C]//Proceedings of the 43rd International Conference on Machine Learning (ICML). PMLR 306, 2026. arXiv:2605.30794.


[6] Khan M T, Chen L, Feng W, Moon S K. Context-aware mapping of 2D drawing annotations to 3D CAD features using LLM-assisted reasoning for manufacturing automation [EB/OL]. arXiv:2602.18296, 2026.

留言


bottom of page