制式的紙本資料常常被用來傳遞、儲存資訊，像是履歷中會有個人的姓名、學歷等等資料，會被人資部門收集起來建檔。雖然在電腦上可以直接從資料文檔擷取資訊建檔，但有些場合還是有匯入紙本資料的需求，大致可以分為文本和標籤這兩種。文本資料擷取的情景(如圖1左)可能是印刷物需要紙本認證像是營業登記證等等文本，不能只看電腦上的資料，還要印下來籤核；或者是對印刷、手寫文本的資訊收集，像是將抄寫的水電瓦斯錶建檔。標籤資料擷取的情景可能是是文檔會被印下來貼在東西上面(如圖1右)，會有從物品標籤擷取資料的需求，像是貨物的籤條會跟著貨物走，收貨方透過籤條才能認證對的貨品再建檔。要匯入實體紙本資料常常需要人工將紙本內容理解後輸入進系統，如果可以自動辨識拍下來的內容可以省去很多不必要的人力。

圖1、文本和標籤範例

紙本資料圖片格式

對電腦而言，圖片就是一格格的像素，除此之外一般沒有既定的格式，例如拍合照，並沒有限制男生一定要站在女生左邊。而紙本資料圖片一般來講對文數字的編排會有既定格式，會將圖片分為各個區塊。因此紙本資料辨識大致分為兩種階段：文字區辨識、連續文字辨識。其中文字區辨識也可能分數個階段做，例如第一階段辨識文字區，第二階段辨識行，而最後再對分出的行中的文數字做辨識。以下會就兩個階段做說明。

A. 文字區辨識

不論是文本還是標籤的紙本資料圖片，大致上都可以分為無框線和有框線兩種情況。無框線的情況下會由相對位置來區分區塊，像是履歷上最上面是姓名、照片，下面是學歷、經歷等等，也可能左邊是經歷、右邊是證照，總之區塊間有明顯的區隔，如圖2所示。

圖2、無框線紙本資料圖片範例

另外還有一種是有框線的情況，直接以隔線區分不同意義的區塊，例如簽到表(圖3左)上會有欄跟列，欄表示不同項目、列表示不同序列；也可能是不規則的表格，例如貨物標籤(圖3右)，每個格子會有不同意義。

圖3、 有框線紙本資料圖片範例

若已經知道以上的格式則可以安排不同種類、不同布局的模型做相應的機器學習，這兩種格式區會有不同的文字區辨識方式可以用。通常會做一些資料增強來加強訓練效果，除了常見的旋轉、平移、亮度改變、色調改變之外過往也有試過將每個文字區剪下直接貼到別的地方做為增強資料，但卻得到反效果，不建議使用。應是剪下貼上的銳利邊干擾學習，且後來改成四周加上白邊後再位移則有較好的效果。

A.1. 無框線文字區辨識

例如為方便審核廠商資料建檔，會將對方附檔的證書key成文字，但這個建檔步驟繁雜又容易出錯，不過有固定想看的的項目，所以適合用AI做自動辨識。如圖4：第一階段會先判別文字區、第二階段辨識行、第三階段再來判別行中的連續文數字。

圖4、無框線紙本資料辨識流程範例

若沒有框線，則文字區辨識一般都會定界為物件偵測問題，會用最小矩形框從圖片中框出各個類別物件(在這邊就是文字區)的位置、長寬、類別。以下介紹RCNN系列和YOLO系列的物件偵測。

A.1.1. RCNN系列

Regions with CNN features系列是標準2 stage network，會先生出很多預測框，在訓練時以最大化預測框及目標框的交集/聯集(IOU)為目標，若兩者有差距則IOU小(如圖5所示)接下來對這些目標框做類別預測。

圖5、IOU示意圖

初版會使用CNN生出無數個預測框，使用SVM對這些預測框進行fine tune，所以很慢。生出這個類型的loss後來還有許多改進，如Fast RCNN、Faster RCNN等等。後來的Faster RCNN使用Region Proposal Network以CNN抓出的feature map生出無數個預測框(proposals)拿來做感興趣區域(ROI)的pooling(不論是區域內平均還是最大值都算pooling)後的值做預測，大幅加快整體運作速度，如圖6所示。

圖6、Faster RCNN中ROI pooling，來源為Girshick, R. (2015). Fast r-cnn. In Proceedings of the IEEE international conference on computer vision (pp. 1440–1448).

A.1.2. YOLO系列

You Only Look Once系列希望使用CNN就能給出預測框的長寬、位置、類別。以 YOLOv1 為例，經過多層CNN還有pooling讓feature長寬成為7×7的大小，feature深度中每個維度有不同含義。它的想法是想將預測框的範圍侷限在7×7個格狀附近(如圖7左所示)，然後去預測每個框離這個格子左上角的x,y距離(如圖7右所示)，還有框的長寬、種類、可信程度。

圖7、TOLOv1預測框改念圖

後續又推出了YOLOv2、YOLOv3、YOLOv4等等在速度和準確度上有更多進展，如圖8所示，不過通常同一種YOLO速度快時準確度就會比較低。比較標準AP()是為框線IOU在某個基準(例如5%,50%,90%等等)之上時的預測準度，詳細可以參考外部連結。

圖8、COCO Object detection AP大小比較，來源: https://github.com/alexeyab/darknet

目前最常用的YOLOv4在real time的執行速度下可以在 COCO dataset 達到44% mAP的準確度。而有時會將物件偵測重點放在速度上，那就有Fast YOLO系列可以用，如圖9所示。後來有Fastest YOLO將back bone CNN model改成Efficient net後讓速度還能再更上一層。

圖9，比較各代yolo準度及速度，來源: https://github.com/dog-qiuqiu/Yolo-Fastest

A.2. 依框線辨識文字區

例如倉儲人員需要將貨物標籤資訊建檔、或比對資訊，提供給客戶及貨運公司，那很多貨物的標籤上就有用框線分割文字區，可以透過辨識框線來區分文字區。如圖10：第一階段會先判別標籤、區塊或特定代碼，第二階段再來判別區塊中的連續文字、數字。

圖10、有框線紙本資料辨識流程範例

若紙本中有框線，除了可以定界為物件偵測問題外亦可以定界為影像分割問題。

A.2.1. 物件偵測

與前面無框線圖片的文字區辨識一樣，可以使用RCNN系列或者YOLO系列來偵測，都可以得到不錯的結果，如圖11所示。

圖11、使用物件偵測方法辨識有框線圖片的文字區

A.2.2. Table-OCR影像分割

基於框線的特性，透過影像分割演算法將原本的標籤中有框線的部分一條一條偵測出來，接著透過預先的定義查找該項目的位置。例如我要找下列標籤中右下代碼的部分，就是介於X_line6到X_line7之間，還有Y_line3到Y_line4之間，見圖12。Table-OCR使用Unet網路去切出圖片中的直線和橫線，再混合使用opencv的erode,dilate將直線橫線精化，參考chineseocr/table-ocr。

圖12、影像分割找出框線示意圖

為確保line的位置有對到還要做圖片歪斜的校正，簡單的方法是根據偵測出來的最左邊和最上面的線的邊緣找到三個角落來校正，範例是使用X_line0,Y_line0找出三個點，接著對左上到右上連線的傾斜角度做校正，如圖13所示。

圖13、校正圖片歪斜

B. 文數字辨識

當利用文字區辨識模型找出文字區塊後，就可以開始接著做文數字辨識。文數字辨識的作法比較多樣，可以用sequence to sequence的方式來解，亦或者當成物件偵測問題，甚至如果可能結果的範圍不大(例如判別數字串)，則可以當成影像分類問題。為訓練文數字，首先會將前步驟文字區判別出的最終結果存起來，然後做影像標註，值得一提的是，使用遞迴式的標註可以增快標註速度：第一次標註200張，訓練過文數字判別後使用訓練好的模型自動標註200張，修正200張的偏差後，使用400張辨識…，依此類推直到標註完全部照片，可以節省90%的時間。也可以嘗試加入使用常見的數據集例如MNIST手寫數字資料集合成圖片增加訓練資料量，像是在空間中任意塞放大縮小過的MNIST數字，以期提供更多樣的數字組合來強化訓練效果，如圖14所示。

圖14、MNIST組合的影像

若文數字其實不是MNIST那種手寫文字而是印刷文字，則需自製印刷字體資料集，可以使用簡單的Excel把所有可能文字打出來存成圖檔。在資料上需做多種的資料增強，包含加上雜訊、銳利化、調整亮度、色調等等，都是為了適應不同的紙質以及拍攝情況，如圖15所示。

圖15、對文字做各種影像增強

那以下就介紹幾種文數字判別的方案。

B.1. Sequence to Sequence Model

文字辨識可以透過sequence to sequence的模型來做，會從某橫向掃過圖片，對圖片單向或雙向的做解析，有點像人類辨識文字的方式。這邊介紹方便的套件Tesseract 4.0，它是一套LSTM-based的開源光學文字辨識引擎支援30種以上的語言，能分析整頁文件資料、 支援垂直書寫辨識。主要結構是將input圖片以sliding window方式由左至右(forward)還有由右至左(backword)輸入進兩個不同的LSTM中，如圖16上半所示。再來將輸出concatenate起來(也就是bi-directional LSTM)，再丟入1×1 convolution壓縮channel最後使用sigmoid做output activation，如圖16中間模型圖。最後輸出會是window中偵測到某個文字與否，所以常常偵測到空字元，可以藉由空字元數量判斷是否真的是空字元(e.g. 大於2個)，如圖16下半部。

圖16、Tesseract運作模型

輸入資料為未經壓縮的標籤圖像文件格式(TIFF)並且背景為淡色或白色，所以需要前處理轉成灰階，如圖17所示。簡體中文能直接在上面訓練，若為繁體中文則需繁簡轉換。

圖17、將圖片灰階處裡

目前大部分印刷字體都使用Tesseract來做辨識。

B.2. 物件偵測

文字判別問題也可以化為數個單文字或數字的物件偵測問題，如圖18所示。可使用YOLO或RCNN系列做判別，他們的各個版本這邊就不再贅述。

圖18、單文字、數字物件偵測

這邊以手寫數字辨識為例，可以使用使用labelimg標籤，如圖19所示。

圖19、使用lableimg做標籤文字的物件框

使用結果大致如下，在一個範圍中框出所有的數字，並算出對該數字的信心指數。例如圖20所示每個數字都很有信心，數字排列應是1103。

圖20、使用物件偵測辨識文數字結果

B.3. 影像分類

出現的文數字排列組合較少時可以考慮直接做影像分類。若可能的種類有多少種就分多少類，適用於固定文數字數量的情況，例如上例手機末三碼為3個字，則可能的分類就是000~999共1000種可能。而模型的話則可以參考paper with code image-classification排行榜，如圖21所示。

裡面會持續更新時下最有能力的模型，且每個資料集有分開排名，建議從樣貌和目標接近的資料集的排行榜來選要使用的模型。
其中過往專題最熱門的是Efficient Net系列，其中Efficient Net B4通常能達到速度和準確度的最佳平衡，如圖22所示。

圖21、image classification排行榜

圖22、各種classification網路做Image net的top-1 accuracy。Y軸為accuracy、X軸為速度。Tan, M., & Le, Q. (2019, May). Efficientnet: Rethinking model scaling for convolutional neural networks. In International Conference on Machine Learning (pp. 6105–6114). PMLR.

小結

以機器學習實作紙本資料辨識大致上是為了實體的標籤、文本建檔和認證。其中模型大致上會先做多階段的文字區辨識再做文數字辨識。視資料中有無框線，文字區辨識可能可以用物件偵測或者影像分割的方式做各階段的文字區辨識。依照紙本常常是均質的特性，比較特別的是常常可以使用剪下區塊貼上的方式做資料擴增。另外，紙本辨識依case會有不同的階段，但一定包含文數字辨識，方法多元，可能可以用sequence to sequence、物件偵測或者影像分類方式去做。紙本的文數字辨識要考慮使用的是手寫還是印刷文字，若是手寫英數字可以使用MNIST合成資料擴充訓練資料；若是印刷文字則可以把文字存成圖檔再合成資料擴充訓練資料。最後在模型選擇上，不論是物件偵測、影像分割還是影像分類，都可以從paper with code上面尋找該議題中最新最好的模型來用。

希望本文對想做機器學習，紙本辨識的同好有幫助!

References

1. (RCNN)Girshick, R., Donahue, J., Darrell, T., & Malik, J. (2014). Rich feature hierarchies for accurate object detection and semantic segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 580–587).
2. (Fast RCNN)Girshick, R. (2015). Fast r-cnn. In Proceedings of the IEEE international conference on computer vision (pp. 1440–1448).
3. (Faster RCNN)Ren, S., He, K., Girshick, R., & Sun, J. (2015). Faster r-cnn: Towards real-time object detection with region proposal networks. arXiv preprint arXiv:1506.01497.
4. (YOLOv1)Redmon, J., Divvala, S., Girshick, R., & Farhadi, A. (2016). You only look once: Unified, real-time object detection. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 779–788).
5. (YOLOv2)Redmon, J., & Farhadi, A. (2017). YOLO9000: better, faster, stronger. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 7263–7271).
6. (Fast YOLO)Shafiee, M. J., Chywl, B., Li, F., & Wong, A. (2017). Fast YOLO: A fast you only look once system for real-time embedded object detection in video. arXiv preprint arXiv:1709.05943.
7. (YOLOv3)Redmon, J., & Farhadi, A. (2018). Yolov3: An incremental improvement. arXiv preprint arXiv:1804.02767.
8. (YOLOv4)Bochkovskiy, A., Wang, C. Y., & Liao, H. Y. M. (2020). Yolov4: Optimal speed and accuracy of object detection. arXiv preprint arXiv:2004.10934.
9. (Tesseract)Smith, R. (2007, September). An overview of the Tesseract OCR engine. In Ninth international conference on document analysis and recognition (ICDAR 2007) (Vol. 2, pp. 629–633). IEEE.
10. (U-net)Ronneberger, O., Fischer, P., & Brox, T. (2015, October). U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention (pp. 234–241). Springer, Cham.
11. (Efficientnet)Tan, M., & Le, Q. (2019, May). Efficientnet: Rethinking model scaling for convolutional neural networks. In International Conference on Machine Learning (pp. 6105–6114). PMLR.

YOLO: Real-Time Object Detection

2020 年在 AI 領域中有不少令人振奮的技術創新，像是在電腦視覺領域的 YOLO v4 以及自然語言領域的 GPT-3，而 YOLO (You Only Look Once) 為物件偵測 (Object Detection) 的重要技術。

YOLO 首次於 2015 年 6 月由 Joseph Redmon 提出，隨著時間推進又推出了 YOLOv2 (2016.12)和 YOLOv3 (2018.04)，而在 2020.02.21 時 YOLO 之父 Joseph Redmon 宣布退出電腦視覺領域，但是這並不影響 YOLO 的進化，在 2020 年 4 月時就推出了 YOLOv4，總共有三位作者，第一個是來自俄羅斯的 Alexey Bochkovskiy，他曾經參與 YOLO github 的項目維護，而另外兩位則來自台灣，分別是中央研究院資訊所的廖弘源所長與王建堯博士，YOLOv4 在 AI Rewind 2020: A Year of Amazing Papers 榮獲 2020 年度最驚艷的論文之一，簡直是 AI 界的台灣之光。

那麼紅的 YOLOv4 想必大家都在使用，在我們台灣人工智慧學校技術領袖班的結業專題中，使用的組別也是大有人在。在本篇文章中，將整理一些使用 YOLOv4 的心得 : (關於技術細節方面並不會深入探討)

1. 物件偵測能應用在哪裡
2. YOLOv3 和 YOLOv4 差異
3. CFG 說明 (超參數)
4. 人臉偵測的 YOLO 模型
5. 模型部屬
6. 使用 YOLOv4 時常見的狀況
7. 結語

物件偵測能應用在哪裡

物件偵測在現實生活中可以解決許多問題，例如

1. 瑕疵偵測：製造業常用的瑕疵檢測
2. 社交距離+口罩偵測：目前疫情下的口罩偵測以及維持社交距離
3. 人臉偵測：進一步可以發展為人臉辨識，進而實現人臉打卡、罪犯追蹤
4. 交通路況偵測：促進智慧交通的發展，像是車流或是人流偵測

來源：立達軟體科技股份有限公司、長庚大學、中研院

YOLOv4 展示影片如 影片一 所示：

影片一，YOLOv4 展示影片

YOLOv3 和 YOLOv4 差異

YOLOv3 發表於 2018 年 4 月，讓我們來看看經過兩年後 YOLO 進化成怎樣吧！

在 圖一 和 圖二 中，分別畫出了 YOLOv3 和 YOLOv4 的網路架構圖，方便比較兩者的不同

圖一，YOLOv3 網路架構圖

圖二，YOLOv4 網路架構圖

我們可以從圖中清楚的看到兩者的區別，另外我將它們的差異整理在 表格一 中

表格一，YOLOv3 和 YOLOv4 差異

假如讀者想要了解細節，可以參考以下的文章連結，這邊就不多加撰述了：

• YOLOv3: YOLO演進 — 2 — YOLOv3詳細介紹
• YOLOv4: YOLO演進 — 3 — YOLOv4詳細介紹

CFG 說明 (超參數)

常見的深度學習框架是 TensorFlow 和 PyTorch，而 YOLO 作者基於 C 和 CUDA 寫了一個相對小眾的深度學習框架 — Darknet，優點是易於安裝，以下提供了一些 source code 可以訓練 YOLO 模型，詳細訓練說明可以查看 github。

1. Darknet — https://github.com/AlexeyAB/darknet
2. TensorFlow — https://github.com/hunglc007/tensorflow-yolov4-tflite
3. PyTorch — https://github.com/WongKinYiu/PyTorch_YOLOv4

在使用 darknet 訓練時可以根據更改 CFG，來調整自己的需求，有關 CFG 的說明可以參考下列說明

1. CFG Parameters in the [net] section
2. CFG Parameters in the different layers

在這邊我會列幾個比較重要的超參數，並解說一下它的重要性

Inputs:

• batch: 就是常見的 batch size，一次丟 batch size 筆的資料給模型訓練
• subdivisions: 若 GPU 記憶體不夠的話可以調整這個參數，mini_batch = batch/subdivisions，而 mini_batch 才是實際送進去訓練的 batch
• width: 影像的寬
• height: 影像的高

Data augmentation:

• angle, saturation, exposure, hue, blur: 基本的資料擴增方法
• mosaic: 在 YOLOv4 提出的方法，可以將四張影像拼成一張，進而減少運算量和增加小物體目標
• letter_box: 保持長寬比，通常我們希望物體不要有變形，因此都會讓它保持長寬比

Optimizer:

• policy: 學習率的動態調整策略包含: constant, sgdr, steps, step, sig, exp, poly, random，詳細如何使用請參考上面的連結，預設的話是使用 steps 這個策略：steps 和 scales 是綁在一起的，steps=400000,450000、scales=.1,.1 的意思是在第 400000 和 450000 時各將學習率乘以 0.1
• label_smooth_eps: 使用 label smoothing 的參數

yolo layer:

• mask: anchors 的 index，每層 yolo layer 會選擇 3 個 anchors
• anchors: YOLO 算法中一個很重要的東西，anchor-based 的物件偵測方法都會使用到，在 darknet 中可以使用 calc_anchors 透過 k-means 來根據訓練資料聚合出指定類別數的 anchors，值得一提的是每層 yolo layer 需要 3 個 anchor，而 YOLOv4 有三層 yolo layer 因此需要聚合出 9 個 anchor，另外 YOLOv4-tiny 比較輕量，所以只有兩層 yolo layer 因此只需聚合出 6 個 anchor，作者也有提供 YOLOv4-tiny 三層 yolo layer 的版本。
• ignore_thresh: 若預測的 Bounding box 和 Ground truth 的 IoU 大於此參數，則納入 loss 的計算，通常用 0.5~0.7
• scale_x_y: 用來防止 Eliminate grid sensitivity 的問題
• iou_loss: 有 mse, giou, diou, ciou 可以選擇，YOLOv4 使用了 ciou 取代了 mse 來當作計算 BBOX 的 loss
• random: 代表每 10 次迭代輸入影像會隨機縮放到 x/1.4~1.4x，這樣在推論時才可以適應各種影像的尺寸。

人臉偵測的 YOLO 模型

在這邊我使用了官方提供的 darknet 來訓練一個人臉偵測模型，人臉資料集選用 WIDER FACE Dataset 共有 32203 張圖像其中包含 393703 個人臉目標，分別在尺度、姿勢、標準、表情、裝扮和光照有不同的表現，如 圖三 所示，其中 40% 為訓練集、10% 為驗證集、50% 為測試集。

圖三，wider face dataset

而我分別使用 YOLOv3 和 YOLOv4 去訓練，各用兩顆 GPU 的訓練時間分別是 14.5 小時和 17 小時， YOLOv4 的訓練時間雖然比較長，但是比起 YOLOv3 偵測人臉的效果好很多 (在 圖四 中可以看到在 mAP 這個評估指標下 YOLOv3 最高的 mAP 是 61%，而 YOLOv4 比 YOLOv3 高了 7.5% 來到了68%)，這個關鍵在於說 YOLOv4 在訓練時增加了很多 YOLOv3 沒有使用到的技巧。

mAP介紹：深度學習系列: 什麼是AP/mAP?

圖四，YOLOv3 和 YOLOv4 的 training history 之 1

圖四，YOLOv3 和 YOLOv4 的 training history 之 2

另外我實際推論了一個在菜市場邊走邊錄影的影片，如 影片二 所示。可以觀察到他們兩個模型的效果其實都很好，但如果仔細觀看的話可以發現 YOLOv4 連特別小的人臉都可以偵測出來，很仔細的話…

影片二，YOLOv3 和 YOLOv4 在影片的推論比較

在 圖五 這張照片的比較中，乍看之下好像沒什麼區別，但是如果認真看的話在小目標上 YOLOv4 會把臉框的更精準，看不清楚沒關係，我們放大左上方的位置來比較看看，結果如 圖六 中所示，可以看到 YOLOv4 會把人臉包覆的更好

圖五，YOLOv3 和 YOLOv4 在照片的推論比較

圖六，放大 圖五 左上方的畫面

模型部屬

近幾年來的 AI 落地最火紅的應該就是 Edge AI，在 圖七 中我們可以看到 Edge AI 在最頂端的地方

圖七，Hype Cycle for AI in 2020

我們在訓練模型通常是在 Cloud 端上訓練，人們想著模型架構越大準確率越高越好，而想在 Edge 端上運行 AI 模型並實現 real time 就會受運算資源影響，因此需要模型架構小且推論速度快的模型，因此在 2020 年 11 月又推出了 Scaled-YOLOv4，他能讓你選擇要準確率還是要推論速度。

• 若要求準確率可以選擇在 Cloud 端上運行 YOLOv4-large 模型: YOLOv4-P5, YOLOv4-P6, YOLOv4-P7，在 圖八 中可以觀察到 YOLOv4-large 的 AP (綠色的線) 都比 YOLOv4 (灰色的線) 要好
  

  圖八，YOLOv4-large performence

• 若要求速度可以選擇在 Edge 端上運行 YOLOv4-tiny 模型，作者在不同 Nvidia GPU 設備中測試 YOLOv4-tiny 的速度，包括 Xavier AGX, Xavier NX, Jetson TX2, Jetson NANO，在 表格二 中比較了 FP32 的精度和 FP16 的精度的推論速度，在 NANO 中 FP32 的 FPS 為 16，而 FP16 的 FPS 可以達到 39，可以看到速度大概差了兩倍多
  

  表格二，

  影片三 是我實際使用 Jetson Nano 並用 FP16 的精度經由 TensorRT 加速後的結果，可以看到在預測單個人時可以高達 39 FPS，並且 YOLOv3-tiny 和 YOLOv4-tiny 的推論速度沒有太大的差異

  影片三，YOLOv4-tiny on Jetson nano

  除了官方提供的 tiny 系列，有些非官方的甚至提出了可以在 CPU 上達到 Real time 速度的 YOLO 模型，在這邊列給各位參考，當然在準度方面就不能太要求，在準度和速度方面需要自己取捨：

• Yolo-Fastest: https://github.com/dog-qiuqiu/Yolo-Fastest

使用 YOLOv4 時常見的狀況

• 由於預設 cfg 的 anchors 是使用 coco datasets 計算出來的 anchors，在訓練自己的資料集時不一定適用，因此需要使用 calc_anchors 來計算出適合自己 datasets 的 anchors。
• 如果是在類似 colab 這種不能有彈出式視窗的環境下訓練時，後面記得要加 -dont_show，不然會報錯，例如：

  $ darknet detector train data/coco.data data/yolov4-coco.cfg data/yolov4-csp.conv.142 -dont_show

• 當發生類別不均衡時可以使用 GAN 的方法來自己生成數量較少的資料，例如在瑕疵檢測中，一定有一些瑕疵是很少出現的，這時候可以使用 segmentation 的方法將瑕疵切出來再貼到想要貼上去的背景影像，若想要將其更無違和的貼上去可以使用 GP-GAN 的方法，如 圖九 所示。
  

  圖九，GP-GAN 達成無違和合成

• 當你開始訓練了，結果只訓練一下就斷掉有 segmentation fault (core dumped) 的情形發生，這時會生成出 bad.list ，裡面會記錄一些不正常的訓練檔案，例如你的 x, y, w, h 有 ≤ 0 的狀況，更正後就可以訓練了。
• 若訓練完模型，想在 Python 中做進一步的應用，可以使用 opencv 來 load YOLOv4 的 weights 和 cfg 檔，範例 code 如下：

  import cv2
  CONFIDENCE_THRESHOLD=0.2
  NMS_THRESHOLD=0.4
  net = cv2.dnn.readNet("yolov4.weights", "yolov4.cfg")
  model = cv2.dnn_DetectionModel(net)
  model.setInputParams(size=(416, 416), scale=1/255, swapRB=True)
  classes, scores, boxes = model.detect(img, CONFIDENCE_THRESHOLD, NMS_THRESHOLD)

  YOLOv4 inference using OpenCV DNN

• 在 edge 端上用 yolov4-tiny-3l.cfg 的 mAP 比 yolov4-tiny.cfg 高，可以觀察到 3 層 yolo layer 在偵測小物體上還是很有用的。令人驚訝的是推論的速度居然沒有差多少，讀者可以考慮使用 yolov4-tiny-3l.cfg 來應用在 edge 端上。而再進一步的使用四層 yolo layer 時效果並沒有比三層的好，看來在這個人臉偵測的任務中三層 yolo layer 就足夠了。

結語

YOLOv4 是個簡易上手又效果很好的工具，在很多產業應用上都可以使用它來解決問題，例如在製造業上可以偵測出有異常的產品、在農業上可以偵測出水稻的位置，進而估算出收穫量、在當今疫情下可以偵測出人臉，並搭配熱影像溫度偵測來判斷進出人員有無發燒、在智慧交通上可以偵測出車輛或行人的流量，進而控制紅綠燈的秒數，讓交通更有效率！看了那麼多案例，心動不如馬上行動，還沒用過的快來試試看吧！

而近年來不同於 anchor-based 的物件偵測方法也開始雨後春筍般地冒出，例如 anchor-free 的方法、基於 Transformer 的方法，若對其他實現物件偵測的方法有興趣的話也可以去查看看哦

Reference

1. YOLOv4: Optimal Speed and Accuracy of Object Detection
2. Scaled-YOLOv4: Scaling Cross Stage Partial Network