더디지만... 꾸준히...

Obsidian sync를 사용하지 않아도 아이폰에서는 obsidian 연동이 매우 쉽다고 합니다.

이 글에서는 우분투, 안드로이드폰에서 사용하기 위해서 Google drive와 연동하는 방법에 대한 내용을 정리합니다.

1. 우분투 + Google drive (참고 1)

rclone이라는 프로그램을 먼저 살펴봤습니다.(참고 2)

그냥 따라하기만 해도 뭔가 복잡하고 어려웠습니다.

그래서 다른 방법은 없는지 살펴보다가 google-drive-ocamlfuse 프로그램을 사용하는 방법을 확인했습니다. (참고1, 참고3)

(1-1) 아래와 같이 프로그램만 설치하고

$ sudo add-apt-repository ppa:alessandro-strada/ppa
$ sudo apt update
$ sudo apt install google-drive-ocamlfuse

(1-2) Google drive와 연동할 폴더를 생성하고,

$ mkdir gdrive

(1-3) Google drive와 연동하면 됩니다.

$ google-drive-ocamlfuse ~/gdrive

이 경우, Google drive의 전체 내용을 gdrive 폴더에서 확인할 수 있습니다.

구글 계정과의 연동은 참고 링크를 확인해 주십시오.

2. 우분투 + Google drive (특정 폴더)

만약 특정 폴더만 mount하고 싶은 경우에는 다음과 같이 합니다.

(2-1) config 파일을 확인합니다.

$ cd ~/.gdfuse/default
$ rm -r cache
$ gedit config

(2-2) config 파일에서 root_folder 부분을 찾습니다.

root_folder=

(2-3) 이 부분에 mount를 하고자 하는 특정 폴더의 이름을 적어 주면 된다고 합니다. (참고 3)

그런데, 저는 folder id를 입력해 줘야 동작했습니다.

참고 4를 살펴보면 아래와 같은 내용이 있습니다.

Root folder ID
...
So if the folder you want rclone to use has a URL which looks like https://drive.google.com/drive/folders/1XyfxxxxxxxxxxxxxxxxxxxxxxxxxKHCh in the browser, then you use 1XyfxxxxxxxxxxxxxxxxxxxxxxxxxKHCh as the root_folder_id in the config.

즉, 웹브라우저에서 Google drive에 접속한 후 mount하고자 하는 특정 폴더로 이동합니다.

이때 주소창에 보이는 주소에서 folders 이후의 주소를 복사해서 config 파일의 root_folder 뒤에 붙여 넣으면 됩니다.

3. 기타

처음에 mount한 경우에 우분투에서 폴더를 생성하거나 파일을 생성하는 경우에 "Input/output error" 문제가 있었고, read only로 mount되는 것을 debug message에서 확인할 수 있었습니다.

웹브라우저로 Google drive에 가서 text 파일을 만들고, 우분투에서 내용을 추가할 수 있었습니다.

이후 동작에 특별한 문제는 없었습니다.

이유는 모르지만 read only로 mount되는 경우가 있어 보입니다. (참고 5)

동작 이후 unmount는 아래 명령어를 사용했습니다.

$ fusermount -u ~/gdrive

.bashrc에 다음과 같은 alias를 만들어서 사용하고 있습니다.

alias gmount='google-drive-ocamlfuse ~/gdrive/'
alias gunmount='fusermount -u ~/gdrive'

- End -

참고 1. https://bigbigpark.tistory.com/43

참고 2. https://www.woobi.net/board2/4781

참고 3. https://jdselectron.tistory.com/164

참고 4. https://rclone.org/drive/

참고 5. https://astrada.github.io/google-drive-ocamlfuse/

Table Of Content

• 1. 문제
• 2. 해결

우분투가 갑자기 부팅되지 않았는데, 해결했습니다.

문제 상황을 자세히 적고, 해결 방안도 정리해 둡니다.

1. 문제

• 우분투(20.04)를 기본 OS로 사용하는데, 필요에 따라서 듀얼 부팅해서 Windows10(최근에 업데이트해서 Windows11)를 사용합니다.
• 우분투로 부팅해서 사용하다가, 필요에 따라서 윈도우로 부팅해서 작업 후 다시 우분투로 돌아가려고 하는데 부팅이 되지 않습니다. 에러 메시지는 root file system을 찾을 수 없다는 것이었습니다.
• 우분투 설치 USB로 부팅해서 boot-repair를 실행했는데 "Recommanded repair" 항목이 보이지 않고, "Create a Bootinfo summary" 항목만 보입니다.
• 검색해 보니 AHCI 모드나 기타 다양한 설명이 있는데 관련이 없었습니다. (BIOS에서 해당 기능을 찾을 수도 없었고, Windows에서 파티션을 암호화하지도 않았습니다.)
• 어떻게든 부팅시키고 싶은 마음에 Clonezilla로 복원을 시도했는데 백업한 파티션을 확인할 수 없습니다.
• 다시 우분투 설치 USB로 부팅해서, Disks 프로그램으로 SSD를 확인하는데, 여러 파티션이 아닌 하나로 보이며, 파일시스템의 종류도 확인할 수 없습니다. 윈도우로 부팅해서 SSD를 살펴보면 여러 파티션이 문제없이 보였습니다.
• 우분투 설치 USB로 부팅 후 mount 명령어를 살펴보니, 평상시 보지 못하던 파티션인 /dev/nvme0n1등의 파티션이 보입니다. SSD는 /dev/sda...에 mount가 되어야 하는데 이상하게 생각되었습니다.
• 결론적으로 우분투가 SSD의 물리적인 문제가 아니라, 파티션 정보를 인식하지 못하는 문제로 판단했습니다.
• 이후 단계는 모두 우분투 설치 USB로 부팅 후 진행했습니다
• fdisk -l 명령어로 partition들의 정보를 확인해 보니, SSD 파티션 항목에서 "The primary GPT table is corrupt, but the backup appears OK, so that will be used."라는 메시지를 확인할 수 있었습니다. GPT table의 문제로 파티션을 확인할 수 없었던 것입니다.

2. 해결

아래 링크를 참고해서 해결했습니다.

https://lihashgnis.blogspot.com/2016/07/recovering-from-corrupted-gpt-partition_30.html

gdisk로 "GPT: damaged"라는 메시지를 확인할 수 있었습니다.

$ sudo gdisk -l /dev/nvme0n1

그리고, 링크에 있는 명령어들로 문제를 해결했습니다.

$ sudo gdisk /dev/nvme0n1

GPT fdisk (gdisk) version 1.0.1

Partition table scan:
  MBR: protective
  BSD: not present
  APM: not present
  GPT: present

Found valid GPT with protective MBR; using GPT.

Command (? for help): r

Recovery/transformation command (? for help): b

Recovery/transformation command (? for help): c
Warning! This will probably do weird things if you've converted an MBR to
GPT form and haven't yet saved the GPT! Proceed? (Y/N): Y

Recovery/transformation command (? for help): v

No problems found. 3437 free sectors (1.7 MiB) available in 2
segments, the largest of which is 2014 (1007.0 KiB) in size.

Recovery/transformation command (? for help): w

참고로 gdisk의 명령어들은 다음과 같습니다.

Command (? for help): ?
b	back up GPT data to a file
c	change a partition's name
d	delete a partition
i	show detailed information on a partition
l	list known partition types
n	add a new partition
o	create a new empty GUID partition table (GPT)
p	print the partition table
q	quit without saving changes
r	recovery and transformation options (experts only)
s	sort partitions
t	change a partition's type code
v	verify disk
w	write table to disk and exit
x	extra functionality (experts only)
?	print this menu

반드시 w로 write를 하고 다시 한번 gdisk로 GPT의 상태를 확인해야 합니다.

- End -

본 글은 외장 모니터의 EDID를 읽어서 정상인 경우에만 연결하지 않고, 무조건 연결하는 방법에 대한 것입니다.

외장 모니터(HDMI)를 잘 쓰다가, 갑자기 연결이 되지 않는 문제가 발생했습니다.

xrandr 명령어를 이용하면 HDMI가 연결되지 않았습니다.

$ xrandr
...
DP-1 disconnected (normal left inverted right x axis y axis)
HDMI-1 disconnected (normal left inverted right x axis y axis)
DP-2 disconnected (normal left inverted right x axis y axis)
HDMI-2 disconnected (normal left inverted right x axis y axis)

dmesg로 확인해 보니 아래와 같은 메시지를 확인할 수 있었습니다.

[00] BAD  00 ff ff ff ff ff ff 00 05 e3 53 23 ec 02 00 00
[00] BAD  28 15 01 03 80 33 1d 78 2a 6e 95 a3 54 4f 9f 26
[00] BAD  00 50 54 bf ef 00 d1 c0 b3 00 95 00 81 80 81 40
[00] BAD  81 c0 01 01 01 01 02 3a 80 18 71 38 2d 40 58 2c
[00] BAD  45 00 fd 1e 11 00 00 1e 00 00 00 fd 00 32 4c 1e
[00] BAD  53 11 00 0a 20 20 20 20 20 20 00 00 00 fc 00 32
[00] BAD  33 35 33 0a 20 20 20 20 20 20 20 20 00 00 00 ff
[00] BAD  00 41 49 4a 42 41 4f 41 30 30 30 37 34 38 01 05

때로는 메시지 위에 "EDID is invalid:"라는 메시지가 보이기도 했습니다.

EDID(위키피디아)는 모니터 정보를 PC에 전달하는 것으로, 결론적으로 EDID 에러 때문에 PC가 외장 모니터를 인식하지 못하는 이슈입니다.

EDID는 EEPROM에 저장되는데 문제가 발생하기도 하는 것 같습니다. - "Some people say hot-plugging the cables can cause corruption."(링크 1)

링크 2를 참고해서, 아래 명령을 실행했지만 edid.bin이 생성되지 않았습니다. (read-edid edid-decode 설치 후 실행)

$ sudo get-edid -m 0 > edid.bin

그래서, 앞서 dmesg로 확인한 EDID를 c 프로그램을 이용해서 binary 파일(edid.bin)을 생성하고 아래 명령을 수행해 보았습니다.

$ parse-edid < edid.bin
Partial Read... Try again

EDID는 256 bytes 인데, 128 bytes만 변환해서 나오는 에러입니다. 나머지 128 bytes를 모두 0으로 채워서 edid.bin을 생성한 후 명령어를 실행하면,

$ parse-edid < edid.bin
WARNING: Checksum failed
Trying to continue...
Section "Monitor"
...

모니터에 대한 정보는 잘 나오는데, Checksum에러가 발생한 것을 확인할 수 있었습니다.

다시 아래 명령을 실행하면,

$ cat edid.bin | edid-decode
edid-decode (hex):
...
Has 1 extension block
Checksum: 0x5 (should be 0x16)
...

Checksum이 원래 0x16이어야 하는데 0x5로 잘못되었다는 내용을 확인할 수 있습니다.

위키피디아를 확인하면 Checksum의 위치는 128 bytes의 맨 마지막 byte입니다.

이를 0x05 -> 0x16으로 변경 후 edid.bin을 새로 생성해서 위 명령들을 수행하면 정상적으로 수행되는 것을 확인할 수 있었습니다.

결론적으로 외부 모니터로부터 EDID를 읽었는데 Checksum이 틀려서 발생하는 문제였습니다.

링크 3을 참조하면, edid.bin 파일은 /lib/firmware/에 위치하는 것으로 보입니다. 그래서 아래 명령어로 edid.bin을 복사했습니다.

$ cp edid.bin /lib/firmware/edid.bin

그리고 링크 2를 참고해서 grub을 변경했습니다.

$ sudo vi /etc/default/grub

# 원래 내용
#GRUB_CMDLINE_LINUX_DEFAULT="quiet splash"
# 수정 내용
GRUB_CMDLINE_LINUX_DEFAULT="drm.edid_firmware=HDMI-A-1:edid.bin video=HDMI-A-1:D quiet splash"

위 명령어는 /lib/firmware/ 폴더에 있는 edid.bin 파일을 이용해서 HDMI-A-1를 연결하겠다는 내용으로 이해됩니다.

내용을 저장한 후 grub을 업데이트 해 줍니다.

$ sudo update-grub

이후 다시 부팅했더니 외부 모니터가 정상 동작합니다.

[주의사항]

노트북에서 사용하다 보니 문제점을 확인했습니다.

강제로 EDID를 인식시키는 방법이므로, 외장 모니터가 연결되어 있지 않아도 외장 모니터가 있다고 인식합니다.

따라서 어플리케이션이 다른 화면에 나타나서 컨트롤이 어려울 수 있고, 마우스의 움직임도 이상합니다.

이때는 grub에서 예전에 사용하던 설정으로 변경하여 EDID 파일을 사용하지 않도록 했습니다.

EDID를 외장모니터에 직접 write하는 것도 방법이라고 하는데, 해당 방법은 아직 진행하지 못했습니다.

- End -

링크 1) https://wiki.debian.org/RepairEDID

링크 2) https://kodi.wiki/view/Archive:Creating_and_using_edid.bin_via_xorg.conf

링크 3) https://askubuntu.com/questions/1011098/how-to-eliminate-edid-checksum-errors

Websocket 스펙인 RFC6455를 살펴봤습니다.

약 3000 라인이 조금 넘는 text 파일인데, 앞서 자료들을 찾아 읽고 나서인지 기본적인 내용을 파악하기는 힘들지 않았습니다.

주요 내용을 정리하면 다음과 같습니다.

- The protocol consists of an opening handshake followed by basic message framing, layered over TCP.

- The goal of this technology is to provide a mechanism for browser-based applications that need two-way communication with servers that does not rely on opening multiple HTTP connections
- The WebSocket Protocol is designed to supersede existing bidirectional communication technologies that use HTTP as a transport layer to benefit from existing infrastructure (proxies, filtering, authentication).

  HTTP가 제공하는 기존의 인프라를 이용할 수 있다.
- The protocol has two parts: a handshake and the data transfer.

  Handshake와 data transfer로 구성된다.
- In a handshake, the leading line from the client follows the Request-Line format. 

  And the leading line from the server follows the Status-Line format. (HTTP Spec.)
- After a successful handshake, clients and servers transfer data back and forth in conceptual units referred to in this specification as "messages". On the wire, a message is composed of one or more frames.

  Handshake 이후에 메시지들을 주고 받게 된다.
- A frame has an associated type. Each frame belonging to the same message contains the same type of data. This version of the protocol defines six frame types and leaves ten reserved for future use.

1.3. Opening Handshake

- For this header field, the server has to take the value (as present in the header field, e.g., the base64-encoded [RFC4648] version minus any leading and trailing whitespace) and concatenate this with the Globally Unique Identifier (GUID, [RFC4122]) "258EAFA5-E914-47DA-95CA-C5AB0DC85B11" in string form, which is unlikely to be used by network endpoints that do not understand the WebSocket Protocol. A SHA-1 hash (160 bits) [FIPS.180-3], base64-encoded (see Section 4 of [RFC4648]), of this concatenation is then returned in the server's handshake.

https://not-to-be-reset.tistory.com/91를 살펴보면, 위 내용을 Python으로 실제 시험할 수 있습니다.

- The |Sec-WebSocket-Accept| header field indicates whether the server is willing to accept the connection.

1.4. Closing Handshake
- By sending a Close frame and waiting for a Close frame in response, certain cases are avoided where data may be unnecessarily lost.

1.5. Design Philosophy
- The WebSocket Protocol is designed on the principle that there should be minimal framing.
- It is expected that metadata would be layered on top of WebSocket by the application layer, in the same way that metadata is layered on top of TCP by the application layer (e.g., HTTP).

4.1. Client Requirements
- The handshake consists of an HTTP Upgrade request, along with a list of required and optional header fields.

5. Data Framing
- A client MUST mask all frames that it sends to the server
- A server MUST NOT mask any frames that it sends to the client.
- Octet i of the transformed data ("transformed-octet-i") is the XOR of octet i of the original data ("original-octet-i") with octet at index i modulo 4 of the masking key ("masking-key-octet-j"):
- Control frames are identified by opcodes where the most significant bit of the opcode is 1.  Currently defined opcodes for control frames include 0x8 (Close), 0x9 (Ping), and 0xA (Pong).  Opcodes 0xB-0xF are reserved for further control frames yet to be defined.

이후에는 필요한 시점에 참고하면 될 것 같습니다.

- End -

물론 스펙을 정독하고 이해하는 것이 정석이겠습니다만, 항상 쉬운 길을 찾게되네요.

하지만, 그 길을 걷다 보면 무슨 내용인지 전혀 파악이 되지 않을 때도 많습니다. ㅠㅠ

몇가지 reference link들을 정리하면서, websocket에 대해서 파악해 봅니다.

1. https://en.wikipedia.org/wiki/WebSocket

• WebSocket is located at layer 7 in the OSI model and depend on TCP at layer 4. 
• WebSocket enables streams of messages on top of TCP.

2. https://www.mischianti.org/2020/12/07/websocket-on-arduino-esp8266-and-esp32-client-1/

• WebSocket is a computer communications protocol, providing full-duplex communication channels over a single TCP connection.
• The big difference from REST server is that in an http request you send request and you must wait response to have the data and start new request on the same connection, with the WS you can stream requests and stream responses than operate when you want.

그리고, 가장 중요한 그림이 나옵니다.

3. https://developer.mozilla.org/en-US/docs/Web/API/WebSockets_API/Writing_WebSocket_servers

• A WebSocket server is nothing more than an application listening on any port of a TCP server that follows a specific protocol.
• WebSocket servers are often separate and specialized servers (for load-balancing or other practical reasons), so you will often use a reverse proxy (such as a regular HTTP server) to detect WebSocket handshakes, pre-process them, and send those clients to a real WebSocket server. This means that you don't have to bloat your server code with cookie and authentication handlers (for example).
• First, the server must listen for incoming socket connections using a standard TCP socket.
• The Sec-WebSocket-Accept header is important in that the server must derive it from the Sec-WebSocket-Key that the client sent to it. To get it, concatenate the client's Sec-WebSocket-Key and the string "258EAFA5-E914-47DA-95CA-C5AB0DC85B11" together (it's a "magic string"), take the SHA-1 hash of the result, and return the base64 encoding of that hash.

Frame format

내용을 정리하자면 다음과 같습니다.

• HTTP와 유사하게 OSI 모델의 7 layer에 위치하는 application
• Full duplex로, client의 요청 없이도 서버가 데이터의 전송을 시작할 수 있음

결론적으로 "TCP protocol 상에서 돌아가는 application으로 서버와 clients간에 full duplex를 지원하는 프로토콜" 정도로 이해할 수 있어 보입니다.

- End -

Python으로 text 파일을 열어서 처리를 하려고 하는데, 이상한 데이터(예를 들면 0xff)가 읽힌다는 에러가 발생하기도 합니다.

[error] encoding : utf8, message : 'utf-8' codec can't decode byte 0xff in position 8: invalid continuation byte

이때 utf8, cp949, euc-kr등으로 변경하라는 가이드가 많이 보입니다.

제가 사용한 text 파일들은 이런 방법으로도 문제가 계속 발생했습니다.

python3의 경우, errors = ignore 옵션을 추가하면 문제가 해결되었습니다.

open(path, 'r', encoding='utf-8', errors='ignore')

관련 링크들입니다.

https://stackoverflow.com/questions/30700166/python-open-file-error

https://stackoverflow.com/questions/12468179/unicodedecodeerror-utf8-codec-cant-decode-byte-0x9c

- End -

sed는 정말 강력한 명령어입니다.

디버깅을 위해서 source의 define이나 코드들을 변경해야 할 때, 그때마다 source를 열어서 변경하지 않고, shell script를 실행해서 변경하고자 할 때 유용합니다.

이미 많은 post들이 있지만, 이글을 쓰는 이유는 sed를 이용해서 하나의 line 뿐만 아니라, 두개의 line에 대해서도 작업을 할 수 있었고, 이를 정리하기 위해서 입니다.

기본적인 예제는 다음과 같습니다.

1. 이름이 '파일_name'인 파일에서 '찾고자 하는 문자열'을 가진 문자열을 출력하는 예제

sed -n '/찾고자 하는 문자열/p' 파일_name

'찾고자 하는 문자열'에 대해서 다양한 패턴들을 넣어서 실험할 때, 실제로 해당 패턴들이 정상적으로 동작하는지 출력을 통해서 확인할 수 있습니다.

즉, sed를 이용해서 shell script를 작성하기에 앞서, 실제 동작 검증용(디버깅용)으로 사용할 수 있습니다.

2. 이름이 '파일_name'인 파일에서 문장이 '//#define ENABLE_TEST' 문자열로 시작하는 경우, 해당 문자열을 '#define ENABLE_TEST'로 변경하는 예제

sed -i 's/^\/\/#define ENABLE_TEST/#define ENABLE_TEST/' 파일_name

3. 이름이 '파일_name'인 파일에서, 'something'이라는 문자열을 찾고, 'something'이라는 문자열을 포함하여 5줄(+5)을 제거(d)하는 예제 (https://ksr930.tistory.com/14)

$ sed -i '/something/,+5 d' 파일_name

4. 이름이 '파일_name'인 파일에서, 'something'이라는 문자열을 갖는 라인을 찾고, 다음 라인에서 'special'이라는 문자열이 있는 경우 처리하는 예제

(https://stackoverflow.com/questions/18620153/find-matching-text-and-replace-next-line/18622953)

# 1
sed -n '/something/{n;/special/p}' 파일_name
# 2
sed -n '/something/{n;s/special/not special/p}' 파일_name
# 3
sed -i '/something/{n;s/special/not special/}' 파일_name

위의 코드에는 3개의 예제가 있습니다.

'# 1'은 'something'이라는 문자열이 있는 라인을 찾고, 다음 라인에 'special'이 있으면 출력합니다. (초기 디버깅용)

'# 2'은 'something'이라는 문자열이 있는 라인을 찾고, 다음 라인에 'special'이 있으면 'not special'로 변경한 후 출력합니다. (초기 디버깅용)

'# 3'은 'something'이라는 문자열이 있는 라인을 찾고, 다음 라인에 'special'이 있으면 'not special'로 파일을 변경합니다. (최종)

위에 참고한 post들은 적었고, (저도 다 읽지는 않았습니다만) 추가로 유용해 보이는 post들은 다음과 같습니다.

https://jhnyang.tistory.com/287

https://snipcademy.com/shell-scripting-sed#the-hold-buffer-space

- 끝 -

이미지에서 object들을 detect했는데, 얼마나 정확한지 평가를 해야 합니다. 이를 위해서는 일종의 평가 지표가 필요하죠. AP와 mAP(mean average precision)도 평가의 지표입니다.

이에 대한 상세하고 쉬운 설명은 아래 링크를 참고해 주세요.

https://bskyvision.com/465

글쓴이가 전문가라서 그런지, 매우 이해하기 쉽게 설명해 주셔서 처음 접하는 개념인데도 이해하기 쉬웠습니다.

mAP를 구하기 위한 코드로 아래 링크를 제안해 주셨습니다.

https://github.com/Cartucho/mAP

git 소스에 예제 파일들이 포함되어 있어서, 실행 및 결과를 쉽게 확인할 수 있습니다.

원할한 수행을 위해서는 numpy, matplotlib, opencv-python 패키지가 필요합니다.

virtualenv를 이용한 가장 기본적인 환경 설정은 다음과 같습니다.

# virtualenv 환경 설치
virtualenv venv --python=python3
# virtualenv 실행
source venv/bin/activate
# 필요한 패키지 설치
pip install numpy
pip install matplotlib
pip install opencv-python

이후에는 단순히 아래 명령어를 수행하면 됩니다.

python main.py

프로그램이 실행되면서 화면이 계속 변경되는 것을 확인할 수 있습니다.

최종적인 디렉토리 구조는 아래와 같습니다.

├── input
│   ├── detection-results # detection 결과 txt 파일들
│   ├── ground-truth      # object 정보 txt 파일들 (정답)
│   └── images-optional   # 원본 이미지
└── output                # 통계 이미지, output.txt
    ├── classes           # class별 AP 그림
    └── images            # 원본과 detection 결과를 같이 보여 주는 이미지
        └── detections_one_by_one # 각각의 object별 이미지

소스를 처음 받으면 input 폴더와 하위 폴더만 있고, 실행 후에 output 폴더가 생성됩니다.

각 폴더 및 폴더에 포함된 파일들에 대한 상세 설명은 아래와 같습니다.

• input/detection-results : 모델을 통해서 얻어진 detection 결과값
• input/ground-truth : ground-truth data. 일종의 정답
• input/images-optional : 실제 사용한 이미지들
• output : 통계 이미지. AP, mAP를 위한 실제 데이터 값 (output.txt)
• output/classes : class별 AP 이미지
• output/images : detection 정보 및 ground-truth data가 box 형태로 실제 이미지에 표시된 최종 결과 이미지
• output/images/detections_one_by_one : detection된 내용이 개별적으로 이미지에 표시된 파일

detection-results에 포함된 "이미지파일명.txt" 파일들의 구성은 다음과 같습니다.

class명 confidence xtl ytl xbr ybr

• confidence : 모델이 해당 class로 확신하는 정도. float. %
• xtl, ytl : box의 좌측상단 좌표(top left)
• xbr, ybr : box의 우측하단 좌표(bottom right)

ground-truth에 포함된 "이미지파일명.txt"는 위와 동일한데, confidence만 없습니다.

class명 xtl ytl xbr ybr

다음에는 예제 실행을 통해서 얻은 데이터를 확인하도록 하겠습니다.

- End -

앞서 darknet 시험 방법에 대해서 간단히 정리했습니다. 아래 링크를 참고해 주십시오.

steadyandslow.tistory.com/143

이글은 train하고 모델을 변경해서 성능을 향상시키는 것이 목표가 아닙니다. Train을 완료한 config 파일과 weights 파일을 이용해서 테스트 파일을 시험하고, 모델의 성능을 평가하는 것이 주요 목표입니다.

평가를 위해서는 test를 통해서 object를 detect하고, 해당 object로 인식하는 confidence, 위치, 크기등의 정보가 필요합니다. 이를 위해서는 "./darknet detector test" 명령어를 사용하며, git 소스의 src/detector.c에 있는 test_detector() 함수를 직접 호출하게 되는데, 함수의 원형은 다음과 같습니다.

void test_detector(char *datacfg, char *cfgfile, char *weightfile, char *filename,
     float thresh, float hier_thresh, int dont_show, int ext_output, int save_labels,
     char *outfile, int letter_box, int benchmark_layers)

Arguments들에 대해서 확인한 내용을 정리하면 다음과 같습니다.

datacfg : 데이터 파일

cfgfile : cfg 파일

weightfile : weights 파일

filename : 시험에 사용할 테스트 파일

thesh : object를 인식하기 위한 minimum threshold

hier_thresh : -

dont_show : OpenCV가 있는 경우, 찾은 object를 box로 표시한 그림을 볼 수 있는데, 이를 보지 않도록 하는 옵션

ext_output : 찾은 object의 위치 정보를 console에 출력하기 위한 옵션

save_labels : 찾은 object의 위치 정보를 txt 파일로 자동 저장 (예를 들어 data/dog.jpg를 시험하면, data/dog.txt 파일이 자동으로 생성됨)

outfile :찾은 object의 확률 및 정보등을 json 파일 형식으로 저장하기 위한 옵션

letter_box : box를 letterbox로 그리는 것으로 보임(확인해 보지 않음)

benchmark_layers : -

옵션을 사용하기 위해서 입력해야 하는 변수는 위의 이름과 틀릴 수 있습니다. (hier_thresh가 아니라 -hier을 사용하는등... 자세한 사항은 소스 참조)

이글에서는 save_labels와 outfile 옵션을 소개합니다.

앞선 글에서 설명했듯이, -ext_output 옵션을 사용하면 화면에 detect한 object들의 위치를 출력합니다.

-save_labels 옵션을 사용하면 이미지 파일이 존재하는 폴더에 이미지 파일에서 확장자를 'txt'로 변경한 파일명을 가지는 label 파일이 생성됩니다.

이 label 파일에는 -ext_output의 출력 내용을 map 옵션에서 사용하기 위해서 변경한 최종 내용이 포함됩니다.

예를 들어 data/dog.jpg에서 data/dog.txt 파일이 생성되고, 그 내용은 아래와 같습니다.

16 0.2889 0.6654 0.2558 0.5551
7 0.7584 0.2202 0.2816 0.1368
1 0.4471 0.4834 0.5881 0.5357

즉, 구태여 -ext_output 옵션을 사용해서 화면에 출력하고, 따로 계산해서 label 파일을 만들 필요 없이, -save_labels 옵션을 사용하면 됩니다.

outfile 옵션은 '-out 파일명' 형식으로 사용하면 되는데, 해당 파일명을 가지는 파일에는 json 형식으로 detect한 object들의 정보가 포함됩니다.

각 이미지 파일별로 생성하는 것이 아니고 모두 포함된 파일 하나만 생성됩니다.

그 내용은 아래와 같습니다.

[
{
"frame_id":1,
"filename":"data/dog.jpg",
"objects": [
{"class_id":16, "name":"dog", "relative_coordinates":{"center_x":0.288886, "center_y":0.665429, "width":0.255769, "height":0.555123}, "confidence":0.997768},
{"class_id":7, "name":"truck", "relative_coordinates":{"center_x":0.758406, "center_y":0.220200, "width":0.281645, "height":0.136754}, "confidence":0.931509},
{"class_id":1, "name":"bicycle", "relative_coordinates":{"center_x":0.447122, "center_y":0.483448, "width":0.588141, "height":0.535695}, "confidence":0.989874}
]
},
...
]

시험 방법은 다음과 같습니다.

일단 다음과 같은 내용을 가지는 cfg/test.txt 파일을 생성합니다. (이용할 파일들의 path를 정리)

data/dog.jpg
data/eagle.jpg
data/giraffe.jpg
data/horses.jpg
data/person.jpg
data/scream.jpg

그리고, 아래 명령을 실행합니다.

./darknet detector test cfg/coco.data cfg/yolov3.cfg yolov3.weights \
-ext_output -dont_show -save_labels -out output.json < cfg/test.txt

위 명령은

- detect한 object들의 정보를 화면에 출력하고 (-ext_output)

- 따로 그림으로 그려서 보여주지는 않고 (-dont_show)

- 각 이미지 파일명과 동일한 label 파일들을 생성하고 (-save_labels)

- 모든 label 정보가 포함된 json 파일을 생성하는데 (-out output.json)

- cfg/test.txt 파일에 있는 이미지 파일들에 대해서 'darknet detector test'를 수행한다.

는 의미입니다.

생성한 파일들은 이후 AP, mAP등으로 성능 평가를 진행할 때 매우 유용하게 사용할 수 있습니다.

(추가)

-dont_show 옵션이 없다면, detect한 object들을 box로 표시한 이미지를 확인할 수 있습니다.

그리고, 여러 이미지를 사용해서 시험하더라도 출력은 항상 고정된 파일명인 prediections.jpg로 저장됩니다.

이미지마다 detect한 object들을 포함하는 이미지로 각각 저장하기 위해서는 아래와 같이 일부 코드를 수정하면 됩니다.

find_replace_extension(input, ".jpg", ".1.jpg", output_buff);

save_image(im, output_buff);
if (!dont_show) {
    show_image(im, "predictions");
}

- End -

Table Of Content

• 1. 소스 다운로드 하고, 컴파일 하기
• 2. weight 파일 다운로드하기
• 3. 예제 실행하기
• 4. mAP 측정하기

Darknet(pjreddie.com/darknet/)은 tensor flow, keras와 같이 big data를 처리하기 위한 framework 중의 하나로 이해하고 있습니다.

대부분 python 기반으로 제공하는 일반적인 big data framework과 달리, 이미지 추출을 위해서 빠른 처리 시간을 제공하는 c 언어 기반의 framework입니다.

워낙 널리 사용되고 유명해서 참고할만한 페이지들이 많기는 합니다만, 다시 한번 정리해 봅니다. (Host 시스템: 우분투 18.04)

1. 소스 다운로드 하고, 컴파일 하기

$ git clone https://github.com/AlexeyAB/darknet.git
$ cd darknet
$ make

- 컴파일이 정상적으로 완료되면, darknet이라는 실행파일이 생성됩니다.

2. weight 파일 다운로드하기

- darknet을 실행하기 위해서는 cfg 파일과 weights 파일이 필요합니다.

- weights 파일은 크기가 커서(over than 250MB) git 소스에 포함되어 있지 않으며, 따로 다운로드 해야 합니다.

- weights 파일의 종류는 pjreddie.com/darknet/yolo/에 있는 아래 그림에서 wieghts 부분을 누르면 다운로드 할 수 있습니다.

- 시험에 사용한 3개의 weights들(yolo-voc.weights, yolov3-tiny.weights, yolov3.weights)은 아래 명령어로도 다운로드 받을 수 있습니다.

$ wget https://pjreddie.com/media/files/yolo-voc.weights
$ wget https://pjreddie.com/media/files/yolov3-tiny.weights
$ wget https://pjreddie.com/media/files/yolov3.weights

- cfg 파일과 weights 파일은 pair가 맞아야 합니다.

3. 예제 실행하기

- data 폴더에는 여러개의 예제 jpg 파일들이 있으며, 이를 이용해서 시험할 수 있습니다.

- 아래 명령어들을 이용해서 darknet을 실행할 수 있습니다. 이 두 명령은 동일합니다.

$ ./darknet detect cfg/yolov3.cfg yolov3.weights data/dog.jpg
$ ./darknet detector test cfg/coco.data cfg/yolov3.cfg yolov3.weights data/dog.jpg

- 여기서 'detecor test' 명령에는 data 파일이 사용되는데, data 파일의 형식은 다음과 같습니다. (coco.data 파일에 주석을 달았습니다.)

# #는 주석 표시
# class의 갯수
classes= 80
# train에 사용하는 파일
train  = /home/pjreddie/data/coco/trainvalno5k.txt
# validation이나 test에 사용하는 파일
valid  = coco_testdev
#valid = data/coco_val_5k.list
# class와 class id를 matching시키기 위한 names 파일
names = data/coco.names
backup = /home/pjreddie/backup/
eval=coco

- 시험에 사용할 파일명( (여기서는 data/dog.jpg)을 맨 마지막에 넣어 줬는데, 파일명이 없는 경우 아래와 같은 메시지가 출력되면서 파일 경로 입력을 기다립니다.

"Enter Image Path: 

- 인식 확률이 출력되는데, '-ext_output' 옵션을 추가하면, 검출된 objects의 위치와 크기 정보를 출력합니다.

$ ./darknet detector test cfg/coco.data cfg/yolov3.cfg yolov3.weights data/dog.jpg -ext_output
....
bicycle: 99%	(left_x: 118 top_y: 124 width: 452 height: 309)
dog: 100%	(left_x: 124 top_y: 223 width: 196 height: 320)
truck: 93%	(left_x: 474 top_y: 87 width: 216 height: 79)
Not compiled with OpenCV, saving to predictions.png instead

4. mAP 측정하기

- 성능의 측정을 위해서 주로 사용하는 것은 mAP(mean Average Precision)입니다.

- 자세한 설명은 https://bskyvision.com/465를 참고해 주세요. mAP를 전혀 몰랐지만, 어렴풋이 이해하는데 큰 도움이 됩니다.

- mAP는 다음 명령어로 확인할 수 있습니다.

$ ./darknet detector map cfg/coco.data cfg/yolov3.cfg yolov3.weights

- cfg/coco.data 파일의 valid 필드에 포함된  파일에 시험을 진행할 files이 적혀 있어야 합니다.

- 본 예제에서는 coco_testdev 파일이며, 해당 파일에 data/dog.jpg만 적도록 합니다.

- mAP 계산을 위해서는 이미지 파일과 정답 annotation 파일(해당 파일에 있는 objects의 위치와 크기를 표시해 둔 파일)이 필요합니다.

- 본 예제에서는 data/dog.jpg와 data/dog.txt 파일이 됩니다.

- data/dog.jpg는 git source에 포함되어 있지만, data/dog.txt 파일은 따로 없습니다.

- 앞서'-ext_output' 옵션을 사용해서 확인한 내용을 정리해서 dog.txt 파일로 만들어 시험했습니다.

- dog.txt 파일의 형식은 "class ID, X, Y, width, height" 순서입니다.

   https://github.com/AlexeyAB/Yolo_mark/issues/60를 참고하면 다음의 내용을 확인할 수 있습니다.

.txt-file for each .jpg-image-file - in the same directory and with the same name, but with .txt-extension, and put to file: object number and object coordinates on this image, for each object in new line: <object-class> <x> <y> <width> <height>

Where:

    <object-class> - integer number of object from 0 to (classes-1)
    <x> <y> <width> <height> - float values relative to width and height of image, it can be equal from (0.0 to 1.0]
    for example: <x> = <absolute_x> / <image_width> or <height> = <absolute_height> / <image_height>
    atention: <x> <y> - are center of rectangle (are not top-left corner)

For example for img1.jpg you will be created img1.txt containing:

- 여기서 X, Y는 이미지의 start point가 아니라, 전체 이미지의 center 값입니다. 내용을 이해하기 어려운데 git source의 script/voc_lable.py의 convert() 함수에 다음 내용이 있습니다.

x = (box[0] + box[1])/2.0 - 1
y = (box[2] + box[3])/2.0 - 1
x = x*dw
w = w*dw

여기서 box[0], box[1]은 xmin, xmax로, box[2], box[3]은 ymin, ymax로 이해하면 되며, 이를 수식으로 표시하면 다음과 같습니다.

x1 : (xmin + xmax)/2 - 1 = xmin + width/2 - 1
y1 : (ymin + ymax)/2 - 1 = ymin + height/2 - 1

x = x1 / image_width
y = y1 / image_height

즉, X, Y는 object의 center 값입니다.

- 시험에 사용한 dog.txt는 다음과 같습니다.

1  0.447 0.483 0.588 0.536
16 0.289 0.664 0.255 0.555
7  0.757 0.219 0.281 0.137

- 이제 준비는 다 되었고, 앞서 명령어를 실행합니다.

$ ./darknet detector map cfg/coco.data cfg/yolov3.cfg yolov3.weights

-시험 결과는 다음과 같습니다.

...
for conf_thresh = 0.25, precision = 1.00, recall = 1.00, F1-score = 1.00 
for conf_thresh = 0.25, TP = 3, FP = 0, FN = 0, average IoU = 99.31 % 

IoU threshold = 50 %, used Area-Under-Curve for each unique Recall 
mean average precision (mAP@0.50) = 0.037500, or 3.75 %

- 여기서 mAP 3.75%는 80개의 class 중 3개 class에 대해서 AP가 100%이기 때문입니다. (3x100%/80 = 0.0375)

이상으로 간단하게 정리한 darknet의 예제 실행을 마무리 합니다.

- End -