|
4 Y2 d. X4 A' j3 m
hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com" W: R3 V' K9 \- A, S, t/ Y- s
我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。
. g! }6 v2 Z- [ 好嘛，举手之劳。 + r' O( ?* {( P7 k9 |
% j3 I7 o7 U7 y V% F" }
但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的 ' }/ _( g- Y3 j& T3 T5 R2 q% }
+ x8 J& [# ?+ u- C |4 Q! M% W1 x 唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫” 0 K7 }+ ~9 @* u; a2 h* E) i
刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。 . {4 [" L; d1 T$ Z
先看这两张图
# ]# v, X k% ]. Y! j6 K- j; P% L
- [( c; D) G7 R7 {: B9 v 第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子） ) J1 o Y# O- T U3 d5 u- W
0 J3 \8 J1 E; ` 第二张是一张声呐图像，显示的是海底的一辆自行车。
. l/ f- @. e6 a0 C0 O" v 其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。 e* K y, C, k6 o: |! u1 Z" l; O
基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。 2 K; Z: h# E1 A- j+ l
有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。 4 N8 \* z8 v: x# `% a0 r6 c+ f
6 c" @5 B/ Z7 @0 B. b 你看这就是辆小汽车 - Q& o/ j2 P; B, |0 v
6 |: Q, i/ b3 N( H6 c1 _
这就是人工堤坝和沙坡 ! x# I6 z( c* b
再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。
1 ?; f, R4 S4 X' P: ]8 W 下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。
, L1 g1 r3 K& F, x3 w) d! E0 g
6 A9 i+ N9 P9 n2 Q; O' ? 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”）
) c* r$ Q" B4 I& W' Z/ U 而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。
. u" W# N$ r% I' G4 C3 T 8 a5 y& e! P3 N; {$ p' |
大致就是这么个意思，你品，你细品。 ) ? ]" Z. `+ ^" g- k
还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 9 @- k- y7 {5 z9 e1 J* S- p
2020“水下目标检测算法赛”
5 r7 r% T. M6 {2 { T' X) [6 k 水下目标检测算法赛（声学图像赛项） / 讨论区
% }! y3 L( b2 [) n# C/ ? 有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
* R2 S1 @ v' Q$ A @: q8 T/ X& d: V% y
- k$ \3 D: ]8 h$ i' c* r 你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。 3 a. ?, M5 l! B0 h' o: r& b
讲完图像之后，我们再来讲讲题该怎么做
+ R7 W" N& M) l 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。 6 C/ {5 }$ ~+ _& M5 ?: C8 s$ R/ E
举个例子：
; b% k+ L* K* [! t7 H WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN 3 \! i6 Z7 ]0 p! x1 a! |1 G
老师给的论文中，使用的方法为CNN/FCN
' }- a8 C4 f2 u; Z o% h1 G' Q
0 Z$ B5 c0 N0 {( C) G) j, M5 Z/ f 其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。 + k+ d/ G' A$ d: Q5 l$ v
另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：
. x p0 s4 \, p: ^$ W “声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。” # q8 m: m: @9 {
以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的） l# z2 t9 i8 z% `) d3 O
要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？
& Q/ X. X* F* T" ^" P3 L! g2 z: k2 ? p3 j' N! }7 Z- f" x
最后，要进行我们的传统项目，也是大家最最最期待的环节：
3 l3 s; n$ [* D/ W 官方baseline公布3 F: t. F: A1 x$ e- K% U Z
使用Google Object Detection 完成水下目标检测 L' \3 E! V8 l' a: N$ d0 p. m& ?. @
https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e
1 u! I- b5 D, X/ z7 F& V 项目优雅介绍了baseline的使用全流程，欢迎大家试用 ( c2 E% ^2 y/ U+ Y! R1 m
什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。
3 ]) L! E& s- h& c 懒人版声学 Baseline
( U& {- m8 C* f! R0 m' M9 d https://www.heywhale.com/mw/project/5e69d767ae2d090037791205 1 [" u2 [% b' p& r: x6 G' N0 o
某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了 & Z+ T5 L1 b$ X/ O
运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包 9 j: w/ k4 ^! }- l' F) `
运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
7 l( |6 W- S& ^/ a) j9 V , Y3 U8 \! {/ S% \
再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。 & h$ U# m9 @$ [- T
你不算我不算，声呐图像怎么办？ ) z4 v' B: S2 n& R0 p
你参赛我参赛，海底世界任我探！ 3 o' Z! J: D2 `" Z* Q! C
期待在排行榜上看到各位的大名。以上。 ! X& Z q. r3 L9 X
相关资料：
9 v5 c( d ^6 p7 _6 D) V 1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6.
k- }+ c* A" A, T 2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738 ( n. x O! Z. G# _" ~2 b
& N4 n; F* ?! s1 w4 A1 v" x; ?$ D9 B1 S7 v* U
! @3 T. _. F; T2 @$ l0 I
0 ~ T( s9 l8 F
| 
