검색 기능은 준비 중입니다.
검색 기능은 준비 중입니다.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

Open Access
Estimation of Drone Payloads Using Millimeter-Wave Fast-Chirp-Modulation MIMO Radar
오픈 액세스
밀리미터파 고속 처프 변조 MIMO 레이더를 사용한 드론 페이로드 추정

Kenshi OGAWA, Masashi KUROSAKI, Ryohei NAKAMURA

  • 조회수

    300

  • 이것을 인용
  • Free PDF (8.2MB)

요약 :

드론 기술이 발전하면서 드론에 테러나 기타 범죄에 대한 위협 페이로드가 탑재될 가능성에 대한 우려가 커지고 있다. 탑재체를 운반하는 드론을 탐지할 수 있는 드론 탐지 시스템이 필요합니다. 드론의 프로펠러 회전 빈도는 페이로드 무게에 따라 증가합니다. 따라서 프로펠러 회전주파수를 추정하는 방법은 탑재체의 유무와 중량을 효과적으로 검출할 수 있다. 본 논문에서는 밀리미터파 고속 처프 변조 다중 입력 및 다중 출력(MIMO) 레이더를 사용하여 획득한 레이더 영상으로부터 프로펠러 회전 주파수를 추정하여 드론의 탑재 중량을 분류하는 방법을 제안합니다. 각 드론 모델에 대해 제안된 방법에는 페이로드 중량과 프로펠러 회전 주파수 간의 관계를 설정하는 사전 준비된 참조 데이터 세트가 필요합니다. 우리 제안의 유효성을 조사하기 위해 두 가지 실험 측정 사례가 수행되었습니다. 사례 1에서는 600개의 드론(DJI Matrice 3, DJI Phantom 2, DJI Mavic Pro 및 DJI Mavic Mini)을 평가하여 드론의 프로펠러 회전 주파수를 올바르게 추정할 수 있는지 확인했습니다. Case 3의 경우, 페이로드 중량 분류의 정확도를 계산하기 위해 안정적인 위치에 여러 페이로드가 있는 호버링 팬텀 250 드론에 대한 실험을 수행했습니다. 실험 결과는 제안된 방법이 모든 드론의 프로펠러 회전 주파수를 추정하고 XNUMXg 단위로 페이로드를 높은 정확도로 분류할 수 있음을 나타냅니다.

발행
IEICE TRANSACTIONS on Communications Vol.E107-B No.5 pp.419-428
발행일
2024/05/01
공개일
온라인 ISSN
1745-1345
DOI
10.23919/transcom.2023EBP3104
원고의 종류
PAPER
범주
감지

1. 서론

드론은 급속도로 발전해 최근 보안, 측량, 배송, 사진 촬영, 재난 대응, 농업 등 다양한 분야에서 널리 활용되고 있다[1]. 그러나 사용이 증가함에 따라 드론에 폭발물, 생화학 무기, 테러 및 기타 범죄를 위한 불법 물질이 탑재될 수 있다는 우려가 제기되었습니다[2], [3]. 따라서 안티드론 시스템은 페이로드의 유무를 감지하고 이러한 드론을 우선적으로 처리할 수 있어야 합니다. 카메라, 마이크, 레이더 등 드론 탐지 기술이 활발히 연구, 개발되고 있다. 레이더는 카메라나 마이크와 달리 기상 조건에 영향을 받지 않는다는 점에서 효과적인 드론 탐지 기술로 주목받고 있다[4].

레이더를 이용한 드론 탐지에 관한 대부분의 연구는 드론 프로펠러의 회전에 의해 생성된 마이크로 도플러 신호에 의존합니다[5]-[9]. 인용된 연구에서 드론 모델은 마이크로 도플러 시그니처의 차이를 기준으로 분류되었습니다. 또한 최근 마이크로 도플러 시그니처를 사용하여 페이로드를 운반하는 드론을 탐지하는 여러 연구가 진행되었습니다[10]-[13]. [10]에서는 W 대역, C 대역 및 S 대역 주파수 변조 연속파(FMCW) 레이더를 사용하여 서로 다른 페이로드를 갖는 두 가지 유형의 드론의 마이크로 도플러 시그니처를 획득했습니다. 페이로드 가중치가 증가함에 따라 서로 다른 마이크로 도플러 시그니처가 관찰되었으며, 마이크로 도플러 시그니처를 기반으로 한 페이로드 가중치 분류 알고리즘이 제안되었습니다. 특히, FMCW 레이더를 이용한 페이로드 분류를 위해 W-밴드가 선호되는 주파수 대역인 것으로 나타났다. [11]에서는 S 밴드 다중 정적 펄스 도플러 레이더를 사용하여 페이로드가 있는 드론의 마이크로 도플러 시그니처를 얻었습니다. [12]에서는 [11]에서 획득한 데이터에 합성곱 신경망을 적용하여 페이로드 가중치를 잘 분류하였다. 특히 관심을 끄는 것은 총과 같이 무거운 탑재체와 관성력을 발생시키는 동적 탑재체를 장착한 드론에 관한 연구이다[13]. 본 연구에서는 K밴드 FMCW 레이더와 W밴드 연속파 레이더를 이용하여 두 종류의 드론의 마이크로 도플러 시그니처를 획득하였다. 저자는 마이크로 도플러 서명에 대한 페이로드의 영향에 대해 논의하고 이러한 서명이 일관성이 없으며 대상 페이로드를 운반하는 드론에 고유하지 않다는 것을 보여주었습니다. [12]는 [10] 및 [11]과 유사하게 매우 정확한 페이로드 분류를 달성하기 위해 마이크로 도플러 시그니처를 사용했습니다. 더욱이 [13]은 페이로드가 있는 드론과 없는 드론을 명확하게 구분할 수 있는 고유한 마이크로 도플러 시그니처가 없다고 보고했습니다. 따라서 페이로드와 페이로드가 없는 것 사이의 강력한 구별이 어렵습니다. 이러한 결과는 레이더 사양 및 측정 환경에 따라 마이크로 도플러 시그니처를 이용한 페이로드 추정이 어려울 수 있음을 보여줍니다. 따라서 마이크로 도플러 시그니처에 의존하지 않는 페이로드 가중치를 추정하는 방법을 탐색해야 합니다. [13]과 [14]는 추가 추력이 필요하기 때문에 프로펠러의 회전 주파수가 페이로드 중량에 따라 증가한다는 것을 보여주었습니다. 프로펠러 회전 주파수의 증가 추세는 드론 모델에 따라 다릅니다. 따라서, 드론 모델을 분류하기 위한 기존 알고리즘과 결합하여 이러한 추세는 페이로드 중량을 추정하기 위한 참조 데이터 세트로 사용될 수 있습니다.

본 논문에서는 mmW FCM MIMO(밀리미터파 고속 처프 변조 다중 입력 및 다중 출력) 레이더를 사용하여 획득한 레이더 영상으로부터 프로펠러 회전 주파수를 추정하여 드론의 탑재 중량을 분류하는 방법을 제안합니다. 제안된 방법에는 페이로드 중량과 각 드론 모델의 프로펠러 회전 주파수를 연관시키는 사전 준비된 참조 데이터 세트가 필요합니다. 우리가 아는 한, 제안된 방법은 레이더 기반 페이로드 분류를 조사할 때 마이크로 도플러 시그니처에 의존하지 않는 페이로드 추정 방법의 첫 번째 보고서입니다. 우리는 [15]에서 mmW FCM MIMO 레이더를 사용하여 드론의 레이더 이미징을 연구했습니다. 결과는 프로펠러 회전이 레이더 이미지에서 프로펠러에 해당하는 픽셀의 신호 강도에 주기적인 변화를 생성한다는 것을 보여주었습니다. mmW FCM MIMO 레이더의 샘플링 주기는 드론의 프로펠러 회전을 관찰할 수 있을 만큼 빠릅니다. W-대역에서 밀리미터파 레이더를 사용하는 것은 [10]에서 밝혀진 바와 같이 페이로드 추정을 위해 선호되는 선택이며, 레이더는 파장 특성으로 인해 드론 프로펠러와 같은 소형 구성 요소를 반사하는 것으로 간주됩니다. 프로펠러의 회전 주파수는 신호 강도 변화에 고속 푸리에 변환(FFT)을 적용하여 추정할 수 있습니다. 프로펠러의 회전 주파수 추정을 입증하기 위해 DJI Matrice 600, DJI Phantom 3, DJI Mavic Pro, DJI Mavic Mini 등 XNUMX개의 드론에 대한 측정 실험을 수행했습니다. 또한, 추정된 회전 주파수로부터 페이로드 무게를 추정하기 위해 제안된 방법의 유효성을 조사하기 위해 안정적인 위치에 여러 페이로드가 있는 드론에 대한 실험을 수행했습니다.

이 논문의 나머지 부분은 다음과 같이 구성됩니다. 2절에서는 mmW FCM MIMO 레이더, 레이더 이미징 및 페이로드 무게 추정 방법에 대해 설명합니다. 섹션 3에서는 측정 결과와 제안의 효율성에 대한 논의를 보여줍니다. 마지막으로 본 논문을 Sect.에서 요약한다. 4.

2. 페이로드 무게 추정

2.1mmW FCM MIMO 레이더

그림 1은 mmW FCM MIMO 레이더의 다이어그램을 보여줍니다. FCM 레이더는 시간에 따라 초광대역폭에 걸쳐 주파수가 변조되는 처프(chirp)라는 정현파 신호를 전송하고 수신합니다. 처프의 변조 시간과 관찰 시간을 각각 빠른 시간과 느린 시간이라고 합니다. 수신된 처프는 전송된 처프와 혼합되어 중간 주파수(IF) 신호를 측정합니다. IF 신호는 각 수신 안테나의 아날로그-디지털 변환기를 사용하여 샘플링되어 MIMO(다중 입력, 다중 출력) 채널 데이터로 메모리에 저장됩니다. 송신 안테나와 수신 안테나 사이의 무선 채널의 IF 신호로 구성된 MIMO 채널 데이터는 연속 가상 어레이(MIMO 가상 어레이)의 단일 입력, 다중 출력 채널 데이터로 재구성됩니다[16]. 수신된 매트릭스 \(\boldsymbol{R}(n,m,l)\) 레이더를 이용하여 얻은 3차원 데이터 매트릭스(MIMO virtual array) \(\times\) 빠른 시간 \(\times\) 느린 시간)에는 전파 지연 시간, DOA(도착 방향) 및 도플러 주파수가 포함됩니다. 여기 \(N(n=1, 2, \cdots, N)\) 빠른 시간 샘플의 수입니다. \(M(m=1, 2, \cdots, M)\) MIMO 가상 배열 요소의 수입니다. \(L(l=1, 2, \cdots, L)\) 느린 시간 샘플의 수입니다.

Fig. 1  mmW FCM MIMO 레이더.

2.2 레이더 이미징 절차

그림 2는 2D 레이더 이미지 생성을 위한 신호 처리 흐름을 보여줍니다. 수신된 행렬에 대해 2D FFT 프로세스가 수행됩니다. \(\boldsymbol{R}(n,m,l)\) 2D 레이더 이미지(범위 각도 맵)를 생성합니다. MIMO 가상 배열을 구성하는 각 요소별로 획득한 IF 신호에 대해 FFT(range FFT)를 수행하여 레이더에서 물체까지의 거리를 추정합니다. 데이터 매트릭스 \(\boldsymbol{R}_{range}(r,m,l)\) 범위 FFT 이후는 다음과 같습니다.

\[\begin{equation*} \boldsymbol{R}_{range}(r,m,l) = \frac{1}{N }\sum_{n=1}^N \boldsymbol{R}(n,m,l) e^{ -j2\pi f_n \frac{2r}{c} }, \tag{1} \end{equation*}\]

어디에 \(r\)\(c\) 각각 범위 빈과 빛의 속도입니다. \(f_n\) 푸리에 변환 커널의 주파수를 나타냅니다.

Fig. 2  디지털 신호 처리의 흐름.

드론은 본체, 프로펠러 등 구성 요소에 산란점이 많습니다. 선명한 레이더 이미지를 얻으려면 공간 해상도를 향상시켜야 합니다. 그림 2에서 볼 수 있듯이 각 범위 bin [17]-[19]의 MIMO 가상 배열 요소에 Khatri-Rao(KR) 제품 가상 배열 처리를 적용하여 각도 분해능을 향상시킵니다. 여기서는 \(K\) 파도는 다음을 사용하여 관찰됩니다. \(M\) ULA(균일 선형 배열) 요소, MIMO 가상 배열 데이터 \(\boldsymbol{R}_{range}(r_b,m,l)\) 특정 범위의 빈에서 \(r_b\) 다음과 같습니다 :

\[\begin{eqnarray*} &&\!\!\!\!\! \boldsymbol{R}_{range}(r_b,m,l) = \sum_{k=1}^K \boldsymbol{a}(\theta_{k})s_{k}(l)+\boldsymbol{n}(l) \nonumber\\ &&\!\!\!\!\! \hphantom{\boldsymbol{R}_{range}(r_b,m,l) } = \boldsymbol{As}(l)+\boldsymbol{n}(l) \tag{2} \\ &&\!\!\!\!\! \boldsymbol{A} = [\boldsymbol{a}(\theta_{1}), \boldsymbol{a}(\theta_{2}), \cdots, \boldsymbol{a}(\theta_{k})] \tag{3} \\ &&\!\!\!\!\! \boldsymbol{s}(l) = [s_{1}(l), s_{2}(l), \cdots, s_{k}(l)]^T, \tag{4} \end{eqnarray*}\]

어디에 \(\boldsymbol{a}(\theta_{k})\in\mathbb{C}^M\)\(s_{k}(l)\) 모드 벡터와 복소 진폭을 나타냅니다. \(k\)-번째 파동; \(\boldsymbol{A}\in\mathbb{C}^{M \times K}\) 모드 매트릭스입니다. 그리고 \(\boldsymbol{n}(l)\) 노이즈 벡터입니다. 상관 행렬 \(\boldsymbol{R}_C\) MIMO 가상 배열 데이터 \(\boldsymbol{R}_{range}(r_b,m,l)\) 다음과 같습니다 :

\[\begin{eqnarray*} \boldsymbol{R}_C &=& E[\boldsymbol{R}_{range}(r_b,m,l) \boldsymbol{R}^{H}_{range}(r_b,m,l)] \nonumber\\ &=& \boldsymbol{AS}\boldsymbol{A}^H+\boldsymbol{R}_N, \tag{5} \end{eqnarray*}\]

어디에 \(E[]\)\(^H\) 앙상블 평균화와 복소공액 전치를 각각 나타냅니다. \(\boldsymbol{S}\) 소스 상관 행렬입니다. 그리고 \(\boldsymbol{R}_N\) 잡음 상관 행렬입니다. 또한 입사파의 상관관계가 가상 배열 신호의 오류로 이어지기 때문에 입사파의 신호 일관성을 억제하기 위해 KR 제품 가상 배열 처리 전에 이 상관 행렬에 공간 평활화 처리(SSP)를 적용합니다[20]. 벡터화 \(\boldsymbol{y}\) 공간적으로 평활화된 상관 행렬의 \(\overline{\boldsymbol{R}_C}\) 다음과 같습니다 :

\[\begin{eqnarray*} \boldsymbol{y} &=& vec[\overline{\boldsymbol{R}_C}] \nonumber\\ &=& vec[\boldsymbol{A} \bar{\boldsymbol{S}} \boldsymbol{A}^H]+vec[\bar{\boldsymbol{R}}_N] \nonumber\\ &=& (\boldsymbol{A}^* \odot \boldsymbol{A})s '+ vec[\bar{\boldsymbol{R}}_N], \tag{6} \end{eqnarray*}\]

어디에 \(vec[]\)\(^*\) 각각 벡터화 연산자와 켤레복소수입니다. \(\odot\) 는 KR 제품 운영자를 나타냅니다. \(\boldsymbol{s}' \in \mathbb{C}^K\) 는 대각선 요소입니다. \(\bar{\boldsymbol{S}}\); \((\boldsymbol{A}^* \odot \boldsymbol{A}) \in \mathbb{C}^{M^2 \times K}\) KR 제품 가상 어레이 응답 매트릭스입니다. 그리고 벡터 \(\boldsymbol{y}\) 조리개 길이를 늘리는 데 도움이 되지 않는 반복적인 요소가 포함되어 있습니다. 벡터의 반복되지 않는 요소 \(\boldsymbol{y}\) 의 KR 가상 배열 데이터를 얻기 위해 추출됩니다. \(2M-1\) 요소이므로 조리개 길이가 사실상 늘어납니다.

반사된 신호의 DOA는 데이터 매트릭스의 모든 범위 빈에 있는 KR 가상 배열 요소의 인덱스에 대해 두 번째 FFT(각도 FFT)를 수행하여 추정됩니다. \(\boldsymbol{R}_{KR}(r, m', l)\) KR 제품 가상 어레이 처리 후. 레이더 영상은 \(l\)-번째 느린 시간 \(Image(r, a, l)\) 각도 FFT 후에 생성된 값은 다음과 같습니다.

\[\begin{equation*} \mathit{Image}(r, a, l)=\frac{1}{2M-1}\sum_{m'=1}^{2M-1} \boldsymbol{R}_{KR}(r, m', l) e^{-j\frac{2\pi(m'-1)}{2M-1}a}, \tag{7} \end{equation*}\]

어디에 \(a\) 각도 상자이고 \(m'(=1, 2, \cdots, 2M-1)\) 는 KR 제품 가상 배열 처리 후 가상 안테나의 인덱스입니다.

2.3 제안 방법

우리는 탑재체 중량이 드론의 프로펠러 회전 주파수에 미치는 영향을 조사하고(Section 2.3.1), 이 조사 결과를 활용하여 탑재체 중량 추정 방법을 개발했습니다(Section 2.3.2).

2.3.1 페이로드 가중치 추정을 위한 참조 데이터 세트

제안된 방법에는 탑재체 중량과 프로펠러 회전 주파수 간의 관계에 대한 참조 데이터 세트가 필요합니다. 따라서 예를 보여주기 위해 호버링하는 Phantom 3에 대한 참조 데이터세트를 만들었습니다.

그림 3은 드론 프로펠러의 회전 주파수를 측정하기 위한 환경을 보여준다. 호버링 팬텀 3 드론은 가이드 로프를 사용하여 공중에 매달리고 스프링 스케일에 연결되었습니다. 드론의 프로펠러 회전 빈도에 따라 드론과 스프링 스케일 사이의 장력이 증가하기 때문에 드론에 탑재 중량을 적용했습니다. 스프링 눈금이 10, 0, 250, 500, 750g의 값을 나타낼 때 1000초간 디지털 타코미터를 사용하여 드론의 회전 주파수를 측정했습니다. 본 연구에서는 대략적인 무게를 추정하여 위협적인 탑재량을 탐지하는 것으로 충분하다고 생각합니다. 따라서 측정 데이터는 250g 단위로 수집되었습니다.

Fig. 3  참조 데이터 세트 생성을 위한 측정 환경입니다.

그림 4는 Phantom 3의 탑재량 중량과 회전 주파수 사이의 측정된 관계를 보여줍니다. 그림은 탑재량에 따른 프로펠러 회전 주파수의 증가를 나타냅니다. 각 페이로드에 초점을 맞추면 드론의 자세 제어로 인해 주파수가 일정하지 않고 16~17Hz 사이에서 변한다는 것이 분명합니다. 250g 단계의 페이로드에서는 주파수 변화가 겹치지 않습니다. 이는 레이더를 사용하여 회전 주파수를 추정하면 페이로드를 고유하게 결정할 수 있음을 나타냅니다. 그러나 이러한 주파수 변화는 250g 미만의 단계에서는 중복되며 페이로드 추정에 오류가 발생할 수 있습니다. 250g 간격으로 얻은 측정 결과는 본 연구에서 탑재체 중량 추정을 위한 참조 데이터 세트로 정의되었습니다.

Fig. 4  Phantom 3의 페이로드 중량과 회전 주파수의 관계.

2.3.2 신호 처리

그림 5는 제안된 페이로드 가중치 추정 방법의 흐름도를 보여준다. 이 방법의 기본은 드론의 레이더 이미지에서 프로펠러에 해당하는 픽셀을 찾고 신호 강도의 시간적 변화를 분석하는 것입니다.

Fig. 5  페이로드 무게 추정 방법의 흐름도.

먼저, mmW FCM MIMO 레이더를 통해 드론의 2D 레이더 영상을 획득합니다. 예를 들어, 팬텀 2의 3D 레이더 이미지가 그림 6에 나와 있습니다. 드론의 특징적인 모양을 이미지화할 수 있습니다. 구체적으로 (0.1, 1.8m)에서 최대 피크는 드론 본체의 에코였으며 (XNUMX, XNUMXm)에서 피크가 나타났습니다.\(-0.2\), 1.7 m) 및 (0.15, 1.6 m)은 각각 왼쪽 및 오른쪽 프로펠러의 에코였습니다. 따라서 드론의 프로펠러는 기체 다음으로 반사강도가 가장 큰 반사점이다. 따라서 초기 샘플링 지점은 \((r_p, a_p)\) 프로펠러의 경우 레이더 이미지에서 두 번째로 큰 반사 강도의 피크 픽셀입니다. 두 번째 이후의 샘플링 지점은 동일한 좌표에서 획득되었습니다. 프로펠러에 해당하는 픽셀의 반사강도는 프로펠러 회전에 따라 주기적으로 변동하므로 반사강도 변동에 대해 FFT를 수행하여 프로펠러 회전주파수를 추정한다. 레이더 이미지의 프로펠러 위치 좌표는 다음과 같습니다. \((r_p, a_p)\), 프로펠러 회전 주파수 \(\boldsymbol{F}(r_p, a_p, f)\) 다음과 같습니다 :

\[\begin{equation*} \boldsymbol{F}(r_p, a_p, f)=\frac{1}{L} \sum_{l=1}^L Image(r_p, a_p, l) e^{-j\frac{2\pi(l-1)}{L}f}, \tag{8} \end{equation*}\]

어디에 \(f\) 빈도입니다. 드론이 이륙하려면 프로펠러 회전 주파수가 특정 임계값을 초과해야 합니다. FFT로 계산된 주파수 스펙트럼에 대해 주파수 게이트를 설정하여 프로펠러 회전 주파수를 추정합니다. 이륙 시 프로펠러 회전 주파수는 드론 무게, 모터 출력 등 사양의 차이로 인해 드론마다 다릅니다. 따라서 주파수 게이트는 드론 모델에 따라 다르며 각 드론에 맞게 조정되어야 합니다. 예를 들어 팬텀3의 경우 이륙 시 프로펠러 회전 주파수가 150Hz 이상을 요구하기 때문에 주파수 게이트를 150Hz 이상으로 설정했다. 이 게이트에서 우세 주파수는 프로펠러 회전에 따른 것이며 프로펠러 회전 주파수의 임시 추정 결과로서 피크 주파수가 순차적으로 메모리에 저장됩니다. 다음으로 프로펠러 회전주파수는 외란으로 인해 시간에 따라 달라지므로 이러한 임시추정 결과는 300개 샘플의 히스토그램을 이용하여 평가하고, 모드를 갖는 주파수를 드론의 프로펠러 회전주파수 최종 추정 결과로 사용한다. 히스토그램에는 작은 표본 크기가 선호됩니다. 표본 수가 많으면 관찰 시간이 길어서 교란이 발생하여 분포에 영향을 줄 수 있기 때문입니다. 따라서 표본 크기는 경험적으로 도출된 값 300으로 설정하였다. 마지막으로 추정된 프로펠러 회전 빈도를 기준 데이터 세트와 비교하여 탑재체 중량을 추정하였다.

Fig. 6  팬텀2의 3D 레이더 이미지 예시.

3. 실험 설정 및 결과

3.1 실험 설정

mmW FCM MIMO 레이더 모듈을 사용하여 두 가지 실험 측정 사례에서 프로펠러 회전 주파수를 측정했습니다. 사례 1에는 페이로드가 없는 드론 600대(Matrice 3, Phantom 2, Mavic Pro 및 Mavic Mini)가 포함되었습니다. 사례 3에는 여러 페이로드 무게를 가진 Phantom 1가 포함되었습니다. 표 3은 mmW FCM MIMO 레이더 모듈의 사양을 보여줍니다. XNUMX개로 구성된 MIMO 레이더\(\times\)그림 4에 표시된 7 ULA는 12개 요소의 MIMO 가상 배열을 나타냅니다. 10개 요소의 하위 배열 \((=M)\) MIMO 가상 배열에서 선택되었으며 SSP에 사용되어 각 대상의 에코 일관성을 억제했습니다. KR 제품 가상배열처리 적용으로 가상요소 수 19개로 증가 \((=2M-1)\)이므로 각도 분해능은 6.0도였습니다. 주파수 대역폭은 3.44GHz로 범위 분해능은 4.4cm입니다. 느린 시간 샘플 수는 256개(0.25초)였으며 주파수 분해능은 4Hz였습니다. 펄스 수신 간격은 0.97ms로 설정했는데, 이는 프로펠러 회전을 관찰하기에 충분한 속도였다.

표 1  mmW FCM MIMO 레이더 모듈의 사양입니다.

Fig. 7  MIMO 레이더.

사례 1에서는 표 2와 같이 모양, 크기, 로터 수 및 프로펠러 형상이 다른 8개의 드론을 평가하고 모든 드론의 프로펠러 회전 주파수를 올바르게 추정할 수 있는지 조사했습니다. 각 타겟은 그림 XNUMX(a)와 같이 프로펠러가 회전하는 저밀도 스티로폼 실린더 위에 배치되었습니다. 안테나 높이는 드론 본체의 높이로 설정되었습니다. 레이더와 표적 사이의 거리는 프로펠러를 포함한 전체 드론이 안테나 빔에 의해 덮이도록 각 드론마다 조정되었습니다. 각 드론은 신호 대 잡음비를 최대화하는 방식으로 프로펠러의 에코를 관찰하기 위해 하나의 프로펠러가 레이더에 가장 가깝도록 배치되었습니다.

표 2  테스트된 드론.

Fig. 8  측정 환경.

사례 2에서는 여러 페이로드 무게로 Phantom 3를 테스트했습니다. \(W\) (= 0, 250, 500, 750, 1000 g) 제안된 페이로드 무게 추정 접근법의 효율성을 조사하기 위해 스프링 스케일(섹션 2.3.1)을 사용합니다. 호버링 타겟은 그림 8(b)와 같이 안테나 빔 외부로 날아가는 것을 방지하기 위해 가이드 로프를 사용하여 공중에 매달렸다. 그림 3과 같이 카메라가 전면을 향하도록 타겟을 배치했습니다. 드론은 다양한 비행 고도에서 레이더 적용 범위에 진입할 것으로 예상되므로 다양한 안테나 앙각에서 페이로드 중량 추정 방법의 정확도를 평가했습니다. \(\theta\) (= 0\(^\circ\), 10\(^\circ\), 20\(^\circ\), 30\(^\circ\)).

3.2 실험결과 및 고찰
3.2.1 사례 1

그림 9는 Phantom 3의 측정 결과를 보여줍니다. 그림 9(a)에는 몇 가지 강한 에코가 나타납니다. (0, 1.2m)의 강한 피크는 신체로부터의 반향이며, (0, 1.0m)의 피크는 (\(-0.30\), 1.1 m) 및 (0.25, 1.2 m)은 프로펠러의 에코입니다. 후방 프로펠러는 차체에 가려져 후방 프로펠러에서 발생하는 에코는 관찰되지 않습니다. 그림 9(b)는 프로펠러에 의한 신호강도 변동의 파형을 보여준다. 이 파형은 0차원 레이더 이미지의 프로펠러에 해당하는 (1.0, 2m) 픽셀의 신호 강도를 시계열 샘플링하여 생성되었습니다. 파형의 DC 성분이 제거되었습니다. 프로펠러가 회전하는 동안 레이더 단면적의 변화로 인해 파형 진폭이 변동합니다. 변동 기간은 프로펠러 회전 속도와 관련이 있으며 테스트된 다른 드론에서도 유사한 주기적인 변동이 관찰됩니다.

Fig. 9  팬텀 3 측정 결과.

그림 10은 각 드론의 시간 파형의 주파수 스펙트럼을 보여준다. 주파수 스펙트럼의 최대값에 해당하는 주파수는 다음과 같이 표시됩니다. \(\blacktriangledown\) 그림에서 추정된 프로펠러 회전 주파수는 다음과 같습니다. 프로펠러 회전 주파수의 실제 값은 디지털 타코미터를 사용하여 측정되었습니다. 그림 10(a), (c) 및 (d)는 저주파 성분(50Hz 미만)에서 강한 피크를 보여줍니다. 이러한 피크는 프로펠러 회전으로 인한 드론 팔의 진동으로 인해 발생했을 수 있습니다. 각 드론은 스티로폼 실린더 위에 배치되어 드론 본체가 진동을 일으킬 수 없었습니다. 팔 진동은 매트리스 600, 매빅 Pro, 매빅 Mini 등 본체와 팔이 분리된 드론의 고유한 특성입니다. 이러한 피크는 고역 통과 필터를 사용한 필터 처리나 주파수 게이트 설정을 통해 제거할 수 있습니다. 그림 11은 각 드론의 추정 회전 주파수와 측정된 회전 주파수를 보여줍니다. 556개의 느린 시간 샘플에 대해 측정값을 얻었습니다. 이후, 300 샘플의 FFT 윈도우 길이를 한 샘플씩 이동하면서 측정된 데이터에 대해 FFT를 수행하여 총 256개의 프로펠러 회전 주파수 추정치를 얻었습니다. 그림 11에서 프로펠러에 의한 변동 외에는 거의 변동이 없는 Case 1의 경우, 테스트된 모든 드론에 대해 프로펠러 회전주파수를 수 헤르츠 미만의 오차로 추정할 수 있다. 추정값이 실제값보다 더 많이 변하는 주요 요인은 FFT에 의한 추정 오차이다.

Fig. 10  프로펠러 회전 주파수 스펙트럼의 예.

Fig. 11  드론별 프로펠러 회전주파수 추정 결과.

3.2.2 사례 2

556개의 느린 시간 샘플에 대해 측정값을 얻었습니다. 또한, 300 샘플의 FFT 윈도우 길이를 한 샘플씩 이동시키면서 측정된 데이터에 FFT를 적용하여 총 256개의 프로펠러 회전 주파수 추정치를 얻었다. 그림 12는 Case 2의 신호강도 파형의 예를 보여주고 있으며, 그림 1(b)에 표시된 Case 9의 파형에 비해 불규칙적인 변동 성분이 증가하는 것이 관찰됩니다. 이러한 불규칙성은 호버링 중 드론 본체의 흔들림과 진동으로 인해 발생합니다. 그림 12의 파형의 주파수 스펙트럼은 해당 추정 프로펠러 회전 주파수와 함께 그림 13에 표시됩니다(\(\blacktriangledown\)). 스펙트럼은 프로펠러 회전 주파수를 나타내는 피크(그림 10(b)) 외에도 드론 본체의 흔들림 및 진동에 기인하여 저주파 영역에서 큰 피크를 나타냅니다. 그러나 프로펠러 회전주파수는 Case 1과 유사하게 주파수 게이트를 통해 주파수 스펙트럼을 통과시킨 후 피크 탐색을 수행함으로써 추정할 수 있다. 그림 14는 각 탑재체 중량별 프로펠러 회전주파수의 잠정 추정치를 보여준다. 파란색 원(\(\circ\)) 및 빨간색 십자가(\(\times\)) 그래프에서 참조 데이터 세트와 비교하여 각각 올바른 추정치와 잘못된 추정치를 나타냅니다. 그림 14는 그림 4와 같이 탑재체 중량에 따라 추정치가 증가함을 나타냅니다. 또한 각 탑재체 중량의 정확한 추정치(파란색 원)는 드론 자세 제어로 인한 프로펠러 회전 주파수의 시간적 변화로 인해 달라집니다. 잘못된 추정치(빨간색 십자가)는 드론의 호버링 상태를 유지하기에 충분하지 않거나 과도한 빈도입니다. 이러한 잘못된 추정은 자세 제어로 인한 차체 흔들림이나 프로펠러 회전으로 인한 차체 진동과 같은 무작위 장애로 인해 발생했을 수 있습니다.

Fig. 12  Case 2의 신호 강도 파형의 예.

Fig. 13  Case 2의 프로펠러 회전주파수 추정 결과의 예.

Fig. 14  프로펠러 회전 빈도와 페이로드 중량의 임시 추정치입니다.

프로펠러 회전 주파수의 최종 추정치를 결정하기 위해 잠정 추정치의 히스토그램을 평가하여 위에서 언급한 잘못된 추정을 방지했습니다. 프로펠러가 참조 데이터 세트의 주파수 경계에 더 가까운 회전 주파수에서 회전하는 경우 프로펠러 회전 주파수의 추정 정확도는 히스토그램의 빈 크기에 영향을 받습니다. 본 연구에서는 디지털 타코미터의 측정 분해능에 맞추기 위해 빈 크기를 1Hz로 설정했습니다. 예를 들어, 그림 15는 앙각에 따른 잠정 추정치의 히스토그램을 보여줍니다. \(\theta = 20^\circ\) 그리고 페이로드 무게 \(W\) = 250g. 대부분의 잠정 추정치는 약 197Hz이며, 이는 참조 데이터 세트의 주파수 범위 내에 있습니다. \(W\) = 250g. 그러나 추정치의 약 30%가 주파수 범위를 벗어났기 때문에 페이로드 무게 추정이 잘못되었습니다. 따라서 우리 실험에서는 발생확률이 가장 높은 197Hz가 프로펠러 회전주파수이다. 그림 14에 제시된 최종 추정치는 히스토그램의 모드를 사용하여 결정된 프로펠러 회전 주파수에 해당합니다.

Fig. 15  잠정추정의 히스토그램(\(\theta = 20^\circ\), \(W\) = 250g).

히스토그램으로부터 구해진 프로펠러 회전수와 Fig. 4 참조 데이터셋의 해당 값을 비교하여 각 페이로드 중량을 분류한다. 각 안테나 앙각에 따른 페이로드 중량 분류 결과는 Table 3에 나타내었다. 표의 각 열(행)은 예상(실제) 페이로드 무게의 인스턴스를 나타냅니다. "기타"는 추정된 프로펠러 회전 빈도가 참조 데이터 세트의 범위를 벗어났기 때문에 탑재체 중량을 추정할 수 없음을 의미합니다. 페이로드 분류의 정확성을 평가하기 위해 100초(느린 시간의 샘플 54개) 측정을 수행하고 측정된 데이터를 55600개의 세그먼트(세그먼트당 느린 시간의 샘플 100개 샘플)로 나누어 556번의 분류 실행을 수행했습니다. 표의 각 셀은 실제 페이로드 가중치의 각 측정값에 해당하는 100번의 분류 실행 확률을 나타냅니다. \(W\). 표의 파란색 셀은 분류 정확도로 정의되는 올바른 분류 확률을 나타냅니다. 모든 파란색 셀의 평균 분류 정확도는 각 앙각에서 94.4% 이상입니다. 결과는 제안한 방법이 대부분의 페이로드 가중치를 정확하게 분류할 수 있으며, 앙각 간 평균 분류 정확도에는 거의 차이가 없음을 보여줍니다.

표 3  페이로드 중량 분류 결과.

Table 3(b)에서 실제 페이로드 중량에서는 22%가 “Other”로 분류된다. \(W\) = 250g. 아마도 다음과 같은 경우 때문일 것입니다. \(W\) = 250g은 다른 경우에 비해 차체 흔들림과 진동이 더 많이 발생하여 프로펠러의 원래 신호 강도 변동에 영향을 미쳤습니다. 표 3(a), (c) 및 (d)는 페이로드가 실제 중량보다 가볍거나 무거운 것으로 분류되는 오분류를 보여줍니다. 모든 앙각에서 모든 중량에 대해 잘못된 분류가 불규칙적으로 발생했는데, 이는 앙각에 따라 일관된 오류 추세가 없음을 나타냅니다. 이러한 오분류의 주요 원인은 FFT로 인한 갑작스러운 무작위 신체 흔들림과 주파수 추정 오류입니다. 또한 FFT 추정 오류에 대해 자세히 논의합니다.

우리는 FFT 창 길이가 추정 정확도에 미치는 영향을 조사했습니다. 그림 16은 다양한 FFT 창 길이에 대한 분류 정확도를 보여줍니다(\(L_{FT}\)), 어디서 \(\circ\), \(\times\)\(+\) 에 대한 분류 정확도를 나타냅니다. \(\theta = 0^\circ\)\(W\) = 1000g, \(\theta = 20^\circ\)\(W\) = 0g, 및 \(\theta = 30^\circ\)\(W\) = 각각 500g. 그림 16은 창 길이에 따라 주파수 분해능이 증가하기 때문에 창 길이가 길어질수록 분류 정확도가 향상됨을 확인합니다. 그림 17은 모든 앙각과 페이로드 중량에서의 평균 분류 정확도를 보여줍니다. 그림은 다음과 같은 경우 평균 분류 정확도가 저하됨을 나타냅니다. \(LFT = 512\) 주파수 분해능이 향상되었음에도 불구하고 \(LFT = 256\). 창 길이가 길수록 드론 본체 흔들림 및 진동의 영향이 프로펠러 회전 주파수를 추정하는 데 사용되는 신호 강도 파형에 나타날 가능성이 더 높습니다. 이러한 교란으로 인한 주파수 성분이 히스토그램의 모드가 되므로 평균 분류 정확도가 저하됩니다. 따라서 외란의 영향과 주파수 분해능 사이에는 트레이드오프가 존재하며, 제안된 방법에서는 외란의 영향을 고려한 창 길이를 설정하는 것이 중요합니다.

Fig. 16  다양한 FFT 창 길이에 대한 분류 정확도 비교.

Fig. 17  다양한 FFT 창 길이에 대한 평균 분류 정확도입니다.

4. 결론

본 논문에서는 mmW FCM MIMO 레이더를 이용하여 획득한 레이더 영상으로부터 프로펠러 회전 주파수를 추정하여 드론의 페이로드 중량을 분류하는 방법을 제안한다. 제안된 방법에는 페이로드 중량을 각 드론 모델의 프로펠러 회전 주파수와 연관시킬 수 있는 사전 준비된 참조 데이터 세트가 필요합니다. 우리 제안의 유효성을 조사하기 위해 두 가지 실험 측정 사례가 수행되었습니다. 사례 1에서는 드론 2개를 테스트하여 드론의 프로펠러 회전 주파수를 올바르게 추정할 수 있는지 확인했습니다. 실험 결과, 모든 드론의 프로펠러 회전 주파수를 추정할 수 있는 것으로 나타났습니다. Case 250의 경우, 탑재체 중량 분류의 정확성을 평가하기 위해 안정적인 위치에 94.4개의 서로 다른 탑재체를 장착한 호버링 드론에 대한 측정 실험을 수행했습니다. 결과는 제안된 방법이 XNUMX% 이상의 평균 정확도로 XNUMXg 단계로 페이로드를 분류할 수 있음을 보여주었습니다. 그러나 프로펠러 회전주파수를 추정하기 위한 FFT 윈도우 길이가 증가함에 따라 외란의 영향이 증가하여 분류 정확도가 감소하였다. 따라서 정확한 분류를 위해서는 적절한 윈도우 길이를 설정해야 합니다.

향후 원거리에서 이동하는 드론의 페이로드 분류 가능성을 조사할 예정이다. 또한 신체 흔들림, 진동 등의 외란에도 강인한 알고리즘을 구현하는 것을 목표로 합니다.

감사의

이 작업은 JSPS KAKENHI 보조금 번호 21K04102에 의해 지원되었습니다.

참고문헌

[1] Research Briefs, 38 Ways Drones Will Impact Society: From FightingWar To ForecastingWeather, UAVs Change Everything, Retrieved Dec. 17, 2019, from https://www.cbinsights.com/research/drone-impact-society-uav/, accessed Feb. 15. 2023.
URL

[2] J.P. Yaacoub, H. Noura, O. Salman, and A. Chehab, “Security analysis of drones systems: Attacks, limitations, and recommendations,” Internet of Things, vol.11, p.100218, Sept. 2020. DOI: 10.1016/j.iot.2020.100218
CrossRef

[3] E. Vattapparamban, I. Guvenc, A.I. Yurekli, K. Akkaya, and S. Uluagac, “Drones for smart cities: Issues in cybersecurity, privacy, and public safety,” Proc. 2016 International Wireless Communications and Mobile Computing Conference, Paphos, Cyprus, pp.216-221, Sept. 2016. DOI: 10.1109/IWCMC.2016.7577060
CrossRef

[4] A. Coluccia, G. Parisi, and A. Fascista, “Detection and classification of multirotor drones in radar sensor networks: A review,” Sensors, vol.20, no.15, p.4172, July 2020. DOI: 10.3390/s20154172
CrossRef

[5] J.J.M. de Wit, R.I.A. Harmanny, and G. Premel-Cabic, “Micro-Doppler analysis of small UAVs,” Proc. 9th European Radar Conference (EuRAD), Amsterdam, Netherlands, pp.210-213, Oct. 2012.
URL

[6] P. Molchanov, K. Egiazarian, J. Astola, R.I. Harmanny, and J.J.M. de Wit, “Classification of small UAVs and birds by micro-Doppler signatures,” Proc. 10th European Radar Conference (EuRAD), Nuremberg, Germany, vol.6, no.3-4, pp.172-175, Oct. 2013. DOI: 10.1017/S1759078714000282
CrossRef

[7] S. Rahman and D.A. Robertson, “Millimeter-wave micro-Doppler measurements of small UAVs,” Proc. SPIE Defense + Security, Radar Sensor Technology XXI, Anaheim, CA, United States, vol.10188, pp.307-315, May 2017. DOI: 10.1117/12.2261942
CrossRef

[8] S. Rahman and D.A. Robertson, “Multiple drone classification using millimeter-wave CW radar micro-Doppler data,” Proc. SPIE Defense + Commercial Sensing, Radar Sensor Technology XXIV, vol.11408, pp.50-57, April 2020. DOI: 10.1117/12.2558435
CrossRef

[9] M. Kurosaki, K. Ogawa, R. Nakamura, and H. Hadama, “Experimental study on multiple drone detection using a millimeter-wave fast chirp MIMO radar,” Proc. 2023 IEEE Topical Conference on Wireless Sensors and Sensor Networks (WisNet), Las Vegas, NV, USA, pp.16-19, Jan. 2023. DOI: 10.1109/WiSNeT56959.2023.10046220
CrossRef

[10] D. Dhulashia, N. Peters, C. Horne, P. Beasley, and M. Ritchie, “Multi-frequency radar micro-Doppler based classification of micro-drone payload weight,” Front. Signal Process., vol.1, p.781777, Dec. 2021. DOI: 10.3389/frsip.2021.781777
CrossRef

[11] M. Ritchie, F. Fioranelli, H. Borrion, and H. Griffiths, “Multistatic micro-Doppler radar feature extraction for classification of unloaded/loaded micro-drones,” IET Radar, Sonar & Navigation, vol.11, no.1, pp.116-124, Jan. 2017. DOI: 10.1049/iet-rsn.2016.0063
CrossRef

[12] J.S. Patel, C. Al-Ameri, F. Fioranelli, and D. Anderson, “Multi-time frequency analysis and classification of a micro-drone carrying payloads using multistatic radar,” The Journal of Engineering, vol.2019, no.20, pp.7047-7051, Oct. 2019. DOI: 10.1049/joe.2019.0551
CrossRef

[13] S. Rahman, D.A. Robertson, and M.A. Govoni, “Radar signatures of drones equipped with heavy payloads and dynamic payloads generating inertial forces,” IEEE Access, vol.8, pp.220542-220556, Dec. 2020. DOI: 10.1109/ACCESS.2020.3042798
CrossRef

[14] O.A. Ibrahim, S. Sciancalepore, and R.D. Pietro, “Noise2Weight: On detecting payload weight from drones acoustic emissions,” Future Generation Computer Systems, vol.134, pp.319-333, Sept. 2022. DOI: 10.1016/j.future.2022.03.041
CrossRef

[15] K. Ogawa, M. Kurosaki, R. Nakamura, and H. Hadama, “2D imaging of a drone using a millimeter-wave fast chirp MIMO radar based on Khatri-Rao product virtual array processing,” Proc. 2023 IEEE Topical Conference on Wireless Sensors and Sensor Networks (WisNet), Las Vegas, NV, USA, pp.1-4, Jan. 2023. DOI: 10.1109/WiSNeT56959.2023.10046224
CrossRef

[16] J. Li and P. Stoica, MIMO Radar Signal Processing, Wiley-IEEE Press, 2008.
CrossRef

[17] W.K. Ma, T.H. Hsieh, and C.Y. Chi, “DOA estimation of quasi-stationary signals via Khatri-Rao subspace,” Proc. 2009 IEEE International Conference on Acoustics, Speech and Signal Processing, Taipei, Taiwan, pp.2165-2168, April 2009. DOI: 10.1109/ICASSP.2009.4960046
CrossRef

[18] W.K. Ma, T.H. Hsieh, and C.Y. Chi, “DOA estimation of quasi-stationary signals with less sensors than sources and unknown spatial noise covariance: A Khatri-Rao subspace approach,” IEEE Trans. Signal Process., vol.58, no.4, pp.2168-2180, April 2010. DOI: 10.1109/TSP.2009.2034935
CrossRef

[19] H. Yamada, N. Ozawa, Y. Yamaguchi, K. Hirano, and H. Ito, “Angular resolution improvement of ocean surface current radar based on the Khatri-Rao product array processing,” IEICE Trans. Commun., vol.E96-B, no.10, pp.2469-2474, Oct. 2013. DOI: 10.1587/transcom.E96.B.2469
CrossRef

[20] S.U. Pillai and B.H. Kwon, “Forward/backward spatial smoothing techniques for coherent signal identification,” IEEE Trans. Acoust., Speech, Signal Process., vol.37, no.1, pp.8-15, Jan. 1989. DOI: 10.1109/29.17496
CrossRef

[21] S. Shirai, H. Yamada, and Y. Yamaguchi, “A novel DOA estimation error reduction preprocessing scheme of correlated waves for Khatri-Rao product extended-array,” IEICE Trans. Commun., vol.E96-B, no.10, pp.2475-2482, Oct. 2013. DOI: 10.1587/transcom.E96.B. 2475
CrossRef

작성자

Kenshi OGAWA
  National Defense Academy of Japan

received the B.E. and M.E. degrees in Information Engineering from The University of Kitakyushu, Japan, in 2016 and 2018, respectively. Since 2022, he has been a student at the Graduate School of Science and Engineering, National Defense Academy of Japan. He is currently focusing on microwave/millimeter radio propagation and radar systems, and working for his D.E degree. He is a student member of the IEICE and IEEE.

Masashi KUROSAKI
  National Defense Academy of Japan

received the B.E. and M.E. degrees from the Graduate School of Science and Engineering, National Defense Academy of Japan, in 2017 and 2023, respectively. Until 2023, he was working on microwave/millimeter radio propagation and radar systems.

Ryohei NAKAMURA
  National Defense Academy of Japan

received B.E., M.E., and D.E. degrees in information engineering from The University of Kitakyushu, Japan, in 2009, 2011, and 2014, respectively. In 2014, he was a research associate in the Department of Communication Engineering, National Defense Academy of Japan, and has been an Associate Professor in the same department since 2020. His major research interests include wireless communications, microwave/millimeter radio propagation, radar sensor systems, and network systems. He is a member of the IEICE and IEEE.

키워드