1. 서론
일본의 농업 경제는 인구 감소와 농장 후계자 감소로 인해 노동력 감소에 직면해 있습니다. 따라서 농업경제를 유지하기 위해서는 농업경영의 효율성을 높여야 한다. 이 문제에 대한 잠재적인 핵심 솔루션 중 하나는 로봇 농장 기계를 사용하여 농장 운영을 자동화하는 것입니다[1]. 일본의 최신 상업용 로봇 농기계는 사람의 운전자 없이 경작, 시비 등의 작업을 자동으로 수행할 수 있지만, 이는 농장 운영자가 지켜보는 가운데 작동될 때만 가능하다[2]. 농장 운영 효율을 더욱 향상시키기 위해서는 농지 내부는 물론 도로에서도 운전자의 시야 밖에서도 원격 모니터링과 비상 제어를 통해 농기계의 완전 무인 운전이 구현되어야 한다[3]. 본 글에서는 원격 모니터링 및 제어를 통해 농기계의 완전한 자율주행을 가능하게 하기 위해 해결해야 할 주요 과제와 이를 해결하기 위해 개발한 기술, 그리고 IOWN(Innovative Optical and Wireless Network)의 요소기술을 제시한다[4] , 실제 현장 환경에서 진행된 실험 결과입니다.
IOWN은 광학에 초점을 맞춘 혁신 기술과 엄청난 컴퓨팅 리소스를 활용하여 고속, 대용량 통신을 제공할 수 있는 미래 네트워크 및 정보 처리 인프라를 위한 이니셔티브입니다. IOWN은 APN(All-Photonics Network), DTC(Digital Twin Computing), CF(Cognitive Foundation)의 세 가지 주요 기술 분야로 구성됩니다. 무선접속 최적화를 위한 CF의 요소기술이 본 실험에 통합되었다.
2. 무인농기계 원격감시 및 제어 관련 연구 및 과제
무인농기계의 완전한 자율주행을 위해서는 원격지에서 이를 감시하고 제어하기 위한 무선통신망이 필요하며, 공공도로, 방풍림, 건물 등 넓은 지역과 다양한 환경에서 자율주행이 가능해야 한다. 이러한 무인 농기계의 완전자율주행에 대한 점을 고려하여 관련 작업과 주요 남은 과제를 다음과 같이 정리한다.
2.1 원활한 네트워크 전환
무인 농기계의 완전자율주행은 사람의 시야 밖에서 이루어지기 때문에, 농기계를 작동하는 주변 상황을 원격지에서 실시간 영상을 통해 모니터링하고 긴급조치를 취해야 한다. 필요한 경우(예: 장애물과 충돌할 위험이 있는 기계를 정지시키는 경우) 그 데이터는 모두 4G, 5G, Local 5G 등 무선통신망을 통해 전송된다. 그러나 단일 무선 네트워크로는 원격 모니터링 및 제어를 위한 충분한 품질로 자율주행 전체 영역을 항상 커버할 수는 없습니다. 건물이나 바람막이로 인해 무선 신호가 약해질 수도 있고 특정 무선 네트워크의 범위를 벗어난 지역이 있을 수도 있습니다.
이러한 문제에 대한 한 가지 해결책은 MPTCP(다중 경로 전송 제어 프로토콜)[5] 및 SCTP(스트림 제어 전송 프로토콜)[6]과 같은 다중 경로 접근 방식입니다. 그러나 이러한 기술에는 통신 가용성과 네트워크 리소스 사용 효율성이 상충됩니다. 데이터 전송을 위해 여러 네트워크 경로를 동시에 사용하면 고가용성을 보장할 수 있지만 네트워크 리소스를 과도하게 소모합니다. 반면, 현재 경로가 다운된 것으로 감지되면 네트워크 경로를 전환하여 네트워크 리소스 사용량을 완화할 수 있지만, 이러한 반응적 중복성은 완전한 자율 주행과 같은 미션 크리티컬 사용 사례의 심각한 통신 오류를 방지하는 데 반드시 충분하지는 않습니다. 무인 차량의. 따라서 사용할 네트워크를 능동적이고 원활하게 전환하여 원활하고 안정적인 원격 감시 및 제어를 위한 통신 네트워크의 가용성을 보장하는 메커니즘이 필요합니다.
2.2 다층 안전 시스템
완전자율주행을 위해 무인농기계가 농경지 안팎을 자동으로 주행할 수 있도록 지원합니다. 농지 밖의 지역에는 보행자, 기타 차량, 건물 및 기타 장애물이 있기 때문에 충돌 위험이 더 높습니다. 따라서 무인 농기계에는 완전한 자율주행을 위해 더 높은 수준의 안전성을 보장하는 안전 시스템이 필요합니다.
최신 자율농업기계에는 접촉 감지를 위한 테이프 센서와 비접촉 장애물 감지를 위한 2D 스캐닝 센서가 장착되어 있다[7]. 또한, 작업자가 눈에 보이는 기계를 직접 모니터링하는 대신, 원격 작업자는 통신망을 통해 기계에서 스트리밍되는 영상을 보면서 원격지의 기계 상황을 관찰하고, 필요한 경우 긴급 조치를 취할 수 있습니다.
하지만 이러한 안전 메커니즘만으로는 완전한 자율주행을 구현하기에는 부족합니다. 차량 측 센서는 범위 제한이나 오작동으로 인해 항상 모든 장애물을 감지할 수 있는 것은 아닙니다. 원격 운영자는 특히 한 명의 운영자가 동시에 여러 자율 농기계를 모니터링하는 경우 장애물에 대한 접근 방식을 간과할 수 있습니다. 따라서 더 높은 수준의 안전을 보장하기 위해서는 추가적인 장애물 감지 메커니즘이 필요합니다. 더욱이, 통신 네트워크는 혼잡이나 기타 상황으로 인해 원격 모니터링을 위한 충분한 품질을 항상 제공하지 못할 수도 있습니다. 이 경우 차량측 안전 장치는 안전 확보를 위한 최후의 수단이 됩니다. 그러나 위에서 언급한 이유로 충분하지 않습니다. 따라서 원격 감시를 위한 통신망 품질 저하 시 긴급 조치를 취할 수 있는 추가적인 안전 메커니즘이 필요하다.
2.3 중복 포지셔닝 시스템
농기계의 자율주행은 이용 가능한 경로를 이용하여 운행 시 농작물을 짓밟지 않고 직진할 수 있도록 정밀한 측위 시스템이 필요합니다. 이 경로는 GNSS(Global Navigation Satellite System) 및 IMU(Inertial Measurement Unit)와 같은 항법 센서와 항법 지도를 사용하여 횡단할 수 있습니다[7].
그러나 GNSS와 같은 내비게이션 센서와 관련된 주요 문제는 RTK(실시간 운동학) 보정 신호를 모든 지리적 위치에서 사용할 수 없다는 것입니다. 또한 여러 가지 오류 원인(예: 전리층 지연 및 신호 잡음)이 정확도에 영향을 미치고 측정 시간 지연을 유발할 수도 있습니다. 이러한 오류로 인해 자율 트랙터가 경로를 잃거나 잘못된 방향으로 이동할 수 있습니다. 이러한 문제를 방지하려면 RTK-GNSS 신호가 없을 때 전방 도로를 감지하고 자율 트랙터를 탐색할 수 있는 시스템이 필요합니다.
3. 시스템 설계
이러한 사회적 문제를 해결하기 위해 NTT는 장치, 네트워크, 컴퓨팅의 다양한 요소 기술을 조정하여 IOWN 기반 통신 인프라를 통해 부가가치를 제공하는 협력 인프라 플랫폼 기술을 연구해 왔습니다. 이번 실험에서는 협동 인프라 플랫폼 기술의 일부 구성 요소 기술을 홋카이도 대학의 차량 제어를 위한 차량 로봇 공학 및 머신 비전의 첨단 기술과 통합하여 농기계의 완전한 자율 주행 플랫폼의 통합 아키텍처를 형성했습니다. 그림 1은 우리가 개발한 시스템의 다이어그램을 보여줍니다. 그레이 기능은 해당 아키텍처의 주요 구성 요소 기술로 도입한 기술입니다.
무선 네트워크 품질 예측 기능(섹션 4.1에서 설명)과 E2E(End-to-End) 오버레이 네트워크 기능(섹션 4.2)은 서로 다른 액세스 네트워크 간의 협력을 실현하는 협력 인프라 플랫폼 기술의 필수 구성 요소입니다. 여러 무선 네트워크를 활용하여 안정적인 원격 모니터링 및 제어를 위해 네트워크를 원활하게 전환하도록 결합됩니다. 무선 네트워크 품질 예측 기능은 머신러닝 기술을 기반으로 여러 네트워크의 품질을 예측합니다. 예측된 네트워크 품질은 농기계의 자율주행과 함께 사용할 최적의 네트워크를 결정하는 데 사용됩니다. 최적의 네트워크 변경이 결정되면 2G/5G, 로컬 4G, 지역 BWA(Broadband Wireless Access) 등 서로 다른 통신 네트워크 간에 오버레이 네트워크를 구축하여 원격 모니터링 및 제어를 위한 애플리케이션이 작동하도록 E5E 오버레이 네트워크 기능에 통보됩니다. 실제로 어떤 네트워크가 사용되는지 신경 쓸 필요가 없습니다. 그런 다음 E2E 오버레이 네트워크는 해당 알림을 수신하면 오버레이 네트워크에서 데이터 전송 경로를 원활하게 전환합니다. 이 조합을 통해 차량이 서로 다른 네트워크 간의 전환이 필요한 일부 지역을 통과해야 하는 경우에도 안정적인 원격 모니터링 및 제어가 가능합니다.
인간 감지 기능(4.3절)과 네트워크 협력 차량 제어 기능(4.5절)은 트랙터 자율 제어 기능(4.6절)과 함께 기존 차량 내 장애물 센서 및 원격 모니터링에 대한 추가 안전 메커니즘으로 작동합니다. 연산자. 사람 감지 기능은 차량으로부터 영상 스트림을 수신하여 차량 앞의 사람을 감지하고, 차량과 감지된 사람 사이의 거리를 계산하고, 추정된 거리를 기반으로 차량이 어떤 조치를 취해야 하는지 알려줍니다. 또한, 장치와 네트워크 간의 협력을 실현하기 위해 협력 인프라 플랫폼 기술의 구성 요소인 네트워크 협력 차량 제어 기능을 도입합니다. 현재 네트워크 품질을 지속적으로 모니터링하고, 품질 저하로 인해 원격 모니터링이 제대로 작동하지 않는 것을 감지하면 차량에 긴급 정지 알림도 보내줌으로써 일시적으로 원격 모니터링이 불가능한 상황에서도 안전성을 확보할 수 있습니다. 네트워크 품질 저하. 따라서 이러한 기능은 완전한 자율 농기계의 다층 안전 시스템으로 구성됩니다.
도로 감지 기능(섹션 4.4)은 RTK-GNSS를 사용할 수 없는 경우에도 자율 트랙터 제어 기능에 정확한 위치 정보를 제공합니다. 차량 카메라 영상을 분석하여 도로의 가장자리와 표면을 검출하고, 영상에서 검출된 도로 중심에 대한 차량의 횡방향 오차를 추정합니다. 추정된 측면 오차는 차량에 입력되어 자율 항법 시스템에 사용됩니다.
트랙터 자율 제어 시스템은 사전 구성된 웨이 포인트, IMU 및 GNSS와 같은 센서의 입력, 위에서 설명한 안전 시스템의 알림 및 원격 사이트의 작업을 기반으로 차량을 자동으로 탐색합니다. 농기계의 완전한 자율주행에 핵심적인 역할을 하며, 사람 감지 기능과 도로 감지 기능을 모두 활용해 기기-컴퓨팅 협력도 구현한다.
4. 기술
4.1 무선 네트워크 품질 예측
무선 통신의 품질은 전파 환경 및 네트워크 혼잡의 영향으로 유동적으로 변합니다. 특히 고주파 대역을 사용하는 무선 접속에서는 NLOS(Non-Line-of-Sight) 상태가 통신 품질에 큰 영향을 미칩니다. 따라서, 쉐도잉으로 인해 통신 품질이 갑자기 저하될 수 있습니다. 이러한 문제를 해결하기 위한 한 가지 해결 방법은 여러 개의 무선 액세스를 준비하고 품질이 저하되기 전에 보다 안정적인 무선 액세스로 전환하는 것입니다. 자율주행 트랙터 사용 사례의 다른 해결 방법은 품질이 저하되기 전에 영상 전송 속도를 줄이고 주행 속도를 줄여 안전을 보장하는 것입니다. 이를 위해서는 무선통신 품질을 예측하고 선제적으로 제어하는 것이 효과적이라고 판단된다.
크라디오\(^{\text{®}}\)다중 무선 액세스 사전 제어 기술인 [8]은 NTT 액세스 서비스 시스템 연구소에서 개발한 IOWN 및 협력 인프라 플랫폼 기술의 요소로, 무선 액세스 품질을 파악 및 시각화하고 품질을 예측하며 동적으로 제어합니다. 무선 네트워크. 기술그룹으로 자율주행차의 원격 모니터링, 제어 등 다양한 활용 사례에서 무선접속을 안정적으로 활용하는데 활용될 수 있다. 본 실험에서는 Cradio의 무선 품질 예측 기술[9],[10]을 적용하였다.\(^{\text{®}}\) 무인 트랙터의 자율주행까지.
그림 2는 무선 품질 예측 기술의 개요를 보여준다. 이 기술은 네트워크상에 배치된 무선 품질 예측 엔진에 과거 통신 품질 정보를 축적하고, 머신러닝을 통해 단말 위치에서의 무선 통신 품질 예측값을 산출하는 기술이다. 단말이 조회하면 예측값을 단말에 알려준다. 단말은 예측값을 이용하여 무선 통신 품질이 악화되는 위치를 파악하고, 최적의 무선 접속을 선택하는 등 사전에 대처할 수 있다.
그림 3은 실험에 사용된 무선 품질 예측 기술의 아키텍처를 보여준다. 해당 기술은 주로 품질 예측 엔진과 단말 소프트웨어로 구성된다. 품질 예측 엔진은 일반 서버 기기에서 구동되는 소프트웨어로, 실제 데이터를 저장하는 DB(Database)와 머신러닝으로 학습해 무선 품질 및 통신 품질 추정값을 계산하는 ML(Machine Learning Unit)로 구성된다. 단말 소프트웨어는 PC의 Linux OS(운영체제)에서 실행되며 통신 품질을 측정하는 기능, 품질 예측 엔진과의 통신 기능, 예측값에 따라 최적의 접속을 선택하는 기능을 가지고 있다. 또한 터미널 소프트웨어에는 다른 장치(GNSS, 네트워크 협력 차량 제어 및 E2E 오버레이 네트워크)와 통신하는 기능이 있습니다. 본 실험에서는 단말 소프트웨어의 PC가 하우징 내부에 직접 무선통신 I/F를 갖고 있지 않고, 이더넷을 통해 각 무선접속 규격별 미디어 컨버터와 연결되어 무선기지국과 통신을 수행하였다.
무선 품질을 예측하기 위해서는 자율주행차의 추정 위치가 필요하다. 그림 4는 Cradio가\(^{\text{®}}\) 차량이 이동할 수 있는 가능한 영역을 예측합니다. 현재 및 이전 위치 데이터를 기반으로 \(\mathrm{p}_{\mathrm{t}}\) and \(\mathrm{p}_{\mathrm{t}-1}\), GNSS 출력에서 얻은 속도를 도출합니다. \(\mathrm{v}_{\mathrm{t}}\). 방향은 과거 위치 데이터의 최소 제곱 근사법으로 계산됩니다. \(\mathrm{T}_{\text{dir}}\) 초. 이번 실험에서는 5초를 다음과 같이 설정했습니다. \(\mathrm{T}_{\text{dir}}\). \(\theta\) 는 사전 구성된 각도로, 이 실험에서는 90도입니다. 반지름 \(\mathrm{d}_{\mathrm{t}}\) 로 정의된다 \(\mathrm{v}_{\mathrm{t}}\cdot \mathrm{T}_{\text{pred}}\)어디로 \(\mathrm{T}_{\text{pred}}\) 예측기간이다.
동작에 앞서 자율주행차의 자율주행 영역을 따라 훈련 데이터세트로 무선 및 네트워크 품질 데이터를 측정한다. 그 지역 내에서는, \(\mathrm{N}_{\text{dat}}\) 위치의 지점이 샘플링 지점으로 무작위로 선택됩니다. 그런 다음 작업 중에 이러한 샘플링 지점을 위에서 설명한 부채꼴 모양의 영역으로 필터링하고 필터링된 지점을 사용하여 예측 품질 데이터를 얻습니다. 본 실험에서는 각 포인트의 예측 처리량을 미리 결정된 임계값과 비교하고, 예측 처리량이 임계값보다 높은 포인트의 비율을 도출합니다. 다중 무선 접속에 대해서도 동일한 과정이 동시에 수행된다. 크라디오\(^{\text{®}}\) 그런 다음 임계값보다 높은 예측 처리량 비율이 미리 결정된 값을 초과하는 네트워크 중에서 미리 결정된 우선순위에 따라 최종적으로 사용할 네트워크를 선택합니다. 본 실험에서는 통신사 5G/4G 등의 공용 네트워크보다 지역 BWA나 무선 LAN(Local Area Network) 등의 프라이빗 네트워크에 더 높은 우선순위를 설정했습니다.
4.2 엔드투엔드 오버레이 네트워크
E2E 오버레이 네트워크는 여러 네트워크 간의 협력을 실현하기 위한 협력 인프라 플랫폼 기술의 구성 요소입니다. 세그먼트 라우팅 IPv6(SRv6) 기반의 사용자 평면과 LISP(Locator/ID Separation Protocol)와 유사한 제어 평면으로 구성됩니다. SRv6에서는 장치/단말기 측에 저장되고 처리되는 경로 정보를 사용하여 소스 라우팅으로 경로를 제어할 수 있습니다. 이는 네트워크에 저장해야 하는 상태 정보의 양을 줄여 결과적으로 확장성을 높일 수 있습니다. 또한 네트워크 측에서 장치/단말기의 위치를 처리할 수 있는 LISP 기반 제어 평면을 통해 장치/단말기가 여러 액세스 네트워크 간에 이동할 수 있습니다.
그림 5는 E2E 오버레이 네트워크의 아키텍처를 보여줍니다. CPE(Customer Premises Equipment)는 오버레이 통신을 종료하는 엔드포인트이며, CPE 간에는 SRv6 기반 VPN(Virtual Private Network)이 구축됩니다. E2E 오버레이 네트워크는 CPE의 LAN 주소 공간을 EID(Endpoint ID) 공간으로 처리하고, CPE의 WAN(Wide Area Network) 주소를 RLoC(Routing Locator)로 처리합니다. EID 공간은 각 CPE에 할당된 고유한 IP(인터넷 프로토콜) 주소 공간입니다. CPE는 EID 공간에서 나가는 패킷을 캡슐화하여 대상 CPE로 전송하는 반면, 들어오는 패킷은 자체 EID 공간으로 캡슐화 해제합니다. CPE는 네트워크에 연결되면 컨트롤러에 자신의 RLoC와 자신의 EID를 등록합니다. CPE가 새로운 대상 CPE와 통신해야 하는 경우 대상 EID를 통해 컨트롤러로부터 대상 CPE의 RLoC를 얻습니다. 네트워크가 RLoC 변경으로 구성되면 EID와 RLoC의 새로운 바인딩이 컨트롤러에서 업데이트되고 각 CPE에도 이러한 새로운 RLoC가 통보됩니다. 이 기능을 사용하면 서로 다른 네트워크 간에 CPE를 전송할 수 있습니다.
CPE는 여러 개의 WAN 인터페이스를 갖고 해당 액세스 네트워크에 동시에 연결할 수 있습니다. 이 실험에서 CPE는 각 WAN 인터페이스에 대해 SRv6 구성을 갖고 하나는 오버레이 데이터 통신을 위한 기본 인터페이스로 사용하고 다른 인터페이스(백업 인터페이스로 간주됨)는 사용하지 않도록 설계되었습니다. 기본 인터페이스가 네트워크에서 연결이 끊어지면 CPE는 백업 인터페이스 중 하나를 새로운 기본 인터페이스로 사용하여 통신을 계속합니다. 해당 인터페이스의 우선순위는 CPE에 사전 구성된 정책에 따라 결정됩니다. 이 기능을 통해 CPE는 활성/대기 네트워크 중복성을 갖춘 오버레이 네트워크를 구축할 수 있습니다. 그림 6은 언더레이 및 오버레이 네트워크 관점에서 본 다중 인터페이스 기능의 개요를 보여줍니다.
또한 CPE는 외부 기능의 지시에 따라 WAN 인터페이스의 우선순위를 변경할 수 있습니다. 기본 인터페이스와 백업 인터페이스 간의 인터페이스 전환 명령을 수신한 후 CPE는 후자를 새로운 기본 인터페이스로 사용하기 시작하고 CPE 쌍 간의 통신 방향이 모두 변경될 수 있도록 새로운 기본 인터페이스를 상대 CPE에 알립니다. . 본 실험에서는 E2E Overlay Network를 Cradio로부터 네트워크 전환 지시를 받도록 설계하였다.\(^{\text{®}}\) (섹션 4.1 참조) 품질 예측을 기반으로 통신 품질이 저하되기 전에 네트워크를 원활하게 전환합니다.
4.3 안전을 위한 머신 비전(사람 감지)
추가적인 장애물 감지 메커니즘으로 머신 비전 기술을 도입합니다. 트랙터에 카메라가 부착되어 트랙터의 정면을 촬영한 실시간 비디오를 무선 네트워크를 통해 원격 현장으로 스트리밍합니다. 인간 감지 기능은 비디오 스트림을 수신하고 포함된 이미지 프레임을 분석합니다. 프레임에서 사람이 감지되면 트랙터와의 거리가 계산되고, 사람 감지 기능은 감지된 사람과의 거리를 기준으로 안전 확보를 위한 조치가 필요한지 여부를 트랙터 자율 제어 기능에 알려줍니다. .
안전 시스템은 위험, 경고, 안전이라는 세 가지 안전 범위를 정의합니다. 트랙터에 가까울수록 운전 상태의 위험성이 높아집니다. 그림 7은 이중화 안전 시스템의 세 가지 범위에 대한 개요를 보여줍니다.
세 가지 안전 범위 각각에는 특정 작동 상태가 있습니다. 위험할 경우 원격 모니터링 시스템에서 작동이 재개될 때까지 트랙터가 정지됩니다. 경고를 위해 이동 속도를 0.5m/s(1.8km/h)로 줄여야 합니다. 안전을 위해 트랙터는 주행 속도 설정값에 따라 정상적으로 작동합니다. 자동 작동 중에는 세 가지 안전 범위가 4단계 패라이트에 특정 색상으로 표시됩니다. 분홍색 빛은 위험, 녹색 빛은 경고, 파란색 빛은 안전입니다. 작동 상태가 위험할 때는 패라이트 핑크색 표시등과 함께 경적을 울려 경보를 울립니다. 레이저 스캐너와 머신 비전 시스템의 거리는 교정 프로세스를 통해 얻어집니다. 이 세 가지 안전 범위의 거리는 농업 작업 중 트랙터의 일반적인 이동 속도(6~7km/h 범위)에 따라 선택됩니다. 이 세 범위의 거리는 고정되어 있지 않으며 필요한 경우 변경될 수 있습니다. 시스템에 정의된 세 가지 안전 범위는 두 감지 구성 요소에 대해 완전히 독립적입니다. 예를 들어, 그림 5에서 레이저의 최대 감지 범위는 4m이지만 위험 상태는 8m로 선택되어 머신 비전의 XNUMXm 범위보다 작습니다.
그림 8은 시스템의 관련 구성 요소 간의 상호 작용을 보여줍니다. 트랙터에서 원격지의 사람 감지 기능으로 WebRTC를 이용하여 영상 데이터를 전송하고, 사람 감지 결과에 따라 결정된 안전지수도 WebRTC를 이용하여 트랙터 자율 제어 기능으로 반환합니다. 안전지수 값은 예상 거리에 따라 결정됩니다.
- 거리 \(\geq\) 12m:1(안전)
- 12m \(>\) 거리 \(\geq\) 8m: 2(경고)
- 8m \(>\) 거리: 3(정지)
인간 탐지 프로세스를 위해 YOLOv3 [11]을 사용했습니다. 훈련 데이터는 COCO(Common Objects in Context) 데이터세트[12], KITTI 데이터세트[13], PASCAL VOC(Pascal Visual Object Classes) 데이터세트[14] 및 nuScenes 데이터세트[15]와 같은 오픈 소스 데이터세트에서 생성되었습니다. XNUMX]. 또한, 실험에 사용된 트랙터를 이용해 홋카이도대학교 북방생물권 현장과학센터에서 실험 중에 촬영한 카메라 이미지도 추가 훈련 데이터 생성에 활용됐다.
YOLOv3에서 인간이 감지되면 다음 단계는 트랙터에서 인간까지의 거리를 계산하는 것입니다. 영상과 실제 공간 사이에는 유사한 관계가 있기 때문에 영상 속 거리(픽셀 단위)와 트랙터로부터의 실제 거리(미터 단위)를 비교하여 카메라와 대상 사이의 거리를 구할 수 있습니다. 이 관계는 인쇄된 체스판과 OpenCV 함수를 사용하여 얻을 수 있습니다. 결과적인 픽셀 거리 관계를 통해 이미지 평면과 접지 평면 사이에서 좌표를 변환할 수 있습니다. 카메라를 고정한 트랙터 앞의 임의의 지점에 서서 줄자를 이용해 트랙터까지의 수평거리를 측정하고, 측정된 값을 영상 위치 결과로 확인함으로써 보정을 검증하였다. 본 측정은 교정 시 10가지 안전 범위 각각에 대해 XNUMX회 실시되었으며, 각 범위의 평균값을 채택하였다.
4.4 측위를 위한 머신 비전(도로 감지)
RTK-GNSS 외에 농기계의 자율주행을 위한 이중 측위 메커니즘으로 기계가 달리는 도로를 감지하는 머신비전 기술을 도입했습니다. 그림 9는 작동 방식을 보여줍니다. 트랙터에 부착된 카메라로 촬영된 영상은 컴퓨터에서 실행되는 도로 감지 기능에 의해 수신되어 영상 프레임을 분석하여 도로의 가장자리를 감지하고 도로의 중심선을 추정하며 트랙터의 횡방향 오차를 계산합니다. 추정된 중앙선을 기준으로 합니다. 계산된 측면 오차는 자동 트랙터 제어 기능에 공급되므로 RTK-GNSS가 위치 정보를 제공할 수 없는 경우에도 위치 정보를 사용할 수 있습니다.
도로 감지 프로세스를 위해 여러 OpenCV 기능을 사용합니다. 우리가 사용하는 카메라에는 어안 렌즈가 있기 때문에 체스판을 사용한 보정을 통해 얻은 카메라 고유 매개변수를 사용하여 왜곡된 원본 이미지에서 왜곡되지 않은 이미지를 얻습니다. 그런 다음 스무딩, 색상 변환 및 형태학적 변환을 위한 필터링 프로세스를 적용하여 도로의 오른쪽 가장자리와 왼쪽 가장자리를 각각 나타내는 이진 이미지를 얻습니다. 이러한 이미지는 진리표를 사용하여 결합되어 최종 필터링된 이미지를 얻습니다. 도로 표면을 보여주는 이진 이미지를 얻기 위해 동일한 프로세스가 다른 임계값으로 적용됩니다. 그런 다음 필터링된 이미지를 관련 OpenCV 기능을 사용하여 그림 10의 왼쪽에 표시된 도로 영역에 대한 조감도를 얻기 위해 워핑합니다.
그 후, 워핑된 이미지에 슬라이딩 윈도우(sliding window) 방식을 적용하여 결과 이미지 2개를 반환합니다. 슬라이딩 윈도우 방식에서는 지정된 길이의 윈도우 렌, 샘플별로 이미지 프레임 데이터 위로 이동합니다. 이러한 창은 그림 10(가운데)에 표시된 연한 녹색 직사각형으로 표시됩니다. 통계는 각 창의 데이터에 대해 계산됩니다. 각 입력 샘플의 출력은 현재 샘플 창과 이전 샘플 창에 대한 통계입니다. 렌–1 샘플. 이 방법에는 OpenCV, NumPy 및 Pandas 라이브러리가 사용됩니다. 하나의 이미지 프레임 높이(720픽셀)를 따라 10개의 슬라이딩 창이 있습니다. 각 창은 해당 창 내부의 10이 아닌 픽셀을 검색합니다. 이진 이미지는 검은색 픽셀에 XNUMX을 할당하고 흰색 픽셀에 XNUMX을 할당한다는 점을 기억하세요. 이러한 XNUMX이 아닌 픽셀 값은 배열에 저장되고 XNUMX차 다항식이 이러한 픽셀 값에 맞춰집니다. 이 XNUMX차 다항식은 도로의 왼쪽과 오른쪽 가장자리를 제공할 뿐만 아니라 도로의 중심을 결정하는 데에도 도움을 줍니다. 그림 XNUMX(가운데)은 도로 가장자리와 도로 표면 모두에 대한 감지 결과를 보여줍니다. 이 방법의 안정화는 그림 XNUMX(오른쪽)에 나와 있습니다. 슬라이딩 창은 프레임 내부에 관심 영역을 만듭니다. 관심 영역 내부에 XNUMX이 아닌 픽셀이 연속적으로 발견되면 슬라이딩 윈도우 방법의 결과가 안정화됩니다.
워핑된 이미지로부터 11차 다항식을 얻은 후, 워핑을 반전시켜 다항식의 좌표를 실제 좌표로 변환합니다. 그런 다음 최종 결과는 그림 11(오른쪽)에 표시된 이미지와 겹쳐집니다. 카메라 왜곡이 전혀 없는 이미지입니다. 그림 11(왼쪽)에서 노란색 다각형은 왼쪽 및 오른쪽 가장자리를 기준으로 관심 영역에서 감지된 노면을 나타냅니다. 빨간색 폴리라인은 도로의 중심을 나타냅니다. 즉, 도로의 왼쪽과 오른쪽 가장자리와 감지된 도로 면적 결과를 결합하여 측면 오차를 계산합니다. 그림 XNUMX(오른쪽)은 보정을 통해 얻은 픽셀과 실제 거리 간의 상관 관계를 통해 수행되는 측면 오류 계산을 나타냅니다. 왼쪽 가장자리는 파란색 영역으로 표시되고, 오른쪽 가장자리는 빨간색 영역으로 표시되며, 감지된 도로 중앙은 빨간색 선으로 표시됩니다. 녹색 점선은 이미지 프레임의 실제 중심을 나타냅니다. 녹색 파선과 빨간색 선 사이의 거리는 픽셀 값의 측면 오류를 나타냅니다. 그런 다음 실제 거리로 변환되어 자율 트랙터 제어 기능으로 전송될 수 있습니다.
4.5 네트워크 협력 차량 제어
섹션에서 언급했듯이. 2.2, 원격 모니터링이 작동하지 않을 때 자율 농기계가 자율 주행을 하는 것을 방지할 수 있는 안전 메커니즘입니다. 이 섹션에서는 이러한 문제를 해결하기 위한 솔루션으로 NTT 네트워크 기술 연구소에서 개발한 네트워크 협력 차량 제어 기술을 제시합니다. 이는 네트워크 장치 협력을 위한 협력 인프라 플랫폼의 구성 요소입니다.
무인 농기계 등 자율주행차와 통신망 사이의 코디네이터 역할을 한다. 외부 네트워크 품질 측정 기능과 함께 작동하여 통신 품질을 지속적으로 관찰하고 통신 품질에 최적화되도록 차량 동작을 조정합니다[16]. 본 실험에서는 E2E 오버레이 네트워크 기능과 상호 작용하여 패킷 손실 측정 정보를 얻고, 관찰된 패킷 손실을 기반으로 자율 트랙터가 자율 주행을 계속할 수 있는지 여부를 판단하도록 설계되었습니다. 원격 모니터링을 하기에는 통신 품질이 좋지 않다고 판단되면 원격 모니터링이 작동하지 않을 수 있으므로 트랙터 자율 제어 기능에 비상 정지가 필요함을 알립니다. 통신 품질이 회복된 것을 감지하면 트랙터 자율주행 제어 기능에 자율주행을 재개할 수 있음을 알린다.
그림 12는 획득된 패킷 손실 정보와 차량에 대한 정지/재개 명령 간의 관계를 보여줍니다. 차량의 정지/재개를 결정하는 패킷 손실 임계값이 미리 구성됩니다. 측정된 패킷 손실은 E2E 오버레이 네트워크 기능에서 네트워크 협력 차량 제어 기능으로 지속적으로 보고되지만, 미리 설정된 판단 기간 동안 손실이 상한(정지)을 초과한 보고 건수를 카운트합니다. 상한값을 초과하는 보고 건수가 사전 설정된 조건과 일치할 경우, 네트워크 협력 차량 제어 기능은 패킷 손실이 원격 모니터링에 영향을 미칠 수 있으므로 비상 정지가 필요한 것으로 간주합니다. 마찬가지로, 패킷 손실이 하한 임계치 이하로 떨어진 보고 건수가 판단 기간의 조건과 일치하면 통신 품질이 회복된 것으로 간주하여 자율 주행을 재개할 준비가 됩니다. 패킷 손실의 순간적인 발생 및 소산으로 인한 플래핑(flapping) 동작을 억제하기 위해 결정 기간이 도입되었습니다. 본 실험에서는 모든 패킷 손실 보고가 상한 임계값을 초과할 때 긴급 정지가 결정되고, 패킷 손실 보고의 절반 이상이 하한 임계값 미만일 때 긴급 정지가 결정되도록 설계했습니다.
표 1은 장애물(즉, 실험에서 인간)까지의 거리와 이 실험에서 도입한 다층 안전 메커니즘 간의 관계를 보여줍니다. 통신 네트워크 품질이 심각하게 저하되는 경우 원격 운영자와 사람의 감지는 차량에서 네트워크를 통해 스트리밍되는 영상에 의존하기 때문에 제대로 작동하지 않을 수 있으며, 장애물이 차량 전방 8~4m 사이에 있을 때가 가장 위험합니다. 네트워크 협력 차량 제어 기능을 제외하고 해당 범위를 커버하는 안전 메커니즘이 없기 때문입니다. 따라서 네트워크 협력 차량 제어 기능에서는 차량이 해당 범위(4미터) 내에서 정지할 수 있도록 신속하게 비상 정지 판단을 수행해야 합니다. 제동 거리를 고려하여 안전 측 비상 정지 범위는 3m로 설정됩니다.
따라서 본 실험에서 차량의 최대 속도는 1.75m/s(6.3km/h)이므로 네트워크 협력 차량 제어 기능에 의해 트리거되는 비상 정지 동작의 상위 기간은 3m/1.75m/s = 1.71s이다. .
네트워크 협력 차량 제어 기능에는 판단 기간과 처리 시간이 있기 때문에 통신 품질이 저하되는 시점과 차량이 제동을 시작하는 시점 사이에는 자유 주행 거리가 존재합니다. 네트워크 협력 차량 제어 기능의 관점에서 다음 기간에 따라 자유 주행 거리가 결정됩니다.
- E2E 오버레이 네트워크 기능으로부터 패킷 손실 측정 보고서 수신
- 결정기간 내에 접수된 보고를 토대로 비상정지 결정
- 트랙터 자율 제어 기능에 정지 신호를 보내기 위한 내부 프로세스
- 자율 트랙터 제어 기능으로 신호 전송 중지
- CAN-BUS를 통해 트랙터 ECU(Electronic Control Unit)에 정지 명령을 보내는 트랙터 자율 제어 기능의 간격
본 실험에서 네트워크 협력 차량 제어 기능과 트랙터 자율 제어 기능 간의 상호 작용 주기는 5Hz이므로 위 4항의 최대 주기는 200msec이다. 마찬가지로 위 5항의 최대 주기는 100msec로 트랙터 자율 제어 기능이 10Hz 주기로 동작하도록 구현되어 있다. 따라서 네트워크 협력 차량 제어 기능은 위의 1부터 3까지의 과정을 이내에 완료해야 합니다. \(1.71 - 0.2 - 0.1 = 1.41\) 초.
4.6 트랙터 자율제어 시스템
우리는 홋카이도 대학[7]의 트랙터 자율 항법 시스템을 기본 자율 항법 시스템으로 통합했습니다. 이 실험에서는 시스템에 두 가지 주요 확장 기능도 도입했습니다.
먼저 실험에 사용한 트랙터의 CAN 인터페이스에 따라 기어 결합과 엔진 속도를 기반으로 차량 속도 제어 메커니즘을 개발했습니다. 수동 작동 중에 우리가 사용한 트랙터의 ECU는 체결된 기어(1~8 범위)와 함께 엔진 속도(rpm)를 사용하여 트랙터의 주행 속도를 생성합니다. 이렇게 규격을 정한 이유는 농업노동을 수행하는 트랙터의 경우 엔진속도와 출력이 사용되는 농기계에 직접적인 영향을 미치기 때문에 주행속도보다 엔진속도가 더 중요하기 때문이다. 그러나 자동 속도 제어 시스템을 개발하면 트랙터의 성능을 평가할 수 있습니다. 홋카이도 대학에서 개발한 자동 항법 시스템과 호환되기 위해 이 자동 속도 제어 시스템은 원하는 속도 설정점(km/h)과 결합하여 엔진 속도를 사용하여 트랙터 주행 속도를 생성하는 데 필요한 기어를 추정합니다. 기어는 제조업체가 제공한 조회 테이블을 기반으로 추정됩니다. 이 조회 테이블에는 엔진 속도, 기어 및 그에 따른 트랙터 주행 속도 간의 관계가 포함되어 있습니다.
그림 13은 우리가 사용한 트랙터용으로 개발된 수동 속도 제어와 자동 속도 제어 시스템을 개략적으로 비교한 것입니다. 그림의 상단 블록은 수동 속도 제어를 나타내며 매우 간단하고 기존 승용차의 대부분과 유사합니다. 그림의 하단 블록은 주어진 엔진 속도에 대한 속도 설정점에 최대한 가까운 트랙터 주행 속도를 달성하기 위해 필요한 기어를 계산하는 자동 속도 제어를 나타냅니다.
둘째, 본 실험에 통합된 원격제어 애플리케이션, 인간 감지 기능, 네트워크 협력 차량 제어 기능 등 외부 시스템과 자율주행 시스템의 상호작용 메커니즘을 모듈화했습니다. 이전 버전의 자율 항법 시스템은 Hitachi Solutions에서 제공하는 원격 모니터링 및 제어 애플리케이션인 GeoMation 또는 원격 데스크톱과 같은 특정 외부 시스템에서만 작동하도록 설계되었습니다[17]. 따라서 그림 14와 같이 내부적으로 프록시 또는 추상화 메커니즘을 도입했습니다. 왼쪽 하단의 AutoRun은 실제로 차량을 제어하기 위한 자율 내비게이션 프로그램입니다. AutoRunHub.exe는 주로 트랙터 컨트롤러, 채널 인터페이스 및 핵심 AutoRunHub 모듈로 구성된 새로 도입된 외부 상호 작용 프레임워크를 구현한 것입니다. 본 실험에서는 Microsoft Windows에서 실행되는 프로그램으로 구현해 보았습니다. 트랙터 컨트롤러는 실제 자율주행차의 프록시 역할을 하며, 이를 통해 다른 모듈이 차량에 쉽게 접근할 수 있습니다. 핵심 AutoRunHub 모듈은 프레임워크의 핵심 구성 요소로, 채널 인터페이스를 통해 차량 정보를 외부 시스템에 전송하고 외부 시스템에서 수신한 명령에 따라 차량에 적절한 신호를 보내는 역할을 합니다. 채널 인터페이스는 AutoRunHub의 외부 시스템과의 상호 작용을 위한 실제 인터페이스, 프로토콜 및 데이터 형식의 차이점을 숨기는 추상화 계층입니다.
AutoRunHub는 또한 여러 외부 시스템의 명령을 고려하여 차량으로 전송될 적절한 신호를 결정하는 역할도 합니다. 중립(Neutral), 정지(Stop), 진행(Go)의 세 가지 작동 신호 유형이 있습니다. 일반적으로 외부 시스템은 AutoRunHub에 Neutral 명령을 보내고 AutoRunHub는 AutoRun이 수행하는 자율 탐색에 개입하지 않습니다. 외부 시스템이 위험을 감지하면 AutoRunHub에 Stop 신호를 알려주고, AutoRunHub는 다른 외부 시스템의 신호와 상관없이 차량을 정지시킵니다. 모든 외부 시스템이 중립 신호를 다시 AutoRunHub에 보내기 위해 방향을 바꾸면 차량은 자율 주행을 재개할 준비가 된 것으로 간주되지만, 인간 운영자가 운영하는 하나 이상의 특정 외부 시스템에서 Go 신호가 전달될 때까지는 그렇지 않습니다.
5. 실험
위에서 제시한 기술에 대해 두 가지 현장 환경에서 실제 트랙터와 상용 통신망을 사용하여 실험을 수행했습니다. 실험 설정 및 결과는 다음 섹션에 나와 있습니다.
5.1 실험 설정
실험을 위해 다음과 같은 분야, 장비, 서비스 및 사이트를 사용했습니다. 표 2는 이러한 실험 설정과 평가된 기술의 조합을 보여줍니다.
- 들:
- 홋카이도대학 북방생물권 현장과학센터(그림 15 참조)
- 이와미자와시 니시야우치 농장 부근의 농로(그림 16 참조)
- 트랙터:
- 쿠보타 MR1000A-PC-A [18]
- 카메라 :
- 코닥 PixPro 4KVR360 [19]
- 축 P1378-LE [20]
- 네트워크 :
- NEC Aterm MR4LN [21]을 모바일 라우터로 사용하는 ipsim 선불 05G SIM (NTT Docomo 모바일 네트워크의 MVNO) [22]
- 네트워크 A에 연결되는 WLAN 네트워크
- SH-5A[52]를 모바일 라우터로 사용하는 NTT Docomo 23G 모바일 네트워크 서비스
- Cathay Tri-Tech CTL-24JC [201]를 모바일 라우터로 사용하는 이와미자와시 지역 BWA 네트워크 서비스 [25]
- 원격 사이트:
- NTT 무사시노 R&D 센터(3-9 일본 도쿄도 무사시노시 미도리초 11-180-8585)
- 이와미자와시 신산업 지원센터(우편번호 1-29 일본 홋카이도 이와미자와시 아리아케초 미나미 068-0034)
- 9-9 일본 홋카이도 삿포로시 기타구 기타 060조 니시 8589초메 홋카이도대학 농학연구부)
원격 사이트 A와 C는 인터넷을 통해 트랙터 측 시스템에 연결되었습니다. 반면, 원격 사이트 B에는 폐쇄형 네트워크 연결이 사용되었습니다. 네트워크 C(26G/5G)에는 NTT Docomo 액세스 프리미엄 서비스[4]가 사용되었고, 네트워크 D에는 무선국에서 원격 사이트 B 건물로 직접 연결되었습니다. 핵심 네트워크 장비가 같은 건물에 위치해 있기 때문이다. 네트워크 A와 B, C와 D의 조합은 주로 무선 네트워크 품질 예측 및 E2E 오버레이 네트워크에 의한 원활한 네트워크 전환을 검토하는 데 사용됩니다.
5.2 결과
5.2.1 무선 네트워크 품질 예측
무선 품질 예측 기술을 활용한 최적 네트워크 선택 실험은 홋카이도 대학과 이와미자와시 두 곳에서 진행되었습니다. 섹션에 설명된 대로. 4.1에서 무선 품질 예측 기술은 머신러닝을 이용하여 과거의 실제 측정 데이터로부터 처리량 등 통신 품질을 추정하는 기술이다. 이번 실증 실험에서는 위도와 경도 정보를 특징값으로 활용해 신경망의 무선 접속 처리량을 추정하는 기술이 사용됐다. 신경망은 미리 측정하고 수집한 처리량을 통해 학습되었습니다. 또한, 실증 실험에서 자율주행 트랙터가 주행할 때 단말 소프트웨어를 통해 위치 정보와 속도로부터 트랙터의 미래 주행 위치를 추정하고, 무선 품질 예측 엔진을 통해 해당 위치에서의 추정 무선 통신 품질을 획득하였다. 각 기지국마다.
홋카이도 대학 환경에서의 실험에서는 농장에 설치된 무선랜과 상용 LTE(Long-Term Evolution) 무선접속 간의 네트워크 선택 테스트를 진행하였다. 측정/예측은 그림 15에 표시된 경로를 따라 각 지점에서 여러 번 수행되었습니다. 그림 17은 LTE 및 무선 LAN의 측정 및 추정 업링크 처리량에 대한 플롯을 보여줍니다. 그림에서 보는 바와 같이 변동폭이 큰 측정값에 대하여 추정값은 중앙값에 가까운 수준에서 얻어지고 있다. 머신러닝으로 추정한 정확도는 무선랜의 경우 RMSE(Root Mean Square Error) = 0.42Mbps, LTE의 경우 RMSE = 0.39Mbps였습니다. 이러한 추정값을 이용한 최적의 액세스 선택 동작에서는 무선랜의 품질 열화를 추정하고, 업링크 처리량이 필요 대역폭인 1Mbps 미만으로 느껴지기 전 위치에서 네트워크 전환 명령을 내릴 수 있음을 판단할 수 있었다. 영상 전송용.
이와미자와시 환경에서의 실험에서는 네트워크 선택 테스트를 위해 지역 BWA 및 상용 5G/LTE 무선 액세스를 사용했습니다. 그림 18은 BWA 및 5G/LTE의 측정 및 추정 업링크 처리량을 보여줍니다. 자율주행 트랙터 실험 과정의 시작점에서는 로컬 통신 활용을 우선한다는 가정 하에 BWA를 선정하였고, 이번 테스트에서 품질은 1.5Mbps 기준치를 만족하는 것으로 평가되었다. BWA는 자율주행 코스 중간 바람막이로 막힌 지점 앞쪽에서 사용됐다. 사전에 값을 추정하여 BWA의 업링크 처리량 저하를 예측하고 네트워크를 5G/LTE로 변경했습니다. 이러한 품질 추정을 위해 실험 현장에서 처리량을 미리 측정하고, 처리량으로 신경망을 학습시켰습니다. 그림 18에서 볼 수 있듯이 7.4G/LTE 회선의 경우 추정 정확도는 RMSE = 5Mbps, 지역 BWA의 경우 RMSE = 0.93Mbps입니다. 특히 5G/LTE에서는 측정값의 변동폭이 커서 5G/LTE 추정값의 오차가 컸다. 이러한 추정 변화를 따라가는 것은 미래의 문제이다. 추정된 처리량 값을 이용한 이번 자동 구동에서는 전송 영상 품질에 큰 지장을 주지 않고 BWA와 5G/LTE 간 원활한 전송이 이루어졌다.
5.2.2 엔드투엔드 오버레이 네트워크
E2E 오버레이 네트워크의 경우 원격 모니터링을 위한 엔드투엔드 데이터 전송이 서로 다른 두 네트워크 간에 원활하게 전환될 수 있음을 확인했습니다. 그림 19는 Cradio의 지시에 따라 지역 BWA에서 5G/LTE로 네트워크를 전환한 후 패킷 손실과 RTT가 어떻게 변화하는지 보여줍니다.\(^{\text{®}}\), 트랙터에 설치된 CPE와 원격지의 원격 모니터링 뷰어 간의 fping을 통해 측정되었습니다. 이는 네트워크 전환 후에도 패킷 손실이나 RTT의 큰 변화가 발견되지 않았음을 보여줍니다. 이는 Cradio의 품질 예측을 기반으로 네트워크 전환을 사전에 결정함으로써 원치 않는 추가 패킷 손실 또는 RTT를 방지했음을 의미합니다.\(^{\text{®}}\) E2E 오버레이 네트워크를 통한 원활한 네트워크 전환. 이러한 패킷 수준의 데이터 외에도 네트워크 전환 후에도 원격지에서 관찰되는 영상이 원활하게 지속되는 것을 확인하였습니다.
5.2.3 안전을 위한 머신 비전(사람 감지)
시스템의 실용성과 안전성을 검증하기 위해 물체 감지 정확도에 관해 다음과 같은 평가를 실시했습니다. 개발 시스템에서 실제 감지가 있었을 때 3개의 정지 이미지가 비디오에서 임의로 캡처되었습니다. 그런 다음 표 XNUMX과 같이 해당 이미지에서 참양성(TP), 참음성(TN), 거짓양성(FP) 및 거짓음성(FN)을 측정하고 평가했습니다.
평가 방법의 경우 정밀도는 다음에서 정의됩니다. \(\rm TP / (TP + FP)\), 그리고 리콜은, \(\rm TP / (TP + FN)\), 계산되었습니다. 결과는 표 4에 요약되어 있다. 위에서 언급한 바와 같이 사람과 트랙터 사이의 충돌을 피하기 위해서는 감지가 수행되어야 한다. 따라서 누락된 항목의 수가 적다는 지표인 리콜에 초점을 맞추는 것이 중요합니다.
재현율은 91%로 초당 약 20회 정도 탐지가 이루어졌기 때문에 실제 운용 시에는 거의 확실하게 사람을 탐지할 수 있다고 판단되었다. 또한, 오탐지 사례를 살펴보면, 다수의 사람이 집단으로 탐지되었을 때 가장 흔히 발생하는 FN이 발생하였다. 하지만 감지된 사람의 수는 사진 속 실제 사람 수보다 적었습니다.
5.2.4 측위를 위한 머신 비전(도로 감지)
도로 감지를 위한 머신 비전 시스템의 정확성을 평가하기 위해 실험이 수행되었습니다. 실험 주행은 홋카이도 대학 실험 농장의 비포장 도로에서 자동 내비게이션을 사용하여 직선 경로를 이동하는 것으로 구성되었습니다. 도로는 그림 20에 나와 있습니다. 두 번의 실험 실행에는 동일한 사전 결정된 내비게이션 지도가 사용되었습니다. 하나는 자동 항법 시스템의 입력으로 RTK-GNSS를 사용하여 수행되었으며, 다른 하나는 자동 항법 시스템의 입력으로 머신 비전 시스템을 사용하여 수행되었습니다. 도로탐지용 머신비전 시스템을 이용한 자동항법 주행에서 얻은 횡방향 오차와 RTK-GNSS를 이용한 자동 항법 주행에서 얻은 횡방향 오차를 비교하였다.
그림 21은 하나의 이동 경로에 대한 측면 오류를 보여줍니다. RTK-GNSS의 측면 오차는 0.05m 미만이며 이 데이터는 참조 또는 실제 데이터로 사용됩니다. 머신비전 시스템의 측면 오차는 0.10m 미만입니다. 트랙터 초기 위치의 오프셋으로 인해 발생하는 약 0.40미터의 초기 편차도 이 그림에 표시되어 있습니다. 이러한 오프셋은 RTK-GNSS를 사용할 때에도 가끔 나타납니다.
포장도로의 경우 아직 자동 실험 주행은 이뤄지지 않았다. 이 개발 시점에서는 수동으로 구동되는 비디오 샘플을 사용하여 측면 오류를 얻습니다. 그림 22는 머신 비전에서만 발생한 측면 오류 결과를 보여줍니다. 이 그림에서는 최대 측면오차가 1.2m인 것을 볼 수 있으나, 평균적으로 측면오차는 0.20m 이내이다. 이렇게 큰 측면 오류 값이 발생할 수 있는 이유는 조명, 도로 표면의 반사 등입니다.
5.2.5 네트워크 협력 차량 제어
네트워크 협력 차량 제어에 관한 실험을 위한 매개 변수는 다음과 같습니다.
- fping의 ping 간격(옵션 p): 10msec
- fping의 ping 수(옵션 c): 5
- fping 시간 초과(옵션 t): 150msec
- 판정 기간: 1000msec
- 패킷 손실 상한 임계값: 20%
네트워크 정체를 시뮬레이션하기 위해 차량과 원격 사이트 간의 영상 전송 경로에 있는 네트워크 노드에서 패킷 손실을 30%로 삽입했습니다. 네트워크 협력 차량 제어 기능을 실행하기 위해 Raspberry PI 4(8GB RAM)를 사용했습니다.
그림 23은 자율 트랙터의 속도와 실험에서 관찰된 패킷 손실을 보여줍니다. 자율 트랙터는 네트워크 혼잡을 시뮬레이션할 때 자동으로 정지했으며, 혼잡 시뮬레이션 전에는 예기치 않게 멈추지 않았습니다. 또한, 네트워크 혼잡이 삽입되면 원격 모니터에 표시되는 영상이 중단되는 현상도 발견했는데, 이는 원격 모니터링이 제대로 작동하지 않아 긴급 정지가 필요한 경우입니다.
또한, 네트워크 협력 차량 제어 기능은 임계값을 초과한 첫 번째 패킷 손실 보고 수신부터 트랙터 자율 제어 기능으로 정지 신호 전송이 완료되기까지 1.27초가 소요되는 것으로 나타났습니다. 이는 Sec.에서 언급한 목표 주기인 1.41초보다 짧습니다. 4.5이므로 네트워크 협력 차량 제어 기능은 우리가 이번에 구상한 경우에 충분히 빠르게 수행됩니다. 패킷 손실이 증가하는 간격을 볼 수 있는데 이는 4.5절에서 설명한 판단 시간 메커니즘 때문입니다. XNUMX에서는 패킷 손실 삽입 직후 일부 패킷 손실 없음 보고가 관찰되어 지속적인 손실을 감지하지 못했습니다.
5.2.6 트랙터 자율제어 시스템
홋카이도대학교 실험농장 현장에서 24개 경로 자율주행을 수행하여 속도제어 시스템의 성능을 평가하였다. 그림 1.2는 실험 위치를 보여줍니다. 실험 경로의 위치점은 RTK-GNSS에서 제공되었으며 이 데이터 로그는 홋카이도 대학 시스템 PC에 저장됩니다. 또한 이동 속도는 RTK-GNSS와 트랙터 속도계 모두에 기록되며 해당 데이터는 CAN-BUS를 통해 획득됩니다. 한 번의 실험은 4.2m/s(약 1.7km/h)의 속도로 수행되었고, 다른 실험은 6.3m/s(약 XNUMXkm/h)의 속도로 수행되었습니다. 이 두 가지 속도는 들판 작업 조건과 도로 주행 조건에서 트랙터의 일반적인 최소 및 최대 속도에 가깝기 때문에 선택되었습니다.
그림 25는 이동 속도 1.7m/s에 대한 실험 결과를 요약한 것입니다. 왼쪽 그림은 GNSS 수신기가 기록한 위도 및 경도 좌표의 이동 경로를 보여줍니다. 0.06개의 경로가 일직선이고 선회 기동 이후에도 이탈 기동이나 진동이 없는 것을 볼 수 있는데, 이는 전체적인 안정성으로 해석할 수 있다. 오른쪽 그림은 이동 속도를 비교한 것입니다. GNSS 수신기에 기록된 데이터는 파란색으로 표시되고, 트랙터 속도계에 기록된 속도는 주황색으로 표시됩니다. 1.2개의 경로 모두에서 GNSS 수신기와 트랙터의 속도계에 의해 기록된 이동 속도는 매우 유사하여 RMSE가 XNUMXm/s에 불과합니다. 이는 자동 속도 제어 시스템이 자동 항해를 수행할 만큼 정확하다는 것을 보여줍니다. 결과는 XNUMXm/s의 테스트에서도 유사했습니다.
또한 AutoRunHub 프레임워크는 원격 데스크탑 제어, 장애물 센서, GeoMation 및 네트워크 협력 차량 제어 기능과 같은 여러 외부 시스템에서 동시에 잘 작동한다는 것을 발견했습니다. 특히, 네트워크 협력 차량 제어 기능이 AutoRunHub에게 네트워크 정체로 인해 정지하라고 지시한 후 정체가 해소되었음을 감지하면 AutoRunHub는 설계된 대로 사람의 조작에 의해 GeoMation의 Go 신호를 적절하게 기다렸습니다.
6. 결론
원격 모니터링 및 제어를 통한 농기계의 완전한 자율주행을 달성하기 위해 해결해야 할 주요 과제를 파악하고, IOWN에서 협동 인프라 플랫폼 개념을 기반으로 통합 아키텍처를 설계하고, 구성 요소 기술을 개발 및 통합했습니다. 그리고 현장 실험을 통해 개발된 부품 기술이 적용된 아키텍처가 농기계의 완전 자율주행에 적용될 수 있음을 평가했습니다. 무선 네트워크 품질 예측과 E2E 오버레이 네트워크의 결합으로 안정적인 원격 모니터링을 위한 원활한 네트워크 전환을 구현했습니다. 인간 감지 및 네트워크 협력 차량 제어를 갖춘 다층 안전 시스템은 기존 안전 메커니즘이나 원격 모니터링이 제대로 작동하지 않는 경우에도 안전을 보장할 수 있음을 보여주었습니다. 또한 기존 RTK-GNSS 포지셔닝 시스템을 충분한 정확도로 보완하기 위한 포지셔닝 메커니즘으로 머신 비전을 적용할 수 있음을 보여주었습니다. 또한 트랙터 자율제어 시스템은 안전한 작동을 보장하기 위한 다양한 외부 시스템을 통해 실제 현장에서 특정 유형의 트랙터에 대해 적절하고 정확하게 작동하는 것으로 입증되었습니다.
감사의
우리의 실험은 현장 실험을 위해 지역 BWA 네트워크와 농장 도로를 사용하는 맥락에서 이와미자와시와 니시야우치 농장의 큰 지원을 받았습니다.
참고문헌
[1] Ministry of Agriculture, Forestry and Fisheries, “Promotion of smart agriculture,” Ministry of Agriculture, Forestry and Fisheries, https://www.maff.go.jp/e/policies/tech_res/smaagri/attach/pdf/robot-1.pdf, accessed April 23. 2021.
URL
[2] Ministry of Agriculture, Forestry and Fisheries, “Guidelines for ensuring safety regarding automatic driving of agricultural machinery,” Ministry of Agriculture, Forestry and Fisheries, https://www.maff.go.jp/j/kanbo/smart/attach/pdf/gl210326.pdf, accessed April 23. 2021 (in Japanese).
URL
[3] Y. Kikuchi, “Risk analysis of highly automated agricultural machinery and development of safety requirements for machine and use,” Journal of the Japanese Society of Agricultural Machinery and Food Engineers, vol.81, no.5, pp.284–288, 2019 (Written in Japanese.)
[4] J. Sawada, M. Ii, and K. Kawazoe, IOWN: Beyond the Internet (English Edition), NTT Publishing, Tokyo, 2020.
[5] A. Ford, C. Raiciu, M. Handley, O. Bonaventure, and C. Paasch, “TCP extensions for multipath operation with multiple addresses,” Internet Engineering Task Force, RFC 8684, accessed April 26. 2021.
CrossRef
[6] R.R. Stewart, “Stream control transmission protocol,” Internet Engineering Task Force, RFC 4960, accessed April 26. 2021.
URL
[7] N. Noguchi, “Agricultural vehicle robot,” J. Robot. Mechatron., vol.30, no.2, pp.165–172, 2018.
CrossRef
[8] NTT Corporation, “Multi-wireless proactive control technology Cradio,” https://www.ansl.ntt.co.jp/ja/research/movie10_cradio.html, accessed April 26. 2021 (in Japanese).
URL
[9] K. Wakao, K. Kawamura, and T. Moriyama, “Quality-prediction technology for optimal use of multiple wireless access networks,” NTT Technical Review, vol.18, no.6, pp.17–20, June 2020.
[10] K. Wakao, S. Nakayama, K. Kawamura, T. Moriyama, and Y. Takatori, “Wireless communication prediction for base station selection in multiple wireless network system,” Proc. IEICE Gen. Conf. ’2020, online, B-5-120, March 2020 (in Japanese).
[11] J. Redmon and A. Farhadi, “YOLOv3: An incremental improvement,” arXiv:1804.02767, 2018.
URL
[12] T.-Y. Lin, M. Maire, S. Belongie, L. Bourdev, R. Girshick, J. Hays, P. Perona, D. Ramanan, C.L. Zitnick, and P. Dollár, “Microsoft COCO: Common objects in context,” arXiv:1405.0312v3, 2015.
URL
[13] A. Geiger, P. Lenz, C. Stiller, and R. Urtasun, “Vision meets robotics: The KITTI dataset,” International Journal of Robotics Research, vol.32, no.11, Sept. 2013. DOI: 10.1177/0278364913491297
CrossRef
[14] M. Everingham, L. Van Gool, C.K.I. Williams, J. Winn, and A. Zisserman, “The pascal visual object classes (VOC) challenge,” Int. J. Comput. Vision, vol.88, no.2, pp.303–338, June 2010. DOI:10.1007/s11263-009-0275-4
CrossRef
[15] H. Caesar, V. Bankiti, A.H. Lang, S. Vora, V.E. Liong, Q. Xu, A. Krishnan, Y. Pan, G. Baldan, and O. Beijbom, “nuScenes: A multimodal dataset for autonomous driving,” arXiv:1903.11027v5, May. 2020.
URL
[16] T. Tsubaki, R. Ishibashi, and T. Kuwahara, “A study of remote monitoring support for self-driving car on the basis of network jitter,” Proc. IEICE Gen. Conf. ’2021, online, B-5-20, March 2021 (in Japanese).
[17] Hitachi Solutions, Ltd., “Enterprise geographical information system GeoMation,” https://www.hitachi-solutions.com/pdf/geomation.pdf, accessed April 24. 2021.
URL
[18] Kubota Corporation, “Agri Robo MR1000A,” https://agriculture. kubota.co.jp/product/tractor/agrirobo_mr1000a/lineup/index-pc.html, accessed April 24. 2021.
URL
[19] JK Imaging Ltd., “KODAK PIXPRO 4KVR360 360° VR CAMERA,” https://kodakpixpro.com/docs/manuals/vrcamera/4kvr360/ 4KVR360-specs-web.pdf, accessed April 24. 2021.
URL
[20] Axis Communications AB., “AXIS P1378-LE network camera,” https://www.axis.com/products/axis-p1378-le, accessed April 24. 2021.
URL
[21] WITH Networks Ltd., “Ipsim prepaid,” https://ipsim.net/biz/plans/prepaid.html, accessed April 24. 2021 (in Japanese).
URL
[22] NEC Platforms, Ltd., “LTE mobile router aterm MR05LN,” https://www.aterm.jp/product/atermstation/product/mobile/mr05ln/, accessed April 24. 2021 (in Japanese).
URL
[23] NTT Docomo Inc., “Wi-Fi STATION SH-52A,” https://www.nttdocomo.co.jp/product/sh52a/, accessed April 24. 2021 (in Japanese).
URL
[24] Hamanasu Information Co., Ltd., “Hamanasu BWA service,” https://hamanasu-bwa.com/, accessed April 24. 2021 (in Japanese).
URL
[25] Cathay Tri-Tech., Inc., “LTE/3G module equipped programmable cellular router CTL-201JC,” http://www.cathay.jp/product/m2m/ctl-201jc_ctl-201je.html, accessed April 24. 2021 (in Japanese).
URL
[26] NTT DOCOMO Inc., “Access premium,” https://www.nttdocomo.co.jp/biz/service/premium_lte/, accessed April 24. 2021 (in Japanese).
URL