검색 기능은 준비 중입니다.
검색 기능은 준비 중입니다.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

Skew-Aware Collective Communication for MapReduce Shuffling MapReduce 셔플링을 위한 왜곡 인식 집단 통신

Harunobu DAIKOKU, Hideyuki KAWASHIMA, Osamu TATEBE

  • 조회수

    0

  • 이것을 인용

요약 :

본 논문에서는 왜곡된 데이터로 인해 발생하는 MapReduce 셔플링 문제를 해결하기 위해 고안된 세 가지 인메모리 셔플링 방법을 제안하고 검토합니다. CSA(Coupled Shuffle Architecture)는 단일 쌍 전체 교환을 사용하여 해당 블록의 메타데이터가 포함된 두 블록, 셔플 전송 단위 및 메타 블록을 모두 섞습니다. 분리된 셔플 아키텍처(DSA)는 메타 블록과 블록의 셔플링을 분리하고 각 셔플링 프로세스에 서로 다른 전체 교환 알고리즘을 적용하여 심하게 편향된 분포에서 낙오자의 영향을 완화하려고 시도합니다. Skew-Aware Meta-Shuffle(SMS 포함 DSA)을 갖춘 분리된 Shuffle 아키텍처는 각 작업자 프로세스의 메모리 소비를 기반으로 블록의 적절한 배치를 자동으로 결정합니다. 이 접근 방식은 일부 작업자 프로세스가 노드 메모리 제한을 초과할 수 있는 극도로 왜곡된 상황을 대상으로 합니다. 이 연구에서는 InfiniBand 및 Intel Omni-Path와 같은 고성능 상호 연결을 사용하는 프로토타입 인메모리 MapReduce 엔진에서 세 가지 셔플링 방법의 구현을 평가합니다. 우리의 결과는 SMS가 포함된 DSA가 극도로 편향된 데이터 배포에 대한 유일하게 실행 가능한 솔루션임을 시사합니다. 또한 다양한 왜곡 상황에서 CSA 및 DSA의 성능에 대한 자세한 조사를 제시합니다.

발행
IEICE TRANSACTIONS on Information Vol.E102-D No.12 pp.2389-2399
발행일
2019/12/01
공개일
2019/07/29
온라인 ISSN
1745-1361
DOI
10.1587/transinf.2019PAP0019
원고의 종류
Special Section PAPER (Special Section on Parallel and Distributed Computing and Networking)
범주
컴퓨터 시스템

작성자

Harunobu DAIKOKU
  University of Tsukuba
Hideyuki KAWASHIMA
  Keio University
Osamu TATEBE
  University of Tsukuba

키워드