검색 기능은 준비 중입니다.
검색 기능은 준비 중입니다.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

Recurrent Neural Network Compression Based on Low-Rank Tensor Representation 하위 텐서 표현을 기반으로 한 순환 신경망 압축

Andros TJANDRA, Sakriani SAKTI, Satoshi NAKAMURA

  • 조회수

    0

  • 이것을 인용

요약 :

RNN(Recurrent Neural Network)은 시간 및 순차 데이터와 관련된 다양하고 복잡한 작업에서 많은 최첨단 성능을 달성했습니다. 그러나 대부분의 RNN에는 훈련 및 추론 단계 모두에 많은 계산 능력과 엄청난 수의 매개 변수가 필요합니다. CANDECOMP/PARAFAC(CP), Tucker 분해 및 Tensor Train(TT)과 같은 여러 텐서 분해 방법이 포함되어 GRU(Gated Recurrent Unit) RNN을 다시 매개변수화합니다. 먼저, 다양한 수의 매개변수를 사용하여 시퀀스 모델링 작업에 대한 모든 텐서 기반 RNN 성능을 평가합니다. 실험 결과에 따르면 TT-GRU는 다른 분해 방법에 비해 다양한 매개 변수에서 최상의 결과를 얻었습니다. 나중에 우리는 제안된 TT-GRU를 음성 인식 작업으로 평가합니다. 우리는 DeepSpeech2 아키텍처 내에서 양방향 GRU 레이어를 압축했습니다. 실험 결과를 바탕으로 제안한 TT 형식 GRU는 압축되지 않은 GRU에 비해 ​​GRU 매개 변수 수를 크게 줄이면서 성능을 유지할 수 있습니다.

발행
IEICE TRANSACTIONS on Information Vol.E103-D No.2 pp.435-449
발행일
2020/02/01
공개일
2019/10/17
온라인 ISSN
1745-1361
DOI
10.1587/transinf.2019EDP7040
원고의 종류
PAPER
범주
음악정보처리

작성자

Andros TJANDRA
  Nara Institute of Science and Technology,RIKEN, Center for Advanced Intelligence Project AIP
Sakriani SAKTI
  Nara Institute of Science and Technology,RIKEN, Center for Advanced Intelligence Project AIP
Satoshi NAKAMURA
  Nara Institute of Science and Technology,RIKEN, Center for Advanced Intelligence Project AIP

키워드