Рет қаралды 7,565
발표자 : 석사과정 천재원
1. 논문 제목: Mamba: Linear-Time Sequence Modeling with Selective State Spaces
2. 논문 링크: arxiv.org/abs/...
3. 인용 수: 143회 (~2024.3.31)
4. 논문 Overview:
- Structured SSM 계열의 연구로, Selectivity에 대한 컴포넌트를 추가함으로써 높은 수준의 성능 향상을 이끌어 냄
- Hardware-aware Computation(Scan)을 사용하여 빠르게 Recurrence를 계산
- Language Modelling의 헤게모니인 Transformer에 비견될 정도의 성능을 보여줌