(yet) Implmentation of Distributed Attention (DS-Ulysses)
10 Sep 2024< 목차 >
이번 post에서는 Deepspeed Ulysses (DS-Ulysses)의 Official Implementation 대해 살펴보고 분석하는 것이 목적이다. (Ring attention은 다른데서 다루겠다)
< 목차 >
이번 post에서는 Deepspeed Ulysses (DS-Ulysses)의 Official Implementation 대해 살펴보고 분석하는 것이 목적이다. (Ring attention은 다른데서 다루겠다)