블로그 글 추가: 2026-05-26-tlx-block-attention-a-warp-specialized-blackwell-kernel-for-fixed-block-sparse-self-attention, TLX Block Attention: 고정 블록 희소 셀프 어텐션을 위한 워프 특화 Blackwell 커널

[9bow]

번역 글 소개

• 원문: https://pytorch.org/blog/tlx-block-attention-a-warp-specialized-blackwell-kernel-for-fixed-block-sparse-self-attention/
• 저자: Jake Siso, Dev (Devashish) Shankar, Jackie (Jiaqi) Xu, Jacky Zhou, Darren Liu, Han Xu, Yasmine Badr, Dan Chanpuriya, Hongtao Yu, Max Leung
• 카테고리: pytorch.org, translation

TLX Block Attention: 고정 블록 희소 셀프 어텐션을 위한 워프 특화 Blackwell 커널 번역 글을 추가합니다.

NVIDIA Blackwell GPU를 겨냥한 Triton 커널인 TLX Block Attention의 설계를 소개합니다. 블록 대각(block-diagonal) 어텐션 패턴을 컴파일 시점에 알고 있다는 점을 활용해, Flash Attention이 임의 길이 시퀀스를 위해 유지하던 다중 타일 반복·온라인 소프트맥스 보정·로그섬익스프 저장·보조 커널 실행 같은 오버헤드를 통째로 제거합니다. 그 결과 B200 GPU에서 순전파 약 1.85배, 역전파 약 2.50배의 속도 향상을 얻고, 회전 임베딩을 역전파 에필로그에 융합해 합산 역전파에서 약 3.5배 속도 향상과 더 높은 수치 정확도를 동시에 달성합니다.

TLX 프리미티브를 활용한 워프 특화 파이프라인 구조(순전파 15워프·역전파 20워프), 가변 길이 시퀀스를 위한 지속 커널 스케줄링, 융합 회전 임베딩 역전파의 설계를 다룹니다.

[github-actions]

PR Preview

미리보기가 삭제되었습니다.

PR이 닫혀 미리보기가 자동으로 정리되었습니다.