SynJax: JAX를 위한 구조화된 확률 분포

초록

딥러닝 소프트웨어 라이브러리의 발전은 사용자가 모델링에 집중할 수 있게 함으로써 해당 분야에서 상당한 진전을 이끌었으며, 라이브러리가 현대 하드웨어 가속기를 위한 실행 최적화라는 지루하고 시간 소모적인 작업을 처리하도록 했습니다. 그러나 이는 Transformer와 같이 기본 연산이 벡터화된 계산에 쉽게 매핑되는 특정 유형의 딥러닝 모델에만 혜택을 주었습니다. 트리나 세그멘테이션과 같은 구조화된 객체를 명시적으로 고려하는 모델들은 벡터화된 형태로 구현하기 어려운 맞춤형 알고리즘이 필요하기 때문에 동일한 혜택을 받지 못했습니다. SynJax는 이러한 문제를 직접 해결하기 위해 정렬, 태깅, 세그멘테이션, 구성 트리, 스패닝 트리를 포함한 구조화된 분포에 대한 추론 알고리즘의 효율적인 벡터화 구현을 제공합니다. SynJax를 사용하면 데이터의 구조를 명시적으로 모델링하는 대규모 미분 가능 모델을 구축할 수 있습니다. 코드는 https://github.com/deepmind/synjax에서 확인할 수 있습니다.

English

The development of deep learning software libraries enabled significant progress in the field by allowing users to focus on modeling, while letting the library to take care of the tedious and time-consuming task of optimizing execution for modern hardware accelerators. However, this has benefited only particular types of deep learning models, such as Transformers, whose primitives map easily to the vectorized computation. The models that explicitly account for structured objects, such as trees and segmentations, did not benefit equally because they require custom algorithms that are difficult to implement in a vectorized form. SynJax directly addresses this problem by providing an efficient vectorized implementation of inference algorithms for structured distributions covering alignment, tagging, segmentation, constituency trees and spanning trees. With SynJax we can build large-scale differentiable models that explicitly model structure in the data. The code is available at https://github.com/deepmind/synjax.

SynJax: JAX를 위한 구조화된 확률 분포

SynJax: Structured Probability Distributions for JAX

초록

Support