[논문소식] 알파텐서 (AlphaTensor)



제목 : Discovering faster matrix multiplication algorithms with reinforcement learning
링크 : https://www.nature.com/articles/s41586-022-05172-4

요약 

구글 딥마인드에서 nature에 퍼블리시한 논문이며 2022.10.05에 공개됨. RL알고리즘 활용으로 행렬곱 연산속도 개선함. 기존 Strassen algorithm과 같이 행렬곱을 특정한 방법으로 잘게 나누어 약간의 계산복잡도 개선을 가능하게 하는 알고리즘이 존재하였음. 이러한 알고리즘의 구조를 발견하는 것은 굉장히 어려운 일인데 RL알고리즘(sampled alphazero기반)을 활용해 탐색하여 기존 알고리즘보다 더 좋은 구조를 발견할 수 있었음. 

Reward식 수정(실행시간 관련)을 통해서 하드웨어(GPU, TPU 각각)에 적합하게 최적화하는 것이 가능함.

Torso는 tensor, scalar정보들을 policy head에서 받아들이기 적합하게끔 표현을 해주는 역할을 함. Transformer가 활용됨.

Policy head 또한 transformer가 응용된 구조임.

아래는 Discussion일부 인용하였음.

"One important strength of AlphaTensor is its flexibility to support complex stochastic and non-differentiable rewards (from the tensor rank to practical efficiency on specific hardware), in addition to finding algorithms for custom operations in a wide variety of spaces (such as finite fields). We believe this will spur applications of AlphaTensor towards designing algorithms that optimize metrics that we did not consider here, such as numerical stability or energy usage."

"We also note that our methodology can be extended to tackle related primitive mathematical problems, such as computing other notions of rank (for example, border rank—see Supplementary Information), and NP-hard matrix factorization problems (for example, non-negative factorization)."



댓글

가장 많이 본 글

구글 람다(LaMDA)란? - 구글의 언어 모델

알파고 강화학습 원리

버텍스 AI란? - 구글 인공지능 플랫폼

카타고와 바둑 두어보기

뉴럴 네트워크란?

블로그 글 목록

뉴럴 네트워크를 학습시키는 방법