Тема: видеопамять

Железо: почему для ИИ нужны видеокарты

Инференс языковой модели — это умножение матриц, упирающееся не в арифметику, а в пропускную способность видеопамяти. Чем GPU отличается от CPU, сколько памяти требует …