В Sony обратили внимание на сетевую топологию.
Гонконгские ученые ранее отчитались о том, что сумели сократить время обучения нейросети ResNet-50 до 6,6 минуты. Их рекорд продержался недолго — японцы улучшили показатель до 224 секунд.
Об этом пишет Хроника.инфо со ссылкой на internetua.com.
Для исследователей и инженеров время обучения нейросети — важный показатель, особенно в случае масштабных проектов. Возможности оптимизации этого процесса ищут команды специалистов в разных частях мира. В Sony нашли способ, который делает обучение на 43,4% эффективнее, пишет Synced.
В эксперименте исследователи работали с алгоритмом ResNet-50, который обучался распознаванию изображений на базе ImageNet. Чтобы повысить эффективность, японские инженеры оптимизировали передачу данных, объединяя маленькие пакеты (так же делали из коллеги в Гонконге). Кроме того, в Sony обратили внимание на сетевую топологию.
Они создали сеть 2D-Torus (двухмерный тор), состоящую из горизонтальных и вертикальных сетей типа «кольцо». Именно работа с сетевой топологией позволила значительно увеличить скорость обучения.
Читайте также: Семилетняя украинка установила впечатляющий рекорд
Сначала исследователи использовали 2176 графических процессоров Tesla V100 для обучения ResNet-50 и добились точности в 75,03%. Затем благодаря масштабируемости полученной системы они смогли повысить точность до 91,62% при использовании 918 процессоров Tesla V100.