Технология обработки данных в процессе глубинного обучения
09.12.2016
18 августа текущего года в Японии, компания Fujitsu рассказала о новой разработке, которая включает в себя графические процессоры: Graphics Processing Unit и GPU, чтобы воплотить в жизнь высокоскоростное глубинное обучение. Под глубинным обучением подразумевается технология, которая наглядно демонстрирует высокую точность распознавания в сравнении с предыдущими аналогами. Чтобы обеспечить такую точность необходимо постоянно мониторить большой массив данных. Для этой роли использовались процессоры, которые больше подходят для проведения высокоскоростных операций. Если необходимо ускорить глубинное обучение, используется несколько ПК с мощными графическими процессорами GPU. Они не только объединяются в сеть, но и функционируют вместе. Основной недостаток состоит в том, что при подключении более 10 таких машин, время обмена данными между ПК возрастает. Компания Fujitsu представила новую систему, которая полностью устраняет эту проблему. Технология была успешно протестирована на базе платформы Caffe. В процессе тестирования, было установлено время обучения при помощи сети компьютеров с 64 GPU и AlexNet1. В итоге, новинка показала скорость обучения, которая в 27 раз больше, чем функционировании одного ПК с 1-им GPU. Специалисты увеличили скорость обучения для сети с 16 GPU на 46 процентов и для 64 GPU на 71 процент. Это рекордная скорость обработки данных на сегодняшний день.
Сотрудники Fujitsu увеличили скорость обработки данных, внедрив 2 системы.
1. Очередность обмена данными.
Благодаря этой технологии, приоритет обмена данными исполняется в автоматическом режиме. Существенно сократилось время ожидания при обработке задач 1-го и 2-го уровня.
2. Технология, которая настраивает рабочие операции под размеры данных.
Во время обработки небольшого объема данных, когда результат операции передается каждому ПК, каждый компьютер обменивается данными. За счет этого, скорость получения и передачи информации возрастает в несколько раз. При передаче большого объема данных, система производит анализ в автоматическом режиме, расставляя приоритеты. Такая система существенно увеличивает скорость работы в целом.
Новинку можно применить для глубинного обучения нейронных сетей, при разработке «умных» автомобилей и роботов. Система может быть внедрена в сферу здравоохранения, финансов. Компания Fujitsu уже в конце текущего года планирует получать неплохие дивиденды при интеграции разработки в проект ИИ - Human Centric AI Zinrai.