«Ориентация на оборудование одного производителя постепенно перестаёт быть оптимальным решением для ИИ-инфраструктуры. Для российских компаний важно не только обеспечить доступность вычислительных мощностей, но и разумно управлять затратами на них. Альтернативные ускорители уже могут быть выгоднее NVIDIA для отдельных задач, особенно при запуске моделей, работающих с документами и корпоративными базами знаний. Однако оценивать нужно не только стоимость оборудования и его производительность, но и все затраты на адаптацию программного обеспечения, энергопотребление и дальнейшую эксплуатацию», — отметил Владимир Нелюб, управляющий партнёр «Астра ИИ», директор по науке и ИИ «Группы Астра».
Речь идёт не о полной замене, а о смешанном парке: сверхбольшие модели обучаются и запускаются на NVIDIA, а вспомогательные сервисы и часть запросов переносятся на альтернативные ускорители — это позволяет наращивать мощности при дефиците. Отдельный риск — попасть в новую зависимость от ограниченного круга поставщиков; снизить его помогает распределение нагрузок между платформами разных производителей.
«Основная сложность перехода на альтернативные ускорители сегодня связана с программным обеспечением. Различия в драйверах, библиотеках и инструментах разработки могут потребовать серьёзной адаптации и свести на нет первоначальную экономию. Поэтому наиболее перспективным мы считаем использование оборудования разных производителей в единой инфраструктуре, где вычислительные задачи распределяются с учётом возможностей и стоимости каждого типа ускорителей. Для заказчика в конечном счёте важно не то, на каком оборудовании работает ИИ, а насколько эффективно, надёжно и с какими затратами он решает бизнес-задачи», — подчеркнул Нелюб.