Packs de serveurs Edge AI dans un processeur Cortex-A72 16 cœurs plus jusqu'à 32 SoC i.MX8M et 128 NPU – Serveur d’impression

Le «serveur d'inférence Janux GS31 AI» de SolidRun exécute Linux sur son module CEx7 LX2160A de type 7 équipé du NXP Cortex-A72 LX2160A à 16 cœurs. Le système fournit également jusqu'à 32 SoC i.MX8M pour la vidéo et jusqu'à 128 NPU Grylfalcon Lightspeeur 2803 via plusieurs modules «Snowball».

Lorsque les gens parlent de serveurs AI de périphérie, ils peuvent faire référence à certains des systèmes embarqués haut de gamme que nous couvrons régulièrement ici à LinuxGizmos ou peut-être à quelque chose de plus semblable à un serveur tel que le facteur de forme en rack de SolidRun, Janux GS31 AI Inference Server. Le système dépasserait généralement les limites supérieures de notre couverture de produits, mais c'est une bestiole particulièrement intrigante. Le Janux GS31 est basé sur un module SolidRun CEx7 LX2160A COM Express Type 7, qui alimente également la carte réseau SolidRun HoneyComb LX2K que nous avons couverte en juin.

Serveur d'inférence Janux GS31 AI
(cliquez sur l'image pour agrandir)

En plus de ce module CPU, le Janux GS31 intègre jusqu'à 4x modules «Snowball», chacun avec 8x SoC NXP i.MX8M, un PolarFire MPF200T FPGA et jusqu'à 32 NPU Gyrfalcon Lightspeeur SPR2803. Ceux-ci se combinent pour créer un sous-système de traitement de la vision avec jusqu'à 32 SoC i.MX8M et 128 NPU qui prend en charge le «transcodage à latence ultra faible et l'analyse vidéo» sur jusqu'à 128 canaux de vidéo 1080p60. Les applications comprennent la surveillance des villes intelligentes, des infrastructures, la vidéosurveillance intelligente d'entreprise / industrielle, la détection, la reconnaissance et la classification d'objets et l'analyse visuelle intelligente.

SolidRun n'avait pas d'annonce, de prix ou de disponibilité pour le serveur Janux GS31 AI «à venir bientôt» – ce que, avouons-le, vous ne pourriez probablement pas vous permettre de toute façon. Cependant, CNXSoft a repéré une page de produit avec des détails substantiels.

HoneyComb LX2K avec CEx7 LX2160A

Le CEx7 LX2160A, qui est maintenant disponible séparément, commence à 550 $. Le module Type 7 est construit autour du SoC NXP sans tête, jusqu'à 2,0 GHz, 16 cœurs Cortex-A72 Layerscape LX2160A. Il y a également 64 Go de DDR4 double canal. Il est difficile de savoir si le Janux GS31 propose l’eMMC jusqu’à 64 Go en option.

SolidRun n'a pas encore publié les spécifications du module Snowball, mais la liste des spécifications et le schéma de principe du Janux GS31 aident à combler les lacunes. La Snowball incorpore le NXP milieu de gamme largement déployé i.MX8M, un SoC Cortex-A53 quad-core jusqu'à 1,5 GHz avec un MCU Cortex-M4 et un GPU Vivante GC7000 Lite prêt pour la 3D avec prise en charge 4K.

Chacun des 4x modules Snowball propose 4x SoC i.MX8M, qui est le plus grand clustering d'un SoC i.MX que nous ayons jamais vu. SolidRun déploie également l'i.MX8M sur son i.MX8 SOM et HummingBoard Pulse SBC.

Schéma fonctionnel du Janux GS31
(cliquez sur l'image pour agrandir)

Chaque module Snowball fournit également 32 puces d'accélérateur neuronal Lightspeeur SPR2803 (ou Lightspeeur 2803) de Gyrfalcon Technology, Inc (GTI). SolidRun utilise le NPU sur son Mini SOM i.MX 8M, qui est également disponible sur le HummingBoard Pulse.

Sur le Janux GS31, le Lightspeeur 2803 est répertorié comme offrant 2150 opérations par seconde à 300 MHz. Selon la page du produit GTI, le 2803 fonctionne à 24 TOPS / W par puce, avec des performances de pointe optimales à 16,8 TOP à 300 MHz et un mode basse consommation de 16,8 TOP à 700 mW. Le module Snowball prend en charge les infrastructures d'IA, notamment TensorFlow, Caffe et PyTorch, et les réseaux d'IA, notamment VGG, ResNet et MobileNet.

Comme le schéma fonctionnel décrit chaque module comme ayant deux blocs de 16 NPU, il est possible que SolidRun utilise Gainboard 2803 de GTI, une carte accélératrice PCIe orientée serveur avec 16 NPU Lightspeeur 2803. GTI propose également un NPU Lightspeeur 2801S de plus faible puissance, utilisé sur la clé USB Orange Pi 4B SBC et Orange Pi AI Stick Lite de Shenzhen Xunlong.

Enfin, les modules Snowball fournissent le microprocesseur Microemi PolarFire MPF200T de Microchip, un PolarFire de milieu de gamme avec 192K éléments logiques. Des commutateurs PCIe doubles se trouvent également sur le module.

Le serveur d'inférence Janux GS31 AI est en outre équipé d'un seul GbE, de 2 SFP + 10 GbE, de 2 hôtes USB et d'un port micro-USB. Le schéma de principe montre également un socket de bord PCIe x16, qui peut être utilisé pour connecter les cartes Snowball et peut donc ne pas être disponible. Il existe également une quantité non spécifiée de stockage NVMe via une prise M.2 2280/22110, ainsi qu'un écran OLED.

Le système de montage en rack 1U mesure 500 x 445 x 43,5 mm et consomme un maximum de 900 W via une alimentation 100-240 V. Même avec 8 ventilateurs contrôlés par PWM, la plage de fonctionnement est étroite de 10 à 35 ° C et la résistance à l'humidité relative sans condensation de 20% à 80%.

Plus d'informations

Aucune information de prix ou de disponibilité n'a été fournie pour le serveur d'inférence Janux GS31 AI. Plus d'informations peuvent être trouvées sur la page produit de SolidRun.