[bzkshopping keyword= »Minecraft » count= »8″ template= »grid »]
"},{"id":"text-2","type":"text","heading":"","plain_text":"À mesure que les modèles d'apprentissage automatique et d'apprentissage en profondeur deviennent plus sophistiqués, une accélération matérielle est de plus en plus nécessaire pour fournir des prédictions rapides à haut débit. Aujourd'hui, nous sommes très heureux d'annoncer que les clients AWS peuvent désormais utiliser les instances Amazon EC2 Inf1 sur Amazon ECS, pour des performances élevées et le coût de prédiction le plus bas dans le cloud. Depuis quelques semaines maintenant, ces instances sont également disponibles sur Amazon Elastic Kubernetes Service.\nPrésentation des instances EC2 Inf1Les instances Inf1 ont été lancées à AWS re: Invent 2019. Elles sont alimentées par AWS Inferentia, une puce personnalisée conçue à partir de zéro par AWS pour accélérer les charges de travail d'inférence de machine learning.\nLes instances Inf1 sont disponibles en plusieurs tailles, avec 1, 4 ou 16 puces AWS Inferentia, avec une bande passante réseau jusqu'à 100 Gbit / s et une bande passante EBS jusqu'à 19 Gbit / s. Une puce AWS Inferentia contient quatre NeuronCores. Chacun implémente un moteur de multiplication matricielle systolique haute performance, qui accélère massivement les opérations typiques d'apprentissage en profondeur telles que la convolution et les transformateurs. Les NeuronCores sont également équipés d'un grand cache sur puce, ce qui permet de réduire les accès à la mémoire externe, économisant ainsi du temps d'E / S dans le processus. Lorsque plusieurs puces AWS Inferentia sont disponibles sur une instance Inf1, vous pouvez partitionner un modèle entre elles et le stocker entièrement dans la mémoire cache. Alternativement, pour diffuser des prédictions multi-modèles à partir d'une seule instance Inf1, vous pouvez partitionner les NeuronCores d'une puce AWS Inferentia sur plusieurs modèles.\nCompilation de modèles pour les instances EC2 Inf1Pour exécuter des modèles de machine learning sur des instances Inf1, vous devez les compiler en une représentation optimisée pour le matériel à l'aide du kit SDK AWS Neuron. Tous les outils sont facilement disponibles sur l'AMI AWS Deep Learning et vous pouvez également les installer sur vos propres instances. Vous trouverez des instructions dans la documentation AMI Deep Learning, ainsi que des didacticiels pour TensorFlow, PyTorch et Apache MXNet dans le référentiel AWS Neuron SDK.\nDans la démo ci-dessous, je vais vous montrer comment déployer un modèle optimisé pour Neuron sur un cluster ECS d'instances Inf1 et comment servir des prédictions avec TensorFlow Serving. Le modèle en question est BERT, un modèle de pointe pour les tâches de traitement du langage naturel. C'est un modèle énorme avec des centaines de millions de paramètres, ce qui en fait un excellent candidat pour l'accélération matérielle.\nCréation d'un cluster Amazon ECSCréer un cluster est la chose la plus simple: il suffit d'un appel au CreateCluster API.\n$ aws ecs create-cluster - nom-cluster ecs-inf1-demo\nImmédiatement, je vois le nouveau cluster dans la console.","html":"À mesure que les modèles d'apprentissage automatique et d'apprentissage en profondeur deviennent plus sophistiqués, une accélération matérielle est de plus en plus nécessaire pour fournir des prédictions rapides à haut débit. Aujourd'hui, nous sommes très heureux d'annoncer que les clients AWS peuvent désormais utiliser les instances Amazon EC2 Inf1 sur Amazon ECS, pour des performances élevées et le coût de prédiction le plus bas dans le cloud. Depuis quelques semaines maintenant, ces instances sont également disponibles sur Amazon Elastic Kubernetes Service.\nPrésentation des instances EC2 Inf1Les instances Inf1 ont été lancées à AWS re: Invent 2019. Elles sont alimentées par AWS Inferentia, une puce personnalisée conçue à partir de zéro par AWS pour accélérer les charges de travail d'inférence de machine learning.\nLes instances Inf1 sont disponibles en plusieurs tailles, avec 1, 4 ou 16 puces AWS Inferentia, avec une bande passante réseau jusqu'à 100 Gbit / s et une bande passante EBS jusqu'à 19 Gbit / s. Une puce AWS Inferentia contient quatre NeuronCores. Chacun implémente un moteur de multiplication matricielle systolique haute performance, qui accélère massivement les opérations typiques d'apprentissage en profondeur telles que la convolution et les transformateurs. Les NeuronCores sont également équipés d'un grand cache sur puce, ce qui permet de réduire les accès à la mémoire externe, économisant ainsi du temps d'E / S dans le processus. Lorsque plusieurs puces AWS Inferentia sont disponibles sur une instance Inf1, vous pouvez partitionner un modèle entre elles et le stocker entièrement dans la mémoire cache. Alternativement, pour diffuser des prédictions multi-modèles à partir d'une seule instance Inf1, vous pouvez partitionner les NeuronCores d'une puce AWS Inferentia sur plusieurs modèles.\nCompilation de modèles pour les instances EC2 Inf1Pour exécuter des modèles de machine learning sur des instances Inf1, vous devez les compiler en une représentation optimisée pour le matériel à l'aide du kit SDK AWS Neuron. Tous les outils sont facilement disponibles sur l'AMI AWS Deep Learning et vous pouvez également les installer sur vos propres instances. Vous trouverez des instructions dans la documentation AMI Deep Learning, ainsi que des didacticiels pour TensorFlow, PyTorch et Apache MXNet dans le référentiel AWS Neuron SDK.\nDans la démo ci-dessous, je vais vous montrer comment déployer un modèle optimisé pour Neuron sur un cluster ECS d'instances Inf1 et comment servir des prédictions avec TensorFlow Serving. Le modèle en question est BERT, un modèle de pointe pour les tâches de traitement du langage naturel. C'est un modèle énorme avec des centaines de millions de paramètres, ce qui en fait un excellent candidat pour l'accélération matérielle.\nCréation d'un cluster Amazon ECSCréer un cluster est la chose la plus simple: il suffit d'un appel au CreateCluster API.\n$ aws ecs create-cluster - nom-cluster ecs-inf1-demo\nImmédiatement, je vois le nouveau cluster dans la console.
"},{"id":"text-3","type":"text","heading":"","plain_text":"Plusieurs prérequis sont nécessaires avant de pouvoir ajouter des instances à ce cluster:","html":"Plusieurs prérequis sont nécessaires avant de pouvoir ajouter des instances à ce cluster:
"},{"id":"text-4","type":"text","heading":"","plain_text":"Un rôle AWS Identity and Access Management (IAM) pour les instances ECS: si vous n'en avez pas déjà, vous pouvez trouver des instructions dans la documentation. Ici, mon rôle est nommé ecsInstanceRole.\nUne Amazon Machine Image (AMI) contenant l'agent ECS et prenant en charge les instances Inf1. Vous pouvez créer la vôtre ou utiliser l'AMI optimisée pour ECS pour Inferentia. Dans la région us-east-1, son identifiant est ami-04450f16e0cd20356.\nUn groupe de sécurité, ouvrant des ports réseau pour TensorFlow Serving (8500 pour gRPC, 8501 pour HTTP). L'identifiant du mien est sg-0994f5c7ebbb48270.\nSi vous souhaitez avoir un accès ssh, votre groupe de sécurité doit également ouvrir le port 22 et vous devez transmettre le nom d'une paire de clés SSH. Le mien s'appelle admin.","html":"Un rôle AWS Identity and Access Management (IAM) pour les instances ECS: si vous n'en avez pas déjà, vous pouvez trouver des instructions dans la documentation. Ici, mon rôle est nommé ecsInstanceRole.\nUne Amazon Machine Image (AMI) contenant l'agent ECS et prenant en charge les instances Inf1. Vous pouvez créer la vôtre ou utiliser l'AMI optimisée pour ECS pour Inferentia. Dans la région us-east-1, son identifiant est ami-04450f16e0cd20356.\nUn groupe de sécurité, ouvrant des ports réseau pour TensorFlow Serving (8500 pour gRPC, 8501 pour HTTP). L'identifiant du mien est sg-0994f5c7ebbb48270.\nSi vous souhaitez avoir un accès ssh, votre groupe de sécurité doit également ouvrir le port 22 et vous devez transmettre le nom d'une paire de clés SSH. Le mien s'appelle admin.
"},{"id":"text-5","type":"text","heading":"","plain_text":"Nous devons également créer un petit fichier de données utilisateur afin de permettre aux instances de rejoindre notre cluster. Ceci est réalisé en stockant le nom du cluster dans une variable d'environnement, elle-même écrite dans le fichier de configuration de l'agent ECS.\n#! / bin / bashecho ECS_CLUSTER = ecs-inf1-demo >> /etc/ecs/ecs.config\nNous sommes tous prêts. Ajoutons quelques instances Inf1 avec le RunInstances API. Pour minimiser les coûts, nous demanderons des instances Spot.\nInstances d'exécution $ aws ec2 --image-id ami-04450f16e0cd20356 --compte 2 --instance-type inf1.xlarge --instance-market-options '"MarketType": "spot"' --tag-specs 'ResourceType = instance, Tags =[Key=Name,Value=ecs-inf1-demo]' - nom-clé admin --security-group-ids sg-0994f5c7ebbb48270 --iam-instance-profile Nom = ecsInstanceRole - fichier de données utilisateur: // données-utilisateur.txt\nLes deux instances apparaissent immédiatement dans la console EC2.","html":"Nous devons également créer un petit fichier de données utilisateur afin de permettre aux instances de rejoindre notre cluster. Ceci est réalisé en stockant le nom du cluster dans une variable d'environnement, elle-même écrite dans le fichier de configuration de l'agent ECS.\n#! / bin / bashecho ECS_CLUSTER = ecs-inf1-demo >> /etc/ecs/ecs.config\nNous sommes tous prêts. Ajoutons quelques instances Inf1 avec le RunInstances API. Pour minimiser les coûts, nous demanderons des instances Spot.\nInstances d'exécution $ aws ec2 --image-id ami-04450f16e0cd20356 --compte 2 --instance-type inf1.xlarge --instance-market-options '"MarketType": "spot"' --tag-specs 'ResourceType = instance, Tags =[Key=Name,Value=ecs-inf1-demo]' - nom-clé admin --security-group-ids sg-0994f5c7ebbb48270 --iam-instance-profile Nom = ecsInstanceRole - fichier de données utilisateur: // données-utilisateur.txt\nLes deux instances apparaissent immédiatement dans la console EC2.
"},{"id":"text-6","type":"text","heading":"","plain_text":"Quelques minutes plus tard, ils sont prêts à exécuter des tâches sur le cluster.","html":"Quelques minutes plus tard, ils sont prêts à exécuter des tâches sur le cluster.
"},{"id":"text-7","type":"text","heading":"","plain_text":"Notre infrastructure est prête. Maintenant, construisons un conteneur stockant notre modèle BERT.\nCréation d'un conteneur pour les instances Inf1le Dockerfile est assez simple:","html":"Notre infrastructure est prête. Maintenant, construisons un conteneur stockant notre modèle BERT.\nCréation d'un conteneur pour les instances Inf1le Dockerfile est assez simple:
"},{"id":"text-8","type":"text","heading":"","plain_text":"À partir d'une image Amazon Linux 2, nous ouvrons les ports 8500 et 8501 pour le service TensorFlow.\nEnsuite, nous ajoutons le référentiel Neuron SDK à la liste des référentiels, et nous installons une version de TensorFlow Serving qui prend en charge AWS Inferentia.\nEnfin, nous copions notre modèle BERT à l'intérieur du conteneur, et nous le chargeons au démarrage.","html":"À partir d'une image Amazon Linux 2, nous ouvrons les ports 8500 et 8501 pour le service TensorFlow.\nEnsuite, nous ajoutons le référentiel Neuron SDK à la liste des référentiels, et nous installons une version de TensorFlow Serving qui prend en charge AWS Inferentia.\nEnfin, nous copions notre modèle BERT à l'intérieur du conteneur, et nous le chargeons au démarrage.
"},{"id":"text-9","type":"text","heading":"","plain_text":"Voici le dossier complet.\nDE AMAZONLINUX: 2EXPOSE 8500 8501RUN echo $ '[neuron] nname = Dépôt Neuron YUM nbaseurl = https: //yum.repos.neuron.amazonaws.com nenabled = 1 '> /etc/yum.repos.d/neuron.repoRUN rpm - import https://yum.repos.neuron.amazonaws.com/GPG-PUB-KEY-AMAZON-AWS-NEURON.PUBRUN yum install -y tensorflow-model-server-neuronCOPIER bert / bertCMD [\"/bin/sh\", \"-c\", \"/usr/local/bin/tensorflow_model_server_neuron --port=8500 --rest_api_port=8501 --model_name=bert --model_base_path=/bert/\"]\nEnsuite, je crée et pousse le conteneur vers un référentiel hébergé dans Amazon Elastic Container Registry. Affaires comme d'habitude.\n$ docker build -t neuron-tensorflow-inference.\n$ aws ecr create-repository - nom du référentiel ecs-inf1-demo\n$ aws ecr get-login-password | connexion docker --username AWS --password-stdin 123456789012.dkr.ecr.us-east-1.amazonaws.com\n$ balise docker neuron-tensorflow-inference 123456789012.dkr.ecr.us-east-1.amazonaws.com/ecs-inf1-demo:latest\n$ docker push\nMaintenant, nous devons créer une définition de tâche afin d'exécuter ce conteneur sur notre cluster.\nCréation d'une définition de tâche pour les instances Inf1Si vous n'en avez pas déjà, vous devez d'abord créer un rôle d'exécution, c'est-à-dire un rôle permettant à l'agent ECS d'effectuer des appels d'API en votre nom. Vous pouvez trouver plus d'informations dans la documentation. Le mien s'appelle ecsTaskExecutionRole.\nLa définition complète de la tâche est visible ci-dessous. Comme vous pouvez le voir, il contient deux conteneurs:","html":"Voici le dossier complet.\nDE AMAZONLINUX: 2EXPOSE 8500 8501RUN echo $ '[neuron] nname = Dépôt Neuron YUM nbaseurl = https: //yum.repos.neuron.amazonaws.com nenabled = 1 '> /etc/yum.repos.d/neuron.repoRUN rpm - import https://yum.repos.neuron.amazonaws.com/GPG-PUB-KEY-AMAZON-AWS-NEURON.PUBRUN yum install -y tensorflow-model-server-neuronCOPIER bert / bertCMD ["/bin/sh", "-c", "/usr/local/bin/tensorflow_model_server_neuron --port=8500 --rest_api_port=8501 --model_name=bert --model_base_path=/bert/"]\nEnsuite, je crée et pousse le conteneur vers un référentiel hébergé dans Amazon Elastic Container Registry. Affaires comme d'habitude.\n$ docker build -t neuron-tensorflow-inference.\n$ aws ecr create-repository - nom du référentiel ecs-inf1-demo\n$ aws ecr get-login-password | connexion docker --username AWS --password-stdin 123456789012.dkr.ecr.us-east-1.amazonaws.com\n$ balise docker neuron-tensorflow-inference 123456789012.dkr.ecr.us-east-1.amazonaws.com/ecs-inf1-demo:latest\n$ docker push\nMaintenant, nous devons créer une définition de tâche afin d'exécuter ce conteneur sur notre cluster.\nCréation d'une définition de tâche pour les instances Inf1Si vous n'en avez pas déjà, vous devez d'abord créer un rôle d'exécution, c'est-à-dire un rôle permettant à l'agent ECS d'effectuer des appels d'API en votre nom. Vous pouvez trouver plus d'informations dans la documentation. Le mien s'appelle ecsTaskExecutionRole.\nLa définition complète de la tâche est visible ci-dessous. Comme vous pouvez le voir, il contient deux conteneurs:
"},{"id":"text-10","type":"text","heading":"","plain_text":"Le conteneur BERT que j'ai construit,\nUn conteneur side-car appelé neurone-rtd, qui permet au conteneur BERT d'accéder aux NeuronCores présents sur l'instance Inf1. le AWS_NEURON_VISIBLE_DEVICES La variable d'environnement vous permet de contrôler ceux qui peuvent être utilisés par le conteneur. Vous pouvez l'utiliser pour épingler un conteneur sur un ou plusieurs NeuronCores spécifiques.","html":"Le conteneur BERT que j'ai construit,\nUn conteneur side-car appelé neurone-rtd, qui permet au conteneur BERT d'accéder aux NeuronCores présents sur l'instance Inf1. le AWS_NEURON_VISIBLE_DEVICES La variable d'environnement vous permet de contrôler ceux qui peuvent être utilisés par le conteneur. Vous pouvez l'utiliser pour épingler un conteneur sur un ou plusieurs NeuronCores spécifiques.
"},{"id":"text-11","type":"text","heading":"","plain_text":""famille": "ecs-neuron",\n "executionRoleArn": "arn: aws: iam :: 123456789012: role / ecsTaskExecutionRole",\n "containerDefinitions": [\n \n \"entryPoint\": [\n \"sh\",\n \"-c\"\n ],\n "portMappings": [\n \n \"hostPort\": 8500,\n \"protocol\": \"tcp\",\n \"containerPort\": 8500\n ,\n \n \"hostPort\": 8501,\n \"protocol\": \"tcp\",\n \"containerPort\": 8501\n ,\n \n \"hostPort\": 0,\n \"protocol\": \"tcp\",\n \"containerPort\": 80\n \n ],\n "commander": [\n \"tensorflow_model_server_neuron --port=8500 --rest_api_port=8501 --model_name=bert --model_base_path=/bert\"\n ],\n "cpu": 0,\n "environnement": [\n \n \"name\": \"NEURON_RTD_ADDRESS\",\n \"value\": \"unix:/sock/neuron-rtd.sock\"\n \n ],\n "mountPoints": [\n \n \"containerPath\": \"/sock\",\n \"sourceVolume\": \"sock\"\n \n ],\n "memoryReservation": 1 000,\n "image": "123456789012.dkr.ecr.us-east-1.amazonaws.com/ecs-inf1-demo:latest",\n "essentiel": vrai,\n "nom": "bert"\n ,\n \n "point d'accès": [\n \"sh\",\n \"-c\"\n ],\n "portMappings": [],\n "commander": [\n \"neuron-rtd -g unix:/sock/neuron-rtd.sock\"\n ],\n "cpu": 0,\n "environnement": [\n \n \"name\": \"AWS_NEURON_VISIBLE_DEVICES\",\n \"value\": \"ALL\"\n \n ],\n "mountPoints": [\n \n \"containerPath\": \"/sock\",\n \"sourceVolume\": \"sock\"\n \n ],\n "memoryReservation": 1 000,\n "image": "790709498068.dkr.ecr.us-east-1.amazonaws.com/neuron-rtd:latest",\n "essentiel": vrai,\n "linuxParameters": "capabilities": "add": [\"SYS_ADMIN\", \"IPC_LOCK\"] ,\n "nom": "neuron-rtd"\n \n ],\n "volumes": [\n \n \"name\": \"sock\",\n \"host\": \n \"sourcePath\": \"/tmp/sock\"\n \n \n ]","html":""famille": "ecs-neuron",\n "executionRoleArn": "arn: aws: iam :: 123456789012: role / ecsTaskExecutionRole",\n "containerDefinitions": [\n \n "entryPoint": [\n "sh",\n "-c"\n ],\n "portMappings": [\n \n "hostPort": 8500,\n "protocol": "tcp",\n "containerPort": 8500\n ,\n \n "hostPort": 8501,\n "protocol": "tcp",\n "containerPort": 8501\n ,\n \n "hostPort": 0,\n "protocol": "tcp",\n "containerPort": 80\n \n ],\n "commander": [\n "tensorflow_model_server_neuron --port=8500 --rest_api_port=8501 --model_name=bert --model_base_path=/bert"\n ],\n "cpu": 0,\n "environnement": [\n \n "name": "NEURON_RTD_ADDRESS",\n "value": "unix:/sock/neuron-rtd.sock"\n \n ],\n "mountPoints": [\n \n "containerPath": "/sock",\n "sourceVolume": "sock"\n \n ],\n "memoryReservation": 1 000,\n "image": "123456789012.dkr.ecr.us-east-1.amazonaws.com/ecs-inf1-demo:latest",\n "essentiel": vrai,\n "nom": "bert"\n ,\n \n "point d'accès": [\n "sh",\n "-c"\n ],\n "portMappings": [],\n "commander": [\n "neuron-rtd -g unix:/sock/neuron-rtd.sock"\n ],\n "cpu": 0,\n "environnement": [\n \n "name": "AWS_NEURON_VISIBLE_DEVICES",\n "value": "ALL"\n \n ],\n "mountPoints": [\n \n "containerPath": "/sock",\n "sourceVolume": "sock"\n \n ],\n "memoryReservation": 1 000,\n "image": "790709498068.dkr.ecr.us-east-1.amazonaws.com/neuron-rtd:latest",\n "essentiel": vrai,\n "linuxParameters": "capabilities": "add": ["SYS_ADMIN", "IPC_LOCK"] ,\n "nom": "neuron-rtd"\n \n ],\n "volumes": [\n \n "name": "sock",\n "host": \n "sourcePath": "/tmp/sock"\n \n \n ]
"},{"id":"text-12","type":"text","heading":"","plain_text":"Enfin, j'appelle le RegisterTaskDefinition API pour en informer le backend ECS.\n$ aws ecs register-task-definition --cli-input-json file: //inf1-task-definition.json\nNous sommes maintenant prêts à exécuter notre conteneur et à prévoir avec lui.\nExécution d'un conteneur sur des instances Inf1Étant donné qu'il s'agit d'un service de prédiction, je souhaite m'assurer qu'il est toujours disponible sur le cluster. Au lieu d'exécuter simplement une tâche, je crée un service ECS qui s'assurera que le nombre requis de copies de conteneurs est en cours d'exécution, en les relançant en cas de panne.\n$ aws ecs create-service --cluster ecs-inf1-demo --service-name bert-inf1 --task-definition ecs-neuron: 1 - nombre souhaité 1\nUne minute plus tard, je vois que les deux conteneurs de tâches s'exécutent sur le cluster.","html":"Enfin, j'appelle le RegisterTaskDefinition API pour en informer le backend ECS.\n$ aws ecs register-task-definition --cli-input-json file: //inf1-task-definition.json\nNous sommes maintenant prêts à exécuter notre conteneur et à prévoir avec lui.\nExécution d'un conteneur sur des instances Inf1Étant donné qu'il s'agit d'un service de prédiction, je souhaite m'assurer qu'il est toujours disponible sur le cluster. Au lieu d'exécuter simplement une tâche, je crée un service ECS qui s'assurera que le nombre requis de copies de conteneurs est en cours d'exécution, en les relançant en cas de panne.\n$ aws ecs create-service --cluster ecs-inf1-demo --service-name bert-inf1 --task-definition ecs-neuron: 1 - nombre souhaité 1\nUne minute plus tard, je vois que les deux conteneurs de tâches s'exécutent sur le cluster.
"},{"id":"text-13","type":"text","heading":"","plain_text":"Prédire avec BERT sur ECS et Inf1Le fonctionnement interne de BERT dépasse le cadre de cet article. Ce modèle particulier attend une séquence de 128 jetons, codant les mots de deux phrases que nous aimerions comparer pour l’équivalence sémantique.\nIci, je ne suis intéressé que par la mesure de la latence de prédiction, donc les données factices conviennent. Je construis 100 requêtes de prédiction stockant une séquence de 128 zéros. En utilisant l'adresse IP du conteneur BERT, je les envoie au point de terminaison TensorFlow Serving via grpc, et je calcule le temps de prédiction moyen.\nVoici le code complet.\nimporter numpy comme np\nimporter grpc\nimporter tensorflow en tant que tf\ndepuis tensorflow_serving.apis import predict_pb2\ndepuis tensorflow_serving.apis import prediction_service_pb2_grpc\ntemps d'importation","html":"Prédire avec BERT sur ECS et Inf1Le fonctionnement interne de BERT dépasse le cadre de cet article. Ce modèle particulier attend une séquence de 128 jetons, codant les mots de deux phrases que nous aimerions comparer pour l’équivalence sémantique.\nIci, je ne suis intéressé que par la mesure de la latence de prédiction, donc les données factices conviennent. Je construis 100 requêtes de prédiction stockant une séquence de 128 zéros. En utilisant l'adresse IP du conteneur BERT, je les envoie au point de terminaison TensorFlow Serving via grpc, et je calcule le temps de prédiction moyen.\nVoici le code complet.\nimporter numpy comme np\nimporter grpc\nimporter tensorflow en tant que tf\ndepuis tensorflow_serving.apis import predict_pb2\ndepuis tensorflow_serving.apis import prediction_service_pb2_grpc\ntemps d'importation
"},{"id":"text-14","type":"text","heading":"","plain_text":"si __name__ == '__main__':\n canal = grpc.insecure_channel ('18 .234.61.31: 8500 ')\n stub = prediction_service_pb2_grpc.PredictionServiceStub (canal)\n request = predict_pb2.PredictRequest ()\n request.model_spec.name = 'bert'\n i = np.zeros ([1, 128], dtype = np.int32)\n request.inputs['input_ids'].CopyFrom (tf.contrib.util.make_tensor_proto (i, shape = i.shape))\n request.inputs['input_mask'].CopyFrom (tf.contrib.util.make_tensor_proto (i, shape = i.shape))\n request.inputs['segment_ids'].CopyFrom (tf.contrib.util.make_tensor_proto (i, shape = i.shape))","html":"si __name__ == '__main__':\n canal = grpc.insecure_channel ('18 .234.61.31: 8500 ')\n stub = prediction_service_pb2_grpc.PredictionServiceStub (canal)\n request = predict_pb2.PredictRequest ()\n request.model_spec.name = 'bert'\n i = np.zeros ([1, 128], dtype = np.int32)\n request.inputs['input_ids'].CopyFrom (tf.contrib.util.make_tensor_proto (i, shape = i.shape))\n request.inputs['input_mask'].CopyFrom (tf.contrib.util.make_tensor_proto (i, shape = i.shape))\n request.inputs['segment_ids'].CopyFrom (tf.contrib.util.make_tensor_proto (i, shape = i.shape))
"},{"id":"text-15","type":"text","heading":"","plain_text":"latences = []\n pour i dans la plage (100):\n start = time.time ()\n result = stub.Predict (demande)\n latencies.append (time.time () - start)\n print ("Inférence réussie: ". format (i))\n print ("Ran inférences réussies. Latence moyenne = ". format (len (latences), np.average (latences)))\nPour plus de commodité, j'exécute ce code sur une instance EC2 basée sur l'AMI Deep Learning. Il est livré pré-installé avec un environnement Conda pour TensorFlow et TensorFlow Serving, ce qui m'évite d'installer des dépendances.\n$ source activate tensorflow_p36$ python predict.py\nEn moyenne, la prédiction a pris 56,5 ms. En ce qui concerne BERT, c'est plutôt bien!\nRan 100 inférences avec succès. Latence moyenne = 0,05647835493087769\nCommencerVous pouvez maintenant déployer Amazon Elastic Compute Cloud (EC2) Instances Inf1 sur Amazon ECS aujourd'hui dans le USA Est (Virginie du Nord) et USA Ouest (Oregon) Régions. Au fur et à mesure que le déploiement d'Inf1 progresse, vous pourrez les utiliser avec Amazon ECS dans plus de régions.\nEssayez-le et envoyez-nous vos commentaires via vos contacts AWS Support habituels, sur le forum AWS pour Amazon ECS ou sur la feuille de route du conteneur sur Github.\n – Julien","html":"latences = []\n pour i dans la plage (100):\n start = time.time ()\n result = stub.Predict (demande)\n latencies.append (time.time () - start)\n print ("Inférence réussie: ". format (i))\n print ("Ran inférences réussies. Latence moyenne = ". format (len (latences), np.average (latences)))\nPour plus de commodité, j'exécute ce code sur une instance EC2 basée sur l'AMI Deep Learning. Il est livré pré-installé avec un environnement Conda pour TensorFlow et TensorFlow Serving, ce qui m'évite d'installer des dépendances.\n$ source activate tensorflow_p36$ python predict.py\nEn moyenne, la prédiction a pris 56,5 ms. En ce qui concerne BERT, c'est plutôt bien!\nRan 100 inférences avec succès. Latence moyenne = 0,05647835493087769\nCommencerVous pouvez maintenant déployer Amazon Elastic Compute Cloud (EC2) Instances Inf1 sur Amazon ECS aujourd'hui dans le USA Est (Virginie du Nord) et USA Ouest (Oregon) Régions. Au fur et à mesure que le déploiement d'Inf1 progresse, vous pourrez les utiliser avec Amazon ECS dans plus de régions.\nEssayez-le et envoyez-nous vos commentaires via vos contacts AWS Support habituels, sur le forum AWS pour Amazon ECS ou sur la feuille de route du conteneur sur Github.\n – Julien
"},{"id":"text-16","type":"text","heading":"","plain_text":"Click to rate this post!\n \n [Total: 0 Average: 0]","html":"Click to rate this post!\n \n [Total: 0 Average: 0]
"}],"sections":[{"id":"text-1","heading":"Text","content":"[bzkshopping keyword= »Minecraft » count= »8″ template= »grid »]"},{"id":"text-2","heading":"Text","content":"À mesure que les modèles d'apprentissage automatique et d'apprentissage en profondeur deviennent plus sophistiqués, une accélération matérielle est de plus en plus nécessaire pour fournir des prédictions rapides à haut débit. Aujourd'hui, nous sommes très heureux d'annoncer que les clients AWS peuvent désormais utiliser les instances Amazon EC2 Inf1 sur Amazon ECS, pour des performances élevées et le coût de prédiction le plus bas dans le cloud. Depuis quelques semaines maintenant, ces instances sont également disponibles sur Amazon Elastic Kubernetes Service.\nPrésentation des instances EC2 Inf1Les instances Inf1 ont été lancées à AWS re: Invent 2019. Elles sont alimentées par AWS Inferentia, une puce personnalisée conçue à partir de zéro par AWS pour accélérer les charges de travail d'inférence de machine learning.\nLes instances Inf1 sont disponibles en plusieurs tailles, avec 1, 4 ou 16 puces AWS Inferentia, avec une bande passante réseau jusqu'à 100 Gbit / s et une bande passante EBS jusqu'à 19 Gbit / s. Une puce AWS Inferentia contient quatre NeuronCores. Chacun implémente un moteur de multiplication matricielle systolique haute performance, qui accélère massivement les opérations typiques d'apprentissage en profondeur telles que la convolution et les transformateurs. Les NeuronCores sont également équipés d'un grand cache sur puce, ce qui permet de réduire les accès à la mémoire externe, économisant ainsi du temps d'E / S dans le processus. Lorsque plusieurs puces AWS Inferentia sont disponibles sur une instance Inf1, vous pouvez partitionner un modèle entre elles et le stocker entièrement dans la mémoire cache. Alternativement, pour diffuser des prédictions multi-modèles à partir d'une seule instance Inf1, vous pouvez partitionner les NeuronCores d'une puce AWS Inferentia sur plusieurs modèles.\nCompilation de modèles pour les instances EC2 Inf1Pour exécuter des modèles de machine learning sur des instances Inf1, vous devez les compiler en une représentation optimisée pour le matériel à l'aide du kit SDK AWS Neuron. Tous les outils sont facilement disponibles sur l'AMI AWS Deep Learning et vous pouvez également les installer sur vos propres instances. Vous trouverez des instructions dans la documentation AMI Deep Learning, ainsi que des didacticiels pour TensorFlow, PyTorch et Apache MXNet dans le référentiel AWS Neuron SDK.\nDans la démo ci-dessous, je vais vous montrer comment déployer un modèle optimisé pour Neuron sur un cluster ECS d'instances Inf1 et comment servir des prédictions avec TensorFlow Serving. Le modèle en question est BERT, un modèle de pointe pour les tâches de traitement du langage naturel. C'est un modèle énorme avec des centaines de millions de paramètres, ce qui en fait un excellent candidat pour l'accélération matérielle.\nCréation d'un cluster Amazon ECSCréer un cluster est la chose la plus simple: il suffit d'un appel au CreateCluster API.\n$ aws ecs create-cluster - nom-cluster ecs-inf1-demo\nImmédiatement, je vois le nouveau cluster dans la console."},{"id":"text-3","heading":"Text","content":"Plusieurs prérequis sont nécessaires avant de pouvoir ajouter des instances à ce cluster:"},{"id":"text-4","heading":"Text","content":"Un rôle AWS Identity and Access Management (IAM) pour les instances ECS: si vous n'en avez pas déjà, vous pouvez trouver des instructions dans la documentation. Ici, mon rôle est nommé ecsInstanceRole.\nUne Amazon Machine Image (AMI) contenant l'agent ECS et prenant en charge les instances Inf1. Vous pouvez créer la vôtre ou utiliser l'AMI optimisée pour ECS pour Inferentia. Dans la région us-east-1, son identifiant est ami-04450f16e0cd20356.\nUn groupe de sécurité, ouvrant des ports réseau pour TensorFlow Serving (8500 pour gRPC, 8501 pour HTTP). L'identifiant du mien est sg-0994f5c7ebbb48270.\nSi vous souhaitez avoir un accès ssh, votre groupe de sécurité doit également ouvrir le port 22 et vous devez transmettre le nom d'une paire de clés SSH. Le mien s'appelle admin."},{"id":"text-5","heading":"Text","content":"Nous devons également créer un petit fichier de données utilisateur afin de permettre aux instances de rejoindre notre cluster. Ceci est réalisé en stockant le nom du cluster dans une variable d'environnement, elle-même écrite dans le fichier de configuration de l'agent ECS.\n#! / bin / bashecho ECS_CLUSTER = ecs-inf1-demo >> /etc/ecs/ecs.config\nNous sommes tous prêts. Ajoutons quelques instances Inf1 avec le RunInstances API. Pour minimiser les coûts, nous demanderons des instances Spot.\nInstances d'exécution $ aws ec2 --image-id ami-04450f16e0cd20356 --compte 2 --instance-type inf1.xlarge --instance-market-options '"MarketType": "spot"' --tag-specs 'ResourceType = instance, Tags =[Key=Name,Value=ecs-inf1-demo]' - nom-clé admin --security-group-ids sg-0994f5c7ebbb48270 --iam-instance-profile Nom = ecsInstanceRole - fichier de données utilisateur: // données-utilisateur.txt\nLes deux instances apparaissent immédiatement dans la console EC2."},{"id":"text-6","heading":"Text","content":"Quelques minutes plus tard, ils sont prêts à exécuter des tâches sur le cluster."},{"id":"text-7","heading":"Text","content":"Notre infrastructure est prête. Maintenant, construisons un conteneur stockant notre modèle BERT.\nCréation d'un conteneur pour les instances Inf1le Dockerfile est assez simple:"},{"id":"text-8","heading":"Text","content":"À partir d'une image Amazon Linux 2, nous ouvrons les ports 8500 et 8501 pour le service TensorFlow.\nEnsuite, nous ajoutons le référentiel Neuron SDK à la liste des référentiels, et nous installons une version de TensorFlow Serving qui prend en charge AWS Inferentia.\nEnfin, nous copions notre modèle BERT à l'intérieur du conteneur, et nous le chargeons au démarrage."},{"id":"text-9","heading":"Text","content":"Voici le dossier complet.\nDE AMAZONLINUX: 2EXPOSE 8500 8501RUN echo $ '[neuron] nname = Dépôt Neuron YUM nbaseurl = https: //yum.repos.neuron.amazonaws.com nenabled = 1 '> /etc/yum.repos.d/neuron.repoRUN rpm - import https://yum.repos.neuron.amazonaws.com/GPG-PUB-KEY-AMAZON-AWS-NEURON.PUBRUN yum install -y tensorflow-model-server-neuronCOPIER bert / bertCMD [\"/bin/sh\", \"-c\", \"/usr/local/bin/tensorflow_model_server_neuron --port=8500 --rest_api_port=8501 --model_name=bert --model_base_path=/bert/\"]\nEnsuite, je crée et pousse le conteneur vers un référentiel hébergé dans Amazon Elastic Container Registry. Affaires comme d'habitude.\n$ docker build -t neuron-tensorflow-inference.\n$ aws ecr create-repository - nom du référentiel ecs-inf1-demo\n$ aws ecr get-login-password | connexion docker --username AWS --password-stdin 123456789012.dkr.ecr.us-east-1.amazonaws.com\n$ balise docker neuron-tensorflow-inference 123456789012.dkr.ecr.us-east-1.amazonaws.com/ecs-inf1-demo:latest\n$ docker push\nMaintenant, nous devons créer une définition de tâche afin d'exécuter ce conteneur sur notre cluster.\nCréation d'une définition de tâche pour les instances Inf1Si vous n'en avez pas déjà, vous devez d'abord créer un rôle d'exécution, c'est-à-dire un rôle permettant à l'agent ECS d'effectuer des appels d'API en votre nom. Vous pouvez trouver plus d'informations dans la documentation. Le mien s'appelle ecsTaskExecutionRole.\nLa définition complète de la tâche est visible ci-dessous. Comme vous pouvez le voir, il contient deux conteneurs:"},{"id":"text-10","heading":"Text","content":"Le conteneur BERT que j'ai construit,\nUn conteneur side-car appelé neurone-rtd, qui permet au conteneur BERT d'accéder aux NeuronCores présents sur l'instance Inf1. le AWS_NEURON_VISIBLE_DEVICES La variable d'environnement vous permet de contrôler ceux qui peuvent être utilisés par le conteneur. Vous pouvez l'utiliser pour épingler un conteneur sur un ou plusieurs NeuronCores spécifiques."},{"id":"text-11","heading":"Text","content":""famille": "ecs-neuron",\n "executionRoleArn": "arn: aws: iam :: 123456789012: role / ecsTaskExecutionRole",\n "containerDefinitions": [\n \n \"entryPoint\": [\n \"sh\",\n \"-c\"\n ],\n "portMappings": [\n \n \"hostPort\": 8500,\n \"protocol\": \"tcp\",\n \"containerPort\": 8500\n ,\n \n \"hostPort\": 8501,\n \"protocol\": \"tcp\",\n \"containerPort\": 8501\n ,\n \n \"hostPort\": 0,\n \"protocol\": \"tcp\",\n \"containerPort\": 80\n \n ],\n "commander": [\n \"tensorflow_model_server_neuron --port=8500 --rest_api_port=8501 --model_name=bert --model_base_path=/bert\"\n ],\n "cpu": 0,\n "environnement": [\n \n \"name\": \"NEURON_RTD_ADDRESS\",\n \"value\": \"unix:/sock/neuron-rtd.sock\"\n \n ],\n "mountPoints": [\n \n \"containerPath\": \"/sock\",\n \"sourceVolume\": \"sock\"\n \n ],\n "memoryReservation": 1 000,\n "image": "123456789012.dkr.ecr.us-east-1.amazonaws.com/ecs-inf1-demo:latest",\n "essentiel": vrai,\n "nom": "bert"\n ,\n \n "point d'accès": [\n \"sh\",\n \"-c\"\n ],\n "portMappings": [],\n "commander": [\n \"neuron-rtd -g unix:/sock/neuron-rtd.sock\"\n ],\n "cpu": 0,\n "environnement": [\n \n \"name\": \"AWS_NEURON_VISIBLE_DEVICES\",\n \"value\": \"ALL\"\n \n ],\n "mountPoints": [\n \n \"containerPath\": \"/sock\",\n \"sourceVolume\": \"sock\"\n \n ],\n "memoryReservation": 1 000,\n "image": "790709498068.dkr.ecr.us-east-1.amazonaws.com/neuron-rtd:latest",\n "essentiel": vrai,\n "linuxParameters": "capabilities": "add": [\"SYS_ADMIN\", \"IPC_LOCK\"] ,\n "nom": "neuron-rtd"\n \n ],\n "volumes": [\n \n \"name\": \"sock\",\n \"host\": \n \"sourcePath\": \"/tmp/sock\"\n \n \n ]"},{"id":"text-12","heading":"Text","content":"Enfin, j'appelle le RegisterTaskDefinition API pour en informer le backend ECS.\n$ aws ecs register-task-definition --cli-input-json file: //inf1-task-definition.json\nNous sommes maintenant prêts à exécuter notre conteneur et à prévoir avec lui.\nExécution d'un conteneur sur des instances Inf1Étant donné qu'il s'agit d'un service de prédiction, je souhaite m'assurer qu'il est toujours disponible sur le cluster. Au lieu d'exécuter simplement une tâche, je crée un service ECS qui s'assurera que le nombre requis de copies de conteneurs est en cours d'exécution, en les relançant en cas de panne.\n$ aws ecs create-service --cluster ecs-inf1-demo --service-name bert-inf1 --task-definition ecs-neuron: 1 - nombre souhaité 1\nUne minute plus tard, je vois que les deux conteneurs de tâches s'exécutent sur le cluster."},{"id":"text-13","heading":"Text","content":"Prédire avec BERT sur ECS et Inf1Le fonctionnement interne de BERT dépasse le cadre de cet article. Ce modèle particulier attend une séquence de 128 jetons, codant les mots de deux phrases que nous aimerions comparer pour l’équivalence sémantique.\nIci, je ne suis intéressé que par la mesure de la latence de prédiction, donc les données factices conviennent. Je construis 100 requêtes de prédiction stockant une séquence de 128 zéros. En utilisant l'adresse IP du conteneur BERT, je les envoie au point de terminaison TensorFlow Serving via grpc, et je calcule le temps de prédiction moyen.\nVoici le code complet.\nimporter numpy comme np\nimporter grpc\nimporter tensorflow en tant que tf\ndepuis tensorflow_serving.apis import predict_pb2\ndepuis tensorflow_serving.apis import prediction_service_pb2_grpc\ntemps d'importation"},{"id":"text-14","heading":"Text","content":"si __name__ == '__main__':\n canal = grpc.insecure_channel ('18 .234.61.31: 8500 ')\n stub = prediction_service_pb2_grpc.PredictionServiceStub (canal)\n request = predict_pb2.PredictRequest ()\n request.model_spec.name = 'bert'\n i = np.zeros ([1, 128], dtype = np.int32)\n request.inputs['input_ids'].CopyFrom (tf.contrib.util.make_tensor_proto (i, shape = i.shape))\n request.inputs['input_mask'].CopyFrom (tf.contrib.util.make_tensor_proto (i, shape = i.shape))\n request.inputs['segment_ids'].CopyFrom (tf.contrib.util.make_tensor_proto (i, shape = i.shape))"},{"id":"text-15","heading":"Text","content":"latences = []\n pour i dans la plage (100):\n start = time.time ()\n result = stub.Predict (demande)\n latencies.append (time.time () - start)\n print ("Inférence réussie: ". format (i))\n print ("Ran inférences réussies. Latence moyenne = ". format (len (latences), np.average (latences)))\nPour plus de commodité, j'exécute ce code sur une instance EC2 basée sur l'AMI Deep Learning. Il est livré pré-installé avec un environnement Conda pour TensorFlow et TensorFlow Serving, ce qui m'évite d'installer des dépendances.\n$ source activate tensorflow_p36$ python predict.py\nEn moyenne, la prédiction a pris 56,5 ms. En ce qui concerne BERT, c'est plutôt bien!\nRan 100 inférences avec succès. Latence moyenne = 0,05647835493087769\nCommencerVous pouvez maintenant déployer Amazon Elastic Compute Cloud (EC2) Instances Inf1 sur Amazon ECS aujourd'hui dans le USA Est (Virginie du Nord) et USA Ouest (Oregon) Régions. Au fur et à mesure que le déploiement d'Inf1 progresse, vous pourrez les utiliser avec Amazon ECS dans plus de régions.\nEssayez-le et envoyez-nous vos commentaires via vos contacts AWS Support habituels, sur le forum AWS pour Amazon ECS ou sur la feuille de route du conteneur sur Github.\n – Julien"},{"id":"text-16","heading":"Text","content":"Click to rate this post!\n \n [Total: 0 Average: 0]"}],"media":{"primary_image":"https://tutos-gameserver.fr/wp-content/uploads/2020/08/Amazon-ECS-Now-Supports-EC2-Inf1-Instances.png"},"relations":[{"rel":"canonical","href":"https://tutos-gameserver.fr/2020/08/18/amazon-ecs-prend-desormais-en-charge-les-instances-ec2-inf1-idk-dev-serveur-dimpression/"},{"rel":"alternate","href":"https://tutos-gameserver.fr/2020/08/18/amazon-ecs-prend-desormais-en-charge-les-instances-ec2-inf1-idk-dev-serveur-dimpression/llm","type":"text/html"},{"rel":"alternate","href":"https://tutos-gameserver.fr/2020/08/18/amazon-ecs-prend-desormais-en-charge-les-instances-ec2-inf1-idk-dev-serveur-dimpression/llm.json","type":"application/json"},{"rel":"llm-manifest","href":"https://tutos-gameserver.fr/llm-endpoints-manifest.json","type":"application/json"}],"http_headers":{"X-LLM-Friendly":"1","X-LLM-Schema":"1.1.0","Content-Security-Policy":"default-src 'none'; img-src * data:; style-src 'unsafe-inline'"},"license":"CC BY-ND 4.0","attribution_required":true,"allow_cors":false}