Résumé\nprésentation\nRécemment, une dépêche a présenté "kisscache", un serveur de cache HTTP (S). Particularité, il ne lance qu'un seul téléchargement simultané pour la même ressource.\nefficacité du réseau\nCette fonctionnalité permet, si plusieurs clients viennent de télécharger la même ressource, avant qu'elle ne soit mise en cache, de ne pas envoyer plusieurs fois la même requête au serveur et donc d'économiser de la bande passante côté client et serveur. Au final, tous les clients seront servis plus rapidement.\nCache HTTPS\nDe plus, l'outil propose de résoudre le problème de mise en cache des ressources proposées en HTTPS. En effet, un cache server agit comme un "homme au milieu" et est donc difficilement compatible avec un transport sécurisé dont le but est, entre autres, de ne pas permettre la modification de la réponse du serveur sans que le client ne le détecte. Une solution courante – en particulier dans les entreprises pour inspecter le flux client-serveur, plus que pour la mise en cache – consiste à usurper le certificat du serveur, en le remplaçant par un certificat provenant d'une autorité de confiance interne déployée sur les clients des machines. Il faut encore mener à bien ce déploiement.\nBAISER?\nL'outil est présenté comme suivant le principe KISS. Il est vrai que le nombre de fonctionnalités est limité et que la quantité de code est petite, environ mille lignes de python. Cependant, les dépendances d'exploitation sont importantes: django pour l'API, postgres pour la base de données, céleri pour le traitement asynchrone, redis pour le bus de données, docker pour l'infrastructure. La réécriture d'URL rend son utilisation difficile.\nune analyse\nCache HTTPS\nLa solution proposée consiste à réécrire les URL de toutes les ressources demandées. Il est donc beaucoup plus intrusif et non standard que d'utiliser un proxy conventionnel. Un proxy demande des variables d'environnement, des paramètres de ligne de commande ou une modification du fichier de configuration. Un proxy transparent demande une configuration au réseau local ou au routeur. Concrètement, aucun gestionnaire de progiciel (apt, pip, etc.) ne permet la réécriture d'URL. Et par conséquent, vous devez disposer d'outils spécialement écrits pour être compatible avec kisscache.\nBAISER\nDe toute évidence, la gestion d'un cache HTTP (S) n'est pas ne pas Facile. Le protocole HTTP est compliqué, avec de nombreux scénarios, notamment sur la gestion du cycle de vie des ressources, influencés par de nombreux en-têtes. L'outil kisscache ne le gère pas vraiment.Quelles autres pistes pouvons-nous suivre?\nnginx\nNginx n'est pas un logiciel simple. Mais sa mise en œuvre l'est. Avec un fichier de configuration relativement court – moins de vingt lignes – il gère correctement un cache HTTP (S) avec les mêmes fonctionnalités que celles attendues pour kisscache:\n serveur \nécouter 3128;
"},{"id":"text-2","type":"text","heading":"","plain_text":"expire max;\nproxy_cache on;\nproxy_cache_path / var / cache / proxy-nginx inactive = 1w; # une semaine\nproxy_cache_key "$ schéma: // $ host $ request_uri";\nproxy_pass $ schéma: // $ host $ request_uri;\nproxy_set_header Host $ http_host;\nproxy_ignore_headers "Set-Cookie";","html":"expire max;\nproxy_cache on;\nproxy_cache_path / var / cache / proxy-nginx inactive = 1w; # une semaine\nproxy_cache_key "$ schéma: // $ host $ request_uri";\nproxy_pass $ schéma: // $ host $ request_uri;\nproxy_set_header Host $ http_host;\nproxy_ignore_headers "Set-Cookie";
"},{"id":"text-3","type":"text","heading":"","plain_text":"proxy_ignore_client_abort on;\nproxy_cache_lock activé;\nproxy_cache_lock_age 10m;\nproxy_cache_valid 200 301 1w; # une semaine\nproxy_cache_valid any 1m;\nerreur proxy_cache_use_stale;","html":"proxy_ignore_client_abort on;\nproxy_cache_lock activé;\nproxy_cache_lock_age 10m;\nproxy_cache_valid 200 301 1w; # une semaine\nproxy_cache_valid any 1m;\nerreur proxy_cache_use_stale;
"},{"id":"text-4","type":"text","heading":"","plain_text":"La directive "proxy_cache_lock" permet de n'avoir qu'un seul client à la fois téléchargeant une ressource. La directive "proxy_ignore_client_abort" permet de terminer le téléchargement même si le client interrompt la connexion. La directive "inactive = 1w" permet de nettoyer les ressources non consultées depuis un certain temps.\nPython asynchrone\nS'il s'agit d'écrire un serveur en python qui cache les URL qui lui sont soumises, une approche simple consiste à connecter deux bibliothèques logicielles entre elles: un serveur HTTP et un client HTTP. Et pour plus d'efficacité, allez voir le côté des capacités AsyncIO de Python. En collant l'exemple de serveur et l'exemple de client de la page d'accueil aiohttp, nous arrivons rapidement à un prototype fonctionnel. Nous ajoutons entre les deux une gestion de fichiers (cache) et un mécanisme pour empêcher les téléchargements multiples et nous obtenons les quarante lignes de code suivantes:\nimporter asyncio\ndepuis le site d'import aiohttp, ClientSession\nde hashlib import md5\nimporter os\ndepuis aiofile import AIOFile","html":"La directive "proxy_cache_lock" permet de n'avoir qu'un seul client à la fois téléchargeant une ressource. La directive "proxy_ignore_client_abort" permet de terminer le téléchargement même si le client interrompt la connexion. La directive "inactive = 1w" permet de nettoyer les ressources non consultées depuis un certain temps.\nPython asynchrone\nS'il s'agit d'écrire un serveur en python qui cache les URL qui lui sont soumises, une approche simple consiste à connecter deux bibliothèques logicielles entre elles: un serveur HTTP et un client HTTP. Et pour plus d'efficacité, allez voir le côté des capacités AsyncIO de Python. En collant l'exemple de serveur et l'exemple de client de la page d'accueil aiohttp, nous arrivons rapidement à un prototype fonctionnel. Nous ajoutons entre les deux une gestion de fichiers (cache) et un mécanisme pour empêcher les téléchargements multiples et nous obtenons les quarante lignes de code suivantes:\nimporter asyncio\ndepuis le site d'import aiohttp, ClientSession\nde hashlib import md5\nimporter os\ndepuis aiofile import AIOFile
"},{"id":"text-5","type":"text","heading":"","plain_text":"D =","html":"D =
"},{"id":"text-6","type":"text","heading":"","plain_text":"async def dl_and_cache (url, dirname, basename):\nasync avec ClientSession () en tant que session:\nasync avec session.get (url) comme réponse:\ncontent = attendre réponse.read ()\nos.makedirs (dirname, exist_ok = True)\npath = dirname + "/" + basename\nasynchrone avec AIOFile (chemin, & # 39; wb & # 39;) comme afp:\nattendre afp.write (contenu)","html":"async def dl_and_cache (url, dirname, basename):\nasync avec ClientSession () en tant que session:\nasync avec session.get (url) comme réponse:\ncontent = attendre réponse.read ()\nos.makedirs (dirname, exist_ok = True)\npath = dirname + "/" + basename\nasynchrone avec AIOFile (chemin, & # 39; wb & # 39;) comme afp:\nattendre afp.write (contenu)
"},{"id":"text-7","type":"text","heading":"","plain_text":"Poignée async def (demande):\nurl = request.match_info.get (& # 39; url & # 39;)\nimprimer (url)\nh = md5 (octets (url, "ascii")). hexdigest ()\ndirname = ".cache /" + h[0:2]+ "/" + h[2:4]\n nom de base = h[4:]\n path = dirname + "/" + basename\nsinon os.path.exists (chemin):\n# si le téléchargeur est marqué, attendez-le\nsi l'URL en D:\ntandis que l'URL en D:\nattendre asyncio.sleep (1)\n# else, marquer comme téléchargement et commencer le téléchargement\nautre:\nré[url] = Aucun\n# utiliser le bouclier pour empêcher l'annulation de la déconnexion du client\nattendre asyncio.shield (dl_and_cache (url, dirname, basename))\ndel D[url]\n retourne web.FileResponse (chemin)","html":"Poignée async def (demande):\nurl = request.match_info.get (& # 39; url & # 39;)\nimprimer (url)\nh = md5 (octets (url, "ascii")). hexdigest ()\ndirname = ".cache /" + h[0:2]+ "/" + h[2:4]\n nom de base = h[4:]\n path = dirname + "/" + basename\nsinon os.path.exists (chemin):\n# si le téléchargeur est marqué, attendez-le\nsi l'URL en D:\ntandis que l'URL en D:\nattendre asyncio.sleep (1)\n# else, marquer comme téléchargement et commencer le téléchargement\nautre:\nré[url] = Aucun\n# utiliser le bouclier pour empêcher l'annulation de la déconnexion du client\nattendre asyncio.shield (dl_and_cache (url, dirname, basename))\ndel D[url]\n retourne web.FileResponse (chemin)
"},{"id":"text-8","type":"text","heading":"","plain_text":"si __name__ == & # 39; __ main __ & # 39 ;:\napp = web.Application ()\napp.add_routes ([web.get('/url', handle)]) # l'url doit être encodée en url\nweb.run_app (application)","html":"si __name__ == & # 39; __ main __ & # 39 ;:\napp = web.Application ()\napp.add_routes ([web.get('/url', handle)]) # l'url doit être encodée en url\nweb.run_app (application)
"},{"id":"text-9","type":"text","heading":"","plain_text":"Les dépendances sont résolues avec un pip install aiohttp[speedups] aiofile.A tester avec wget http://0.0.0.0:8080/$(urlencode & # 39; http: //dl-cdn.alpinelinux.org/alpine/v3.11/main/x86_64/APKINDEX.tar.gz') par exemple.\nPour atteindre le niveau fonctionnel de l'outil proposé, il faudrait ajouter la gestion du TTL et la suppression des ressources non utilisées depuis un certain temps. Cela devrait être possible en restant sous les cent lignes de code.Ensuite, PyInstaller regroupe tout dans un binaire autoportant – c'est-à-dire: incorporant l'interpréteur python et les dépendances – de moins de 11 Mo.\nJe vous remercie\nJe remercie l'auteur de son envoi. Cela m'a permis de réfléchir au problème de la mise en cache des ressources proposé dans https et qui me pose également des problèmes pour les tâches de construction de logiciels, de regarder dans aiohttp qui est une très bonne surprise, de revenir sur nginx qui est définitivement un outil très puissant, pour voir une bonne intégration de django + celery qui est un bon modèle pour construire des API pour l'automatisation de l'infrastructure.","html":"Les dépendances sont résolues avec un pip install aiohttp[speedups] aiofile.A tester avec wget http://0.0.0.0:8080/$(urlencode & # 39; http: //dl-cdn.alpinelinux.org/alpine/v3.11/main/x86_64/APKINDEX.tar.gz') par exemple.\nPour atteindre le niveau fonctionnel de l'outil proposé, il faudrait ajouter la gestion du TTL et la suppression des ressources non utilisées depuis un certain temps. Cela devrait être possible en restant sous les cent lignes de code.Ensuite, PyInstaller regroupe tout dans un binaire autoportant – c'est-à-dire: incorporant l'interpréteur python et les dépendances – de moins de 11 Mo.\nJe vous remercie\nJe remercie l'auteur de son envoi. Cela m'a permis de réfléchir au problème de la mise en cache des ressources proposé dans https et qui me pose également des problèmes pour les tâches de construction de logiciels, de regarder dans aiohttp qui est une très bonne surprise, de revenir sur nginx qui est définitivement un outil très puissant, pour voir une bonne intégration de django + celery qui est un bon modèle pour construire des API pour l'automatisation de l'infrastructure.
"},{"id":"text-10","type":"text","heading":"","plain_text":"Click to rate this post!\n \n [Total: 0 Average: 0]","html":"Click to rate this post!\n \n [Total: 0 Average: 0]
"}],"sections":[{"id":"text-1","heading":"Text","content":"Résumé\nprésentation\nRécemment, une dépêche a présenté "kisscache", un serveur de cache HTTP (S). Particularité, il ne lance qu'un seul téléchargement simultané pour la même ressource.\nefficacité du réseau\nCette fonctionnalité permet, si plusieurs clients viennent de télécharger la même ressource, avant qu'elle ne soit mise en cache, de ne pas envoyer plusieurs fois la même requête au serveur et donc d'économiser de la bande passante côté client et serveur. Au final, tous les clients seront servis plus rapidement.\nCache HTTPS\nDe plus, l'outil propose de résoudre le problème de mise en cache des ressources proposées en HTTPS. En effet, un cache server agit comme un "homme au milieu" et est donc difficilement compatible avec un transport sécurisé dont le but est, entre autres, de ne pas permettre la modification de la réponse du serveur sans que le client ne le détecte. Une solution courante – en particulier dans les entreprises pour inspecter le flux client-serveur, plus que pour la mise en cache – consiste à usurper le certificat du serveur, en le remplaçant par un certificat provenant d'une autorité de confiance interne déployée sur les clients des machines. Il faut encore mener à bien ce déploiement.\nBAISER?\nL'outil est présenté comme suivant le principe KISS. Il est vrai que le nombre de fonctionnalités est limité et que la quantité de code est petite, environ mille lignes de python. Cependant, les dépendances d'exploitation sont importantes: django pour l'API, postgres pour la base de données, céleri pour le traitement asynchrone, redis pour le bus de données, docker pour l'infrastructure. La réécriture d'URL rend son utilisation difficile.\nune analyse\nCache HTTPS\nLa solution proposée consiste à réécrire les URL de toutes les ressources demandées. Il est donc beaucoup plus intrusif et non standard que d'utiliser un proxy conventionnel. Un proxy demande des variables d'environnement, des paramètres de ligne de commande ou une modification du fichier de configuration. Un proxy transparent demande une configuration au réseau local ou au routeur. Concrètement, aucun gestionnaire de progiciel (apt, pip, etc.) ne permet la réécriture d'URL. Et par conséquent, vous devez disposer d'outils spécialement écrits pour être compatible avec kisscache.\nBAISER\nDe toute évidence, la gestion d'un cache HTTP (S) n'est pas ne pas Facile. Le protocole HTTP est compliqué, avec de nombreux scénarios, notamment sur la gestion du cycle de vie des ressources, influencés par de nombreux en-têtes. L'outil kisscache ne le gère pas vraiment.Quelles autres pistes pouvons-nous suivre?\nnginx\nNginx n'est pas un logiciel simple. Mais sa mise en œuvre l'est. Avec un fichier de configuration relativement court – moins de vingt lignes – il gère correctement un cache HTTP (S) avec les mêmes fonctionnalités que celles attendues pour kisscache:\n serveur \nécouter 3128;"},{"id":"text-2","heading":"Text","content":"expire max;\nproxy_cache on;\nproxy_cache_path / var / cache / proxy-nginx inactive = 1w; # une semaine\nproxy_cache_key "$ schéma: // $ host $ request_uri";\nproxy_pass $ schéma: // $ host $ request_uri;\nproxy_set_header Host $ http_host;\nproxy_ignore_headers "Set-Cookie";"},{"id":"text-3","heading":"Text","content":"proxy_ignore_client_abort on;\nproxy_cache_lock activé;\nproxy_cache_lock_age 10m;\nproxy_cache_valid 200 301 1w; # une semaine\nproxy_cache_valid any 1m;\nerreur proxy_cache_use_stale;"},{"id":"text-4","heading":"Text","content":"La directive "proxy_cache_lock" permet de n'avoir qu'un seul client à la fois téléchargeant une ressource. La directive "proxy_ignore_client_abort" permet de terminer le téléchargement même si le client interrompt la connexion. La directive "inactive = 1w" permet de nettoyer les ressources non consultées depuis un certain temps.\nPython asynchrone\nS'il s'agit d'écrire un serveur en python qui cache les URL qui lui sont soumises, une approche simple consiste à connecter deux bibliothèques logicielles entre elles: un serveur HTTP et un client HTTP. Et pour plus d'efficacité, allez voir le côté des capacités AsyncIO de Python. En collant l'exemple de serveur et l'exemple de client de la page d'accueil aiohttp, nous arrivons rapidement à un prototype fonctionnel. Nous ajoutons entre les deux une gestion de fichiers (cache) et un mécanisme pour empêcher les téléchargements multiples et nous obtenons les quarante lignes de code suivantes:\nimporter asyncio\ndepuis le site d'import aiohttp, ClientSession\nde hashlib import md5\nimporter os\ndepuis aiofile import AIOFile"},{"id":"text-5","heading":"Text","content":"D ="},{"id":"text-6","heading":"Text","content":"async def dl_and_cache (url, dirname, basename):\nasync avec ClientSession () en tant que session:\nasync avec session.get (url) comme réponse:\ncontent = attendre réponse.read ()\nos.makedirs (dirname, exist_ok = True)\npath = dirname + "/" + basename\nasynchrone avec AIOFile (chemin, & # 39; wb & # 39;) comme afp:\nattendre afp.write (contenu)"},{"id":"text-7","heading":"Text","content":"Poignée async def (demande):\nurl = request.match_info.get (& # 39; url & # 39;)\nimprimer (url)\nh = md5 (octets (url, "ascii")). hexdigest ()\ndirname = ".cache /" + h[0:2]+ "/" + h[2:4]\n nom de base = h[4:]\n path = dirname + "/" + basename\nsinon os.path.exists (chemin):\n# si le téléchargeur est marqué, attendez-le\nsi l'URL en D:\ntandis que l'URL en D:\nattendre asyncio.sleep (1)\n# else, marquer comme téléchargement et commencer le téléchargement\nautre:\nré[url] = Aucun\n# utiliser le bouclier pour empêcher l'annulation de la déconnexion du client\nattendre asyncio.shield (dl_and_cache (url, dirname, basename))\ndel D[url]\n retourne web.FileResponse (chemin)"},{"id":"text-8","heading":"Text","content":"si __name__ == & # 39; __ main __ & # 39 ;:\napp = web.Application ()\napp.add_routes ([web.get('/url', handle)]) # l'url doit être encodée en url\nweb.run_app (application)"},{"id":"text-9","heading":"Text","content":"Les dépendances sont résolues avec un pip install aiohttp[speedups] aiofile.A tester avec wget http://0.0.0.0:8080/$(urlencode & # 39; http: //dl-cdn.alpinelinux.org/alpine/v3.11/main/x86_64/APKINDEX.tar.gz') par exemple.\nPour atteindre le niveau fonctionnel de l'outil proposé, il faudrait ajouter la gestion du TTL et la suppression des ressources non utilisées depuis un certain temps. Cela devrait être possible en restant sous les cent lignes de code.Ensuite, PyInstaller regroupe tout dans un binaire autoportant – c'est-à-dire: incorporant l'interpréteur python et les dépendances – de moins de 11 Mo.\nJe vous remercie\nJe remercie l'auteur de son envoi. Cela m'a permis de réfléchir au problème de la mise en cache des ressources proposé dans https et qui me pose également des problèmes pour les tâches de construction de logiciels, de regarder dans aiohttp qui est une très bonne surprise, de revenir sur nginx qui est définitivement un outil très puissant, pour voir une bonne intégration de django + celery qui est un bon modèle pour construire des API pour l'automatisation de l'infrastructure."},{"id":"text-10","heading":"Text","content":"Click to rate this post!\n \n [Total: 0 Average: 0]"}],"media":{"primary_image":""},"relations":[{"rel":"canonical","href":"https://tutos-gameserver.fr/2020/04/11/kisscache-cachant-le-baiser-serveur-dimpression-4/"},{"rel":"alternate","href":"https://tutos-gameserver.fr/2020/04/11/kisscache-cachant-le-baiser-serveur-dimpression-4/llm","type":"text/html"},{"rel":"alternate","href":"https://tutos-gameserver.fr/2020/04/11/kisscache-cachant-le-baiser-serveur-dimpression-4/llm.json","type":"application/json"},{"rel":"llm-manifest","href":"https://tutos-gameserver.fr/llm-endpoints-manifest.json","type":"application/json"}],"http_headers":{"X-LLM-Friendly":"1","X-LLM-Schema":"1.1.0","Content-Security-Policy":"default-src 'none'; img-src * data:; style-src 'unsafe-inline'"},"license":"CC BY-ND 4.0","attribution_required":true,"allow_cors":false}