Huit langages, une machine

Quatre petits programmes, écrits une fois par langage et vérifiés comme imprimant les mêmes octets, chronométrés sur la même machine au repos — avec les contrôles qui disent lesquelles des différences sont réelles.

Les quatre programmes

Ils ont été choisis pour quatre coûts différents. Le résultat le plus utile de cette page est qu'ils ne s'accordent sur aucun classement.

Linux · aarch64 — invité aarch64 6 cœurs sous QEMU, 7 Go

Temps de calcul

Chaque chiffre est le minimum des exécutions moins le temps de démarrage propre à ce runtime, pour que l'amorçage d'une JVM ne soit pas imputé à son arithmétique. Le minimum plutôt que la médiane : une machine perturbée produit une longue queue à droite et aucune à gauche.

fib(35) — 9,2 M d'appels récursifs

loops — 100 M d'itérations

objects — 10 M d'allocations

lists — 1 M d'éléments à travers map / filter / fold

La solidité de chaque chiffre

De combien la médiane dépasse le minimum, en pourcentage. Sous 10% environ, un chiffre est acquis ; bien au-dessus, deux langages séparés de quelques pour cent ne sont pas départagés par ces données, et la page ne prétend pas le contraire.

Chaînes d'outils

macOS · Apple M4 — Apple M4 10 cœurs (4 performance + 6 efficacité), arm64, matériel nu, 24 Go — la seule machine ici qui ne soit pas un invité

Temps de calcul

Chaque chiffre est le minimum des exécutions moins le temps de démarrage propre à ce runtime, pour que l'amorçage d'une JVM ne soit pas imputé à son arithmétique. Le minimum plutôt que la médiane : une machine perturbée produit une longue queue à droite et aucune à gauche.

fib(35) — 9,2 M d'appels récursifs

loops — 100 M d'itérations

objects — 10 M d'allocations

lists — 1 M d'éléments à travers map / filter / fold

La solidité de chaque chiffre

De combien la médiane dépasse le minimum, en pourcentage. Sous 10% environ, un chiffre est acquis ; bien au-dessus, deux langages séparés de quelques pour cent ne sont pas départagés par ces données, et la page ne prétend pas le contraire.

Chaînes d'outils

Windows · x86_64 — invité AMD EPYC 9354 4 cœurs / 8 threads sur cloud PC Shadow, 16 Go ; une tranche d'un processeur 32 cœurs, dont le voisinage nous échappe

Temps de calcul

Chaque chiffre est le minimum des exécutions moins le temps de démarrage propre à ce runtime, pour que l'amorçage d'une JVM ne soit pas imputé à son arithmétique. Le minimum plutôt que la médiane : une machine perturbée produit une longue queue à droite et aucune à gauche.

fib(35) — 9,2 M d'appels récursifs

loops — 100 M d'itérations

objects — 10 M d'allocations

lists — 1 M d'éléments à travers map / filter / fold

La solidité de chaque chiffre

De combien la médiane dépasse le minimum, en pourcentage. Sous 10% environ, un chiffre est acquis ; bien au-dessus, deux langages séparés de quelques pour cent ne sont pas départagés par ces données, et la page ne prétend pas le contraire.

Chaînes d'outils

Les mêmes rapports, machine par machine

Là où deux machines ne s'accordent pas sur un rapport, le désaccord est le résultat — le chiffre était une propriété d'une machine et non du langage. Lisez le dénominateur d'abord : plusieurs lignes qui bougent ensemble et dans le même sens signent un changement de la référence C, et non cinq langages changeant à la fois.

fib(35)

loops

objects

lists

Ce qui a été vérifié avant de croire quoi que ce soit

Un banc d'essai est un instrument, et un instrument que personne n'a étalonné rapporte ses propres défauts comme des résultats. Chacun de ces contrôles pouvait revenir négatif.

Ce que cela n'établit pas

lists n'est pas comparable à l'identique. Le List<Int> de Keal, le vector de C++ et le Vec de Rust contiennent des entiers 64 bits non boxés ; Java et Kotlin boxent chaque élément dans un Long. Cette différence explique l'essentiel de ce que la JVM paie dans cette colonne, et c'est une propriété des bibliothèques plutôt que des compilateurs.

Chaque mesure est un processus entier, exécuté une fois. Pas de boucle de chauffe dans le programme, pas de mesure en régime établi. C'est ce que coûte l'exécution du programme, ce qui avantage les compilateurs anticipés et sous-estime ce qu'un JIT fait dans un serveur de longue durée.

Quatre programmes sont quatre programmes. Ils ont été choisis pour quatre coûts différents, mais aucun ensemble aussi petit ne prédit une charge réelle, et aucun ne touche aux entrées-sorties, aux chaînes ni à la concurrence.

Le rapport à C emporte le compilateur C avec lui. Un rapport divise par ce qu'a produit le compilateur C local : il absorbe la vitesse du matériel, pas les décisions d'optimisation de la référence elle-même. fib est l'endroit où cela se voit. Sur la machine Linux, gcc en -O2 déroule la récursion sur plusieurs niveaux — 244 instructions dans le corps de la fonction contre 30 sans inlining — et la même source, le même compilateur et le même drapeau s'exécutent alors en 11,8 ms contre 20,3 ms. Ce facteur 1,7 est de l'ordre de l'écart entre les références C des machines sur ce programme. objects est la seconde colonne dans ce cas, et elle pointe en sens inverse : face à la machine sous clang, six lignes sur sept montent ensemble d'environ 1,6× parce que c'est là que la référence C est la rapide. Entre les deux machines sous gcc, cette même colonne reste dans le peloton — c'est ce qui dit que l'effet appartient au compilateur et non au matériel. Ces deux rapports se comparent donc à l'intérieur d'une machine et non d'un compilateur C à l'autre, et toute ligne qui bouge d'une machine à l'autre doit être lue contre son dénominateur avant d'être lue comme un fait sur le langage.

La soustraction du démarrage pèse le plus là où il y en a le plus. Chaque chiffre est diminué du temps de hello-world de sa propre machine, ce qui garde l'amorçage d'une JVM hors de son arithmétique. Mais cet amorçage se compte en dizaines de millisecondes là où celui d'un binaire natif tient sous deux : les lignes JVM portent donc de loin la plus grosse correction — et elle bouge. Sur la machine macOS, aligner le JDK a déplacé le démarrage de Java de 8 ms, soit 8 ms sur ses quatre chiffres et un dixième de son lists. Comparer une ligne JVM d'une machine à l'autre, c'est comparer deux corrections de démarrage autant que deux runtimes.

Les machines ne partagent pas leur chaîne d'outils. Un rapport à C absorbe la vitesse du matériel. Il n'absorbe ni un gcc différent, ni un Go différent, ni une JVM différente, et chaque machine rapporte ce qu'elle avait. Là où le runtime est lui-même l'objet de la mesure — les lignes Java et Kotlin — les machines s'alignent sur une version majeure de JDK, faute de quoi un écart entre deux machines confondrait le système d'exploitation et la machine virtuelle. Partout ailleurs la version est déclarée plutôt qu'imposée, et le tableau des chaînes d'outils sous chaque machine est cette divulgation.

Un rapport est une propriété d'une machine tant qu'une seconde ne l'a pas confirmé. La première machine ici n'a pas reproduit un rapport que ce projet avait publié, d'un facteur deux, pour exactement cette raison. Tant que le tableau ci-dessous n'a qu'une colonne, lisez chaque chiffre comme mesuré et non comme vrai.

Le refaire soi-même

Les programmes sont dans bench/ports/ et le harnais qui les chronomètre est bench/ports/run.py. Il construit ce pour quoi il trouve une chaîne d'outils, nomme ce qu'il saute, et imprime une entrée prête à être ajoutée à la liste des machines. Chaque langage utilise des entiers signés 64 bits et, quand il a le choix, le niveau d'optimisation que keal build passe lui-même à cc.