Racine carrée inverse rapide

La racine carrée inverse rapide (en anglais fast inverse square root, parfois abrégé Fast InvSqrt() ou par la constante 0x5f3759df en hexadécimal) est une méthode pour calculer x^−½, l'inverse de la racine carrée d'un nombre à virgule flottante à simple précision sur 32 bits. L'algorithme a probablement été développé chez Silicon Graphics au début des années 1990. Il a entre autres été utilisé dans le code source de Quake III Arena, un jeu vidéo de tir à la première personne sorti en 1999^[1]. À l'époque, le principal avantage de cet algorithme était d'éviter des opérations en virgule flottante, coûteuses en puissance de calcul, en préférant des opérations sur entiers. Les racines carrées inverses sont utilisées pour calculer les angles d'incidence et la réflexion pour la lumière et l'ombre en imagerie numérique.

L'algorithme prend en entrée des flottants de 32 bits non signés et stocke la moitié de cette valeur pour l'utiliser plus tard. Ensuite, il traite le nombre à virgule flottante comme un entier et lui applique un décalage logique à droite d'un bit et le résultat est soustrait à la valeur « magique » 0x5f3759df. Il en résulte une première approximation de la racine carrée inverse du nombre passé en entrée. En considérant de nouveau les bits comme un nombre à virgule flottante et en appliquant au nombre la méthode de Newton, on améliore cette approximation. Bien que n'assurant pas la précision la plus fine possible, le résultat final est une approximation acceptable de la racine carrée inverse d'un nombre à virgule flottante qui s'exécute quatre fois plus vite qu'une division d'un tel nombre.

Motivation

Les racines carrées inverses d'un nombre à virgule flottante sont utilisées pour calculer un vecteur normalisé^[2]. En synthèse d'image 3D, ces vecteurs normalisés sont utilisés pour déterminer l'éclairage et l'ombrage. Des millions de ces calculs sont ainsi nécessaires chaque seconde. Avant l'apparition de matériel dédié au TCL, ces calculs pouvaient être lents. Ce fut particulièrement le cas lorsque cette technique a été développée au début des années 1990 où les opérations sur les nombres à virgule flottante étaient plus lentes que les calculs sur entiers^[1].

Afin de normaliser un vecteur, on détermine la longueur de celui-ci en calculant sa norme euclidienne : la racine carrée de la somme du carré de ses composantes. Après avoir divisé chaque composante par cette longueur, on obtient alors un nouveau vecteur unitaire pointant dans la même direction.

\|{\boldsymbol {v}}\|={\sqrt {v_{1}^{2}+v_{2}^{2}+v_{3}^{2}}}

est la norme euclidienne du vecteur, de la même manière que l'on calcule une distance dans un espace euclidien.

{\boldsymbol {\hat {v}}}={\boldsymbol {v}}/\|{\boldsymbol {v}}\|

est le vecteur (unitaire) normalisé. Avec

\|{\boldsymbol {v}}\|^{2}

représentant

v_{1}^{2}+v_{2}^{2}+v_{3}^{2}

,

{\boldsymbol {\hat {v}}}={\boldsymbol {v}}/{\sqrt {\|{\boldsymbol {v}}\|^{2}}}

, liant le vecteur unitaire à la racine carrée inverse des composantes.

Aperçu du code

Le code source suivant est celui de la fonction Q_rsqrt qui implémente la racine carrée inverse rapide dans Quake III Arena. On a retiré du code les directives du préprocesseur C (lignes commençant par #), mais on a laissé les commentaires originaux (introduits par //)^[3].

float Q_rsqrt( float number )
{
	long i;
	float x2, y;
	const float threehalfs = 1.5F;

	x2 = number * 0.5F;
	y = number;
	i = * ( long * ) &y; // evil floating point bit level hacking
	i = 0x5f3759df - ( i >> 1 ); // what the fuck?
	y = * ( float * ) &i;
	y = y * ( threehalfs - ( x2 * y * y ) ); // 1st iteration
//	y = y * ( threehalfs - ( x2 * y * y ) ); // 2nd iteration, this can be removed

	return y;
}

Afin de déterminer la racine carrée inverse, un programme calculerait une approximation de $x^{-1/2}$ puis appliquerait ensuite une méthode numérique afin de peaufiner le résultat jusqu'à atteindre une erreur d'approximation acceptable. Des méthodes d'extraction de racine carrée du début des années 1990 ont permis d'avoir une première approximation depuis une table de correspondance^[4]. Cette nouvelle fonction s'est montrée plus efficace que les tables de correspondance et environ quatre fois plus rapide qu'une division flottante classique^[5]. L'algorithme a été conçu selon la norme IEEE 754^[a] pour les nombres à virgule flottante 32 bits, mais des recherches de Chris Lomont et ensuite Charles McEniry ont montré qu'il pouvait être implémenté en utilisant d'autres spécifications de nombres à virgule flottante.

Le gain de vitesse apporté par le kludge qu'est la racine carrée inverse rapide vient du traitement du mot double^[b] contenant le nombre à virgule flottante considéré comme entier qui est ensuite soustrait à une constante spécifique : 0x5f3759df. L'utilité de cette constante n'étant pas claire à première vue, on la considère alors comme un nombre magique^[1]^,^[6]^,^[7]^,^[8]. Après cette soustraction d'entiers et ce décalage à droite, on obtient un mot double qui, lorsqu'il est considéré comme un nombre à virgule flottante, devient une approximation grossière de la racine carrée inverse du nombre entré. Ensuite, une itération de la méthode de Newton est réalisée afin de gagner en précision et le résultat est retourné. L'algorithme génère des résultats raisonnablement précis en utilisant une seule approximation par la méthode de Newton ; toutefois, il reste plus lent que d'utiliser rsqrtss, une instruction du jeu SSE, sortie elle aussi en 1999 sur les processeurs x86^[9].

Exemple pratique

Considérons un nombre $x = 0,156 25$ , pour lequel on souhaite calculer $1/ \sqrt x \approx 2,529 82$ . Voici les premières étapes de l'algorithme :

0011_1110_0010_0000_0000_0000_0000_0000  Trame binaire de x et i
0001_1111_0001_0000_0000_0000_0000_0000  Décalage à droite d'une position : (i >> 1)
0101_1111_0011_0111_0101_1001_1101_1111  Le nombre magique 0x5f3759df
0100_0000_0010_0111_0101_1001_1101_1111  le résultat de 0x5f3759df - (i >> 1)

En utilisant la représentation IEEE 754 sur 32 bits :

0_01111100_01000000000000000000000  1.25 * 2^-3
0_00111110_00100000000000000000000  1.125 * 2^-65
0_10111110_01101110101100111011111  1.432430... * 2^+63
0_10000000_01001110101100111011111  1.307430... * 2^+1

En réinterprétant la dernière trame binaire en tant que nombre à virgule flottante on obtient l'approximation $y = 2,614 86$ ayant une erreur relative d'environ 3,4 %. Après une itération de la méthode de Newton, le résultat final est $y = 2,525 49$ avec une erreur de seulement 0,17 %.

Fonctionnement de l'algorithme

L'algorithme calcule $1/ \sqrt x$ en effectuant les étapes suivantes :

Transforme l'argument $x$ en entier afin d'appliquer une approximation de $log 2 (x)$ ;
Utilise cet entier pour calculer une approximation de $log 2 (1/ \sqrt x)$ ;
Transforme celui-ci afin de revenir à un nombre flottant afin d'effectuer une approximation de l'exponentielle base-2 ;
Affine l'approximation en utilisant une itération de la méthode de Newton.

Représentation en nombre flottant

Puisque cet algorithme s'appuie fortement sur la représentation bit à bit des nombres à virgule flottante simple précision, un aperçu rapide de ce système est fourni ici. Afin d'encoder un nombre réel non nul $x$ en tant que flottant de simple précision, on commence par écrire $x$ comme un nombre binaire en notation scientifique :

{\begin{aligned}x&=\pm 1,b_{1}b_{2}b_{3}\ldots \times 2^{e_{x}}\\&=\pm 2^{e_{x}}(1+m_{x})\end{aligned}}

Où l'exposant $e x$ est un entier, $m x \in [0, 1)$ , et $1,b 1 b 2 b 3 ...$ est la représentation binaire de la « mantisse » $(1 + m x)$ . Notons qu'il n'est pas nécessaire d'enregistrer le bit avant la virgule dans la mantisse car il vaut toujours 1. Avec ce formalisme, on calcule trois entiers :

$S x$ , le « bit de signe », valant 0 si $x > 0$ ou 1 si $x < 0$ (1 bit) ;
$E x = e x + B$ est l'« exposant biaisé » où $B = 127$ est le « biais d'exposant » (en)^[c] (8 bits) ;
$M x = m x \times L$ , où $L = 2 23$ ^[d] (23 bits).

Ces valeurs sont ensuite condensées de gauche à droite dans un conteneur 32 bits.

Par exemple, en utilisant le nombre $x = 0,156 25 = 0,001 01 2$ . En normalisant $x$ on a :

x=+2^{-3}(1+0,25)

Donc, les trois valeurs entières non signées sont :

$S = 0$ ;
$E = -3 + 127 = 124 = 01111100 2$ ;
$M = 0,25 \times 2 23 = 2097152 = 01000000000000000000000 2$ .

Ces champs sont condensés comme ceci :

Approcher un logarithme en passant à l'entier

S'il fallait calculer $1/ \sqrt x$ sans un ordinateur ou une calculatrice, une table de logarithmes serait utilement accompagnée de l'identité $log b (1/ \sqrt x) = -½ log b (x)$ valide quelle que soit la base $b$ . La racine carrée inverse rapide repose sur cette dernière ainsi que sur le fait que l'on puisse effectuer un logarithme approximatif d'un nombre en passant d'un float32 à un entier. Explications :

Soit $x$ un nombre normal positif :

x=2^{e_{x}}(1+m_{x})

On a alors

\log _{2}(x)=e_{x}+\log _{2}(1+m_{x})

Mais puisque $m x \in [0, 1)$ , le logarithme de la partie droite peut être arrondi par^[10] :

\log _{2}(1+m_{x})\approx m_{x}+\sigma

où $σ$ est un paramètre arbitraire permettant de régler l'arrondi. Par exemple : $σ = 0$ fournit des résultats exacts aux bords de l'intervalle tandis que $σ \approx 0.0430357$ fournit l'approximation optimale.

Alors nous avons l'approximation

\log _{2}(x)\approx e_{x}+m_{x}+\sigma .

D'un autre côté, en interprétant la représentation binaire de $x$ en tant qu'entier, on obtient^[e] :

{\begin{aligned}I_{x}&=E_{x}L+M_{x}\\&=L(e_{x}+B+m_{x})\\&\approx L\log _{2}(x)+L(B-\sigma ).\end{aligned}}

On remarque alors que $I x$ est une approximation linéaire mise à l'échelle et décalée de $log 2 (x)$ , comme présenté sur le graphique ci-contre. En d'autres termes, $log 2 (x)$ est approché par

\log _{2}(x)\approx {\frac {I_{x}}{L}}-(B-\sigma ).

Première approximation du résultat

Le calcul de $y = 1/ \sqrt x$ est fondé sur l'identité

\log _{2}(y)=-{\frac {1}{2}}\log _{2}(x)

En utilisant l'approximation du logarithme telle que précédemment définie et appliquée à $x$ et $y$ , l'équation devient :

I_{y}\approx {\frac {3}{2}}L(B-\sigma )-{\frac {1}{2}}I_{x}

Qui s'écrit en code C :

i = 0x5f3759df - ( i >> 1 );

Le premier terme étant le nombre magique

{\frac {3}{2}}L(B-\sigma )={\text{0x5f3759df}}

à partir duquel on déduit $σ \approx 0,045 046 6$ . Le second terme, $½ I x$ , est déterminé en décalant à droite une fois les bits de $I x$ ^[11].

Méthode de Newton

Article principal : Méthode de Newton.

Erreur relative entre calcul direct et racine carrée inverse rapide, en exécutant (de haut en bas) 0, 1, 2, 3 et 4 itérations de la méthode de Newton (calculs effectués en double précision, la plus petite différence représentable entre 2 nombres en double précision étant atteinte en 4 itérations).

Après avoir appliqué ces opérations, l'algorithme considère de nouveau le mot double comme nombre flottant (y = *(float*)&i;) et effectue une multiplication en nombre flottant (y = y*(1.5f - xhalf*y*y);). Celle-ci étant une itération de la méthode de Newton permettant de trouver des solutions à une équation donnée. Pour ce même exemple :

y={\frac {1}{\sqrt {x}}}

est la racine carrée inverse, ou encore, en fonction de y :

f(y)={\frac {1}{y^{2}}}-x=0

.

Avec

y_{n+1}=y_{n}-{\frac {f(y_{n})}{f'(y_{n})}}

représentant l'expression générale de la méthode de Newton avec

\,y_{n}

comme première approximation,

y_{n+1}={\frac {y_{n}(3-xy_{n}^{2})}{2}}

est l'expression particulière où

f(y)={\frac {1}{y^{2}}}-x

et

f'(y)={\frac {-2}{y^{3}}}

.

Ainsi y = y*(1.5f - xhalf*y*y); est semblable à

\,y_{n+1}=y_{n}(1.5-{\frac {xy_{n}^{2}}{2}})={\frac {y_{n}(3-xy_{n}^{2})}{2}}

La première approximation est générée en utilisant les opérations en tant qu'entiers puis fournie aux deux dernières lignes de code de la fonction. Des itérations répétées de cet algorithme en utilisant la sortie de la fonction ( $y_{n+1}$ ) comme argument pour l'itération suivante fait converger l'algorithme sur la racine avec une incertitude de plus en plus faible^[12]. Une seule itération a été utilisée dans le cadre du moteur de Quake III, une seconde itération ayant été commentée et laissée.

Histoire et enquête

File:Carmack at QuakeCon 2002 - 05.jpg

John Carmack, cofondateur d'id Software, est souvent associé à cette fonction, même s'il ne l'a pas écrite.

Le code source de Quake III Arena a été diffusé après la QuakeCon 2005, mais des copies de la racine carrée inverse rapide sont apparues sur Usenet et d'autres forums dès 2002/2003^[1]. Les spéculations à l'époque pointent comme auteur probable de la fonction John Carmack, cofondateur d'id Software, l'entreprise qui a développé les jeux Quake. Mais Carmack dément la chose et suggère que la fonction a été écrite par Terje Mathisen, un programmeur assembleur talentueux qui a aidé les développeurs d'id Software pour optimiser Quake. Mathisen a effectivement écrit une fonction similaire à la fin des années 1990, mais les auteurs originaux remontent à plus loin dans l'histoire de l'infographie 3D avec l'implémentation faite par Gary Tarolli pour un SGI Indigo (en) qui serait l'une des premières utilisations connues. Rys Sommefeldt, auteur de l'enquête, finit par conclure que l'algorithme original est l'œuvre de Greg Walsh de Ardent Computer (en) en collaboration avec Cleve Moler, fondateur de MathWorks^[13].

On ne sait pas comment la valeur exacte du nombre magique a été déterminée. Chris Lomont a développé une fonction pour minimiser l'erreur d'approximation en choisissant le nombre magique R dans un intervalle. Il calcule d'abord la constante optimale pour l'étape d'approximation linéaire, il obtient 0x5f37642f qui est proche de 0x5f3759df, mais avec cette nouvelle constante, il obtient une précision moindre après une itération de la méthode de Newton^[14]. Il cherche alors une constante optimale même après une ou deux itérations de la méthode de Newton et obtient la valeur 0x5f375a86 qui se révèle plus précise que l'originale, même après chaque étape d'itération^[14]. Il conclut alors en se demandant si la valeur originale a été choisie par dérivation ou par essai-erreur^[15]. Dans la lancée, Lomont indique aussi que la valeur magique pour flottant double précision 64 bits IEEE 754 est 0x5fe6ec85e7de30da, mais il a été démontré que la valeur exacte était 0x5fe6eb50c7b537a9^[16]. Charles McEniry a effectué une optimisation similaire mais plus sophistiquée sur les valeurs probables pour R. Il cherche d'abord par une méthode par force brute et obtient la valeur déterminée par Lomont^[17]. Il a ensuite essayé de rechercher cette valeur par une méthode de dichotomie et obtient alors la valeur utilisée initialement dans la fonction, ce qui conduit McEniry à penser que cette constante a probablement été obtenue par cette méthode^[18].

Notes et références

(en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Fast inverse square root » (voir la liste des auteurs).

Notes

↑ IEEE 754-1985 (en).
↑ L'utilisation du type long réduit la portabilité de ce code sur les systèmes récents. Afin que le code s'exécute, sizeof(long) doit valoir 4 octets sinon la fonction risque de retourner des résultats négatifs. Sur les systèmes 64 bits récents, sizeof(long) vaut 8 octets.
↑ $E x$ doit être dans le domaine $[1, 254]$ afin que $x$ soit représentable comme un nombre normal (en).
↑ Les seuls réels pouvant être représentés exactement comme des nombres à virgule flottante sont ceux pour lesquels $M x$ est un entier. Les autres nombres ne peuvent être représentés que de façon approchée en les arrondissant au nombre représentable le plus proche.
↑ $S x = 0$ puisque $x > 0$ .

Références

↑ ^{a b c et d} Sommefeldt nov. 2006.
↑ (en) Jim Blinn, Jim Blinn's Corner : Notation, Notation, Notation, Amsterdam/Boston, Morgan Kaufmann, 2003, 327 p. (ISBN 1-55860-860-5), p. 130 [lire en ligne].
↑ (en) Travis Bradshaw, « code/game/q_math.c », The Quake III Arena sources as originally released under the GPL license on August 20, 2005, sur GitHub, id Software, 31 janvier 2012, lignes 552 à 572.
↑ (en) David H. Eberly, 3D Game Engine Design : A Practical Approach to Real-Time Computer Graphics, San Francisco, Morgan Kaufmann, 2001, 561 p. (ISBN 1-55860-593-2), p. 504.
↑ Lomont 2003, p. 1.
↑ Lomont 2003, p. 3.
↑ McEniry 2007, p. 1.
↑ Eberly 2001, p. 2.
↑ (en) Elan Ruskin, « Timing Square Root », sur assemblyrequired.crashworks.org, 16 octobre 2009 (version du 15 avril 2021 sur Internet Archive).
↑ McEniry 2007, p. 3.
↑ (en) John L. Hennessy et David A. Patterson, Computer Organization and Design : The Hardware-Software Interface, San Francisco, Morgan Kaufmann, 1998, 2^e éd. (ISBN 1-55860-491-X et 1-55860-428-6), p. 305.
↑ McEniry 2007, p. 6.
↑ Sommefeldt déc. 2006.
↑ ^{a et b} Lomont 2003, p. 10.
↑ Lomont 2003, p. 10–11.
↑ Robertson 2012, p. 33.
↑ McEniry 2007, p. 11–12.
↑ McEniry 2007, p. 16.

Voir aussi

Bibliographie

(en) Chris Lomont, « Fast Inverse Square Root », sur lomont.org, février 2003 (consulté le 13 février 2009).
(en) Charles McEniry, « The Mathematics Behind the Fast Inverse Square Root Function Code », sur daxia.com, août 2007 (consulté le 13 février 2009).
(en) Matthew Robertson, « A Brief History of InvSqrt », Université du Nouveau-Brunswick, 24 avril 2012.
(en) Rys Sommefeldt, « Origin of Quake3's Fast InvSqrt() », sur Beyond3D.com, 29 novembre 2006 (consulté le 16 septembre 2012).
(en) Rys Sommefeldt, « Origin of Quake3's Fast InvSqrt() - Part Two », sur Beyond3D.com, 19 décembre 2006 (consulté le 17 septembre 2012).

Articles connexes

Extraction de racine carrée

Liens externes

(en) Adam Hyland, « 0x5f37642f.com », site consacré à la racine carrée inverse rapide.

[6] IEEE 754-1985 (en).

[7] L'utilisation du type long réduit la portabilité de ce code sur les systèmes récents. Afin que le code s'exécute, sizeof(long) doit valoir 4 octets sinon la fonction risque de retourner des résultats négatifs. Sur les systèmes 64 bits récents, sizeof(long) vaut 8 octets.

[12] $E x$ doit être dans le domaine $[1, 254]$ afin que $x$ soit représentable comme un nombre normal (en).

[13] Les seuls réels pouvant être représentés exactement comme des nombres à virgule flottante sont ceux pour lesquels $M x$ est un entier. Les autres nombres ne peuvent être représentés que de façon approchée en les arrondissant au nombre représentable le plus proche.

[15] $S x = 0$ puisque $x > 0$ .

[Sommefeldtnov._2006-1] {a b c et d} Sommefeldt nov. 2006.

[2] (en) Jim Blinn, Jim Blinn's Corner : Notation, Notation, Notation, Amsterdam/Boston, Morgan Kaufmann, 2003, 327 p. (ISBN 1-55860-860-5), p. 130 [lire en ligne].

[3] (en) Travis Bradshaw, « code/game/q_math.c », The Quake III Arena sources as originally released under the GPL license on August 20, 2005, sur GitHub, id Software, 31 janvier 2012, lignes 552 à 572.

[4] (en) David H. Eberly, 3D Game Engine Design : A Practical Approach to Real-Time Computer Graphics, San Francisco, Morgan Kaufmann, 2001, 561 p. (ISBN 1-55860-593-2), p. 504.

[Lomont20031-5] Lomont 2003, p. 1.

[Lomont20033-8] Lomont 2003, p. 3.

[McEniry20071-9] McEniry 2007, p. 1.

[Eberly20012-10] Eberly 2001, p. 2.

[ruskin-11] (en) Elan Ruskin, « Timing Square Root », sur assemblyrequired.crashworks.org, 16 octobre 2009 (version du 15 avril 2021 sur Internet Archive).

[McEniry20073-14] McEniry 2007, p. 3.

[16] (en) John L. Hennessy et David A. Patterson, Computer Organization and Design : The Hardware-Software Interface, San Francisco, Morgan Kaufmann, 1998, 2^e éd. (ISBN 1-55860-491-X et 1-55860-428-6), p. 305.

[McEniry20076-17] McEniry 2007, p. 6.

[Sommefeldtdéc._2006-18] Sommefeldt déc. 2006.

[Lomont200310-19] {a et b} Lomont 2003, p. 10.

[Lomont200310–11-20] Lomont 2003, p. 10–11.

[Robertson201233-21] Robertson 2012, p. 33.

[McEniry200711–12-22] McEniry 2007, p. 11–12.

[McEniry200716-23] McEniry 2007, p. 16.

[1]

[2]

[3]

[4]

[5]

[a]

[b]

[6]

[7]

[8]

[9]

[c]

[d]

[10]

[e]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

v · m Quake
Série Solo	Quake Scourge of Armagon Dissolution of Eternity Quake II The Reckoning Ground Zero Quake 4
Série multijoueur	Quake III Arena Team Arena Quake Live Enemy Territory: Quake Wars Quake Champions
Mods	Urban Terror Team Fortress Action Quake 2 DeFRaG Rocket Arena
Développement	id Software Splash Damage id Tech 2 3 4 5 Racine carrée inverse rapide