madamasterclass.com
Exploration de la loi des grands nombres et les inégalités de concentration
Les inégalités de concentration 🔍 constituent un pilier fondamental de la théorie des probabilités modernes. Ces outils mathématiques permettent de quantifier précisément la probabilité qu'une variable aléatoire s'écarte significativement de sa valeur moyenne, sans nécessiter une connaissance complète de sa distribution. Cette approche révolutionnaire a transformé notre compréhension des phénomènes aléatoires en fournissant des garanties universelles et robustes.
Historiquement, ces inégalités émergent des travaux pionniers d'Andreï Markov (1906) et de Pafnouti Tchebychev (1867), qui cherchaient à établir des liens quantitatifs entre les moments d'une distribution et la concentration de sa masse probabiliste. Leur importance transcende largement le cadre académique, car elles sous-tendent les fondements théoriques de nombreux algorithmes d'apprentissage automatique, de méthodes d'estimation statistique et de techniques d'analyse des données.
Dans le contexte contemporain, ces inégalités trouvent des applications directes dans l'analyse des réseaux de neurones, l'estimation de la complexité algorithmique, la théorie des jeux, et même en finance quantitative pour l'évaluation des risques de portefeuille.
Figure 1 : Visualisation de la concentration de la masse probabiliste autour de la moyenne μ. Les inégalités permettent de borner la probabilité dans les zones extrêmes.
L'inégalité de Markov, établie en 1906, constitue la pierre angulaire de toutes les inégalités de concentration. Elle repose sur un principe intuitif mais puissant : si une variable aléatoire a une espérance finie, alors elle ne peut pas prendre de valeurs extrêmement grandes avec une probabilité significative.
Pour toute variable aléatoire non négative X et tout seuil a > 0 :
La preuve repose sur une astuce ingénieuse utilisant l'espérance conditionnelle :
\( E[X] = E[X \cdot \mathbf{1}_{X \geq a}] + E[X \cdot \mathbf{1}_{X < a}] \)
\( E[X] \geq E[X \cdot \mathbf{1}_{X \geq a}] \geq a \cdot E[\mathbf{1}_{X \geq a}] = a \cdot P(X \geq a) \)
D'où : \( P(X \geq a) \leq \frac{E[X]}{a} \)
Contexte : Une entreprise technologique emploie 1000 personnes avec un salaire moyen de 4 500€ mensuel. Le directeur financier souhaite estimer combien d'employés gagnent plus de 20 000€ par mois.
Application :
\( P(X \geq 20000) \leq \frac{4500}{20000} = 0.225 \)
Interprétation : Au maximum 22.5% des employés (soit 225 personnes) peuvent gagner 20 000€ ou plus.
Cette borne est garantie sans connaître la distribution exacte des salaires !
L'inégalité de Bienaymé-Tchebychev, développée indépendamment par Irénée-Jules Bienaymé (1853) et Pafnouti Tchebychev (1867), représente une amélioration remarquable de l'inégalité de Markov. Elle exploite l'information sur la variance pour obtenir des bornes plus précises sur la probabilité de déviation autour de la moyenne.
Pour toute variable aléatoire X de variance finie et tout k > 0 :
où \( \sigma = \sqrt{\text{Var}(X)} \) est l'écart-type
En posant \( \epsilon = k\sigma \), on obtient la formulation classique :
Cette formulation met en évidence le rôle central de la variance dans le contrôle de la concentration.
La preuve illustre l'élégance de la construction mathématique :
1. Considérons \( Y = (X - E[X])^2 \), qui est non-négative
2. Appliquons Markov : \( P(Y \geq \epsilon^2) \leq \frac{E[Y]}{\epsilon^2} \)
3. Or \( E[Y] = \text{Var}(X) \) et \( \{Y \geq \epsilon^2\} = \{|X - E[X]| \geq \epsilon\} \)
4. D'où le résultat.
Contexte : Une usine de composants électroniques produit des résistances avec une valeur nominale de 1000Ω. Le processus de fabrication génère des variations aléatoires avec un écart-type de 50Ω. Le contrôle qualité impose une tolérance de ±150Ω.
Calcul de la probabilité de défaut :
• Seuil : \( \epsilon = 150\Omega \)
• Variance : \( \sigma^2 = 50^2 = 2500 \)
• Borne de Tchebychev :
\( P(|X - 1000| \geq 150) \leq \frac{2500}{150^2} = \frac{2500}{22500} = \frac{1}{9} \approx 11.1\% \)
Garantie : Au maximum 11.1% de pièces défectueuses
Si l'usine produit 10 000 résistances par jour, cette analyse garantit qu'au maximum 1 110 pièces seront défectueuses, permettant une planification précise des coûts de rebut et de retraitement.
Avantage : Cette estimation ne nécessite aucune hypothèse sur la distribution exacte des défauts (normale, uniforme, etc.).
La loi des grands nombres représente l'un des résultats les plus profonds et les plus pratiques de la théorie des probabilités. Elle formalise mathématiquement l'intuition selon laquelle la moyenne d'un grand nombre d'observations indépendantes converge vers la valeur théorique attendue. Cette loi trouve ses applications dans tous les domaines scientifiques, de la physique statistique à l'économie en passant par l'apprentissage automatique.
Pour une suite \( X_1, X_2, \ldots, X_n \) de variables aléatoires indépendantes et identiquement distribuées (i.i.d.) d'espérance \( \mu \) et de variance finie \( \sigma^2 \) :
Cette convergence en probabilité signifie que la moyenne empirique devient arbitrairement proche de la moyenne théorique avec une probabilité tendant vers 1.
Soit \( \bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i \). Alors :
• \( E[\bar{X}_n] = \mu \)
• \( \text{Var}(\bar{X}_n) = \frac{\sigma^2}{n} \)
• Par Tchebychev : \( P(|\bar{X}_n - \mu| \geq \epsilon) \leq \frac{\sigma^2}{n\epsilon^2} \)
• Quand \( n \to \infty \), cette borne tend vers 0.
Sous les mêmes hypothèses, la version forte garantit une convergence presque sûre, plus exigeante :
Cette convergence presque sûre implique que pour presque toutes les réalisations de la suite, la moyenne empirique converge vers \( \mu \).
Convergence en probabilité : Pour tout \( \epsilon > 0 \), \( P(|\bar{X}_n - \mu| \geq \epsilon) \to 0 \)
Convergence presque sûre : \( P(\{\omega : \bar{X}_n(\omega) \to \mu\}) = 1 \)
La convergence presque sûre implique la convergence en probabilité, mais la réciproque est fausse.
Expérience Monte Carlo : Simulation d'une pièce équilibrée où X_i = 1 (Face) avec probabilité 0.5 et X_i = 0 (Pile) avec probabilité 0.5. La moyenne théorique est \( \mu = 0.5 \).
Vitesse de convergence : L'erreur standard de la moyenne empirique décroît en \( \frac{1}{\sqrt{n}} \), ce qui signifie que pour diviser l'erreur par 2, il faut multiplier le nombre d'observations par 4.
Intervalles de confiance : À \( n = 1000 \), Tchebychev garantit que \( P(|\bar{X}_{1000} - 0.5| \geq 0.05) \leq 0.1 \), soit un intervalle de confiance de 90%.
Applications pratiques : Cette convergence justifie l'utilisation de simulations Monte Carlo pour estimer des intégrales complexes ou des probabilités difficiles à calculer analytiquement.
Les inégalités de concentration forment un écosystème cohérent d'outils mathématiques, chacun apportant ses propres avantages selon le contexte d'application. Cette section propose une analyse comparative détaillée et explore les applications contemporaines de ces résultats fondamentaux.
| Critère | Markov | Tchebychev |
|---|---|---|
| Hypothèses | X ≥ 0, E[X] < ∞ | Var(X) < ∞ |
| Information utilisée | Moyenne uniquement | Moyenne + variance |
| Type de borne | Unilatérale | Bilatérale |
| Précision | Souvent large | Plus précise |
| Décroissance | Linéaire en 1/a | Quadratique en 1/ε² |
| Optimalité | Optimale pour certaines distributions | Optimale pour distribution à 2 points |
Relation fondamentale : Les inégalités forment une hiérarchie naturelle où chaque niveau apporte plus de précision en échange d'hypothèses plus restrictives :
• Markov : Universelle mais grossière
• Tchebychev : Plus précise avec information sur la variance
• Inégalités exponentielles : Très précises mais nécessitent des hypothèses fortes
Théorie PAC : Les inégalités de concentration fournissent des bornes sur l'erreur de généralisation. Pour un algorithme d'apprentissage avec n exemples :
• Erreur empirique : \( \hat{R}(h) = \frac{1}{n}\sum_{i=1}^n \mathbf{1}_{h(x_i) \neq y_i} \)
• Erreur vraie : \( R(h) = P(h(X) \neq Y) \)
• Borne : \( P(|R(h) - \hat{R}(h)| \geq \epsilon) \leq 2e^{-2n\epsilon^2} \)
Gestion des risques : Estimation de la Value at Risk (VaR) d'un portefeuille sans hypothèse sur la distribution des rendements.
• Portefeuille : \( X = \sum_{i=1}^n w_i R_i \) où \( w_i \) sont les poids et \( R_i \) les rendements
• VaR à 95% : \( P(X \leq -\text{VaR}) \leq 0.05 \) via Tchebychev
Théorème central limite : Justification de l'approche thermodynamique par la convergence des moyennes d'observables microscopiques.
• Système : N particules avec énergies \( E_i \) → Énergie moyenne \( \bar{E} \) converge vers \( \langle E \rangle \)
Analyse d'algorithmes : Bornes sur la probabilité d'échec d'algorithmes Monte Carlo.
• Estimation π : Méthode des points aléatoires dans le carré unité
• Garantie : \( P(|\hat{\pi} - \pi| \geq \epsilon) \leq \frac{\sigma^2}{n\epsilon^2} \)
"Les inégalités de concentration constituent le pont fondamental entre l'incertitude théorique et les garanties pratiques"
Ces outils mathématiques continuent d'évoluer pour répondre aux défis de l'analyse de données massives et de l'intelligence artificielle moderne.
Soit une pièce de monnaie équilibrée. On considère la variable aléatoire \(X_n\) qui représente le nombre de faces obtenues lors de \(n\) lancers.
1. Déterminer l'espérance et la variance de \(X_n\).
2. Montrer que \( \frac{X_n}{n} \) converge en probabilité vers \( \frac{1}{2} \) lorsque \( n \to +\infty \).
Considérons une expérience où l'on tire aléatoirement une carte d'un jeu de 52 cartes. On définit la variable aléatoire \(Y_n\) comme étant le nombre de cartes rouges obtenues lors de \(n\) tirages.
1. Calculer l'espérance et la variance de \(Y_n\).
2. Vérifier que \( \frac{Y_n}{n} \) converge en probabilité vers \( \frac{1}{2} \).
On lance un dé à six faces équilibré \(n\) fois. Soit \(Z_n\) le nombre de fois où le nombre 6 apparaît.
1. Calculer l'espérance et la variance de \(Z_n\).
2. Montrer que \( \frac{Z_n}{n} \) converge en probabilité vers \( \frac{1}{6} \).
On considère une urne contenant 3 boules rouges et 2 boules bleues. On tire \(n\) boules avec remise. Soit \(W_n\) le nombre de boules rouges tirées.
1. Déterminer l'espérance et la variance de \(W_n\).
2. Démontrer que \( \frac{W_n}{n} \) converge en probabilité vers \( \frac{3}{5} \).
Une entreprise fabrique des pièces dont la probabilité de défaut est de \(0.1\). On considère \(D_n\) le nombre de pièces défectueuses sur \(n\) pièces produites.
1. Déterminer l'espérance et la variance de \(D_n\).
2. Montrer que \( \frac{D_n}{n} \) converge en probabilité vers \(0.1\) et expliquer la signification de cette convergence pour l'entreprise.
On lance un dé à six faces équilibré \(n\) fois. Soit \(A_n\) le nombre de fois où le nombre 1 apparaît.
1. Calculer l'espérance et la variance de \(A_n\).
2. Montrer que \( \frac{A_n}{n} \) converge en probabilité vers \( \frac{1}{6} \) et déduire les implications de cette convergence.
Une urne contient 4 boules rouges et 6 boules vertes. On tire avec remise \(n\) boules. Soit \(R_n\) le nombre de boules rouges obtenues.
1. Déterminer l'espérance et la variance de \(R_n\).
2. Vérifier que \( \frac{R_n}{n} \) converge en probabilité vers \( \frac{2}{5} \) et expliquer pourquoi cela est pertinent.
Un joueur de football tire au but. La probabilité de marquer un but est de \(0.3\). On considère \(N\) le nombre de tirs effectués par le joueur.
1. Calculer l'espérance et la variance du nombre de buts marqués \(B_n\) après \(n\) tirs.
2. Montrer que \( \frac{B_n}{n} \) converge en probabilité vers \(0.3\) et discuter des implications pour le joueur à long terme.
Une entreprise fabrique des pièces dont la probabilité de défaut est de \(0.1\). On considère \(D_n\) le nombre de pièces défectueuses sur \(n\) pièces produites.
1. Déterminer l'espérance et la variance de \(D_n\).
2. Montrer que \( \frac{D_n}{n} \) converge en probabilité vers \(0.1\) et expliquer la signification de cette convergence pour l'entreprise.
Une enquête révèle que 70% des consommateurs préfèrent le produit A au produit B. Soit \(C_n\) le nombre de consommateurs préférant le produit A parmi \(n\) interrogés.
1. Calculer l'espérance et la variance de \(C_n\).
2. Montrer que \( \frac{C_n}{n} \) converge en probabilité vers \(0.7\) et discuter de l'importance de cette convergence pour l'entreprise.
Soit \(X\) une variable aléatoire positive telle que \(E[X] = 10\).
1. En utilisant l'inégalité de Markov, montrer que pour tout \(a > 0\), on a \(P(X \geq a) \leq \frac{E[X]}{a}\).
2. Calculer \(P(X \geq 20)\).
Soit \(Y\) une variable aléatoire telle que \(E[Y] = 5\) et \(Y \geq 0\).
1. Appliquer l'inégalité de Markov pour \(a = 10\) et interpréter le résultat.
2. Quel est le plus petit \(a\) tel que \(P(Y \geq a) \leq 0.2\) ?
Soit \(Z\) une variable aléatoire positive avec \(E[Z] = 15\).
1. Montrer que pour \(a = 30\), \(P(Z \geq 30) \leq \frac{15}{30}\).
2. Que peut-on conclure si \(P(Z \geq 30) = 0.4\) ?
Considérons une variable aléatoire \(W\) avec \(E[W] = 12\) et \(W \geq 0\).
1. En utilisant l'inégalité de Markov, déterminer \(P(W \geq 24)\).
2. Si l'on sait que \(P(W \geq 24) = 0.1\), que peut-on dire de la variable \(W\) ?
Soit \(V\) une variable aléatoire positive telle que \(E[V] = 8\).
1. Utiliser l'inégalité de Markov pour établir une borne pour \(P(V \geq 16)\).
2. Que peut-on conclure si \(P(V \geq 16) > 0.25\) ?
Soit \(X\) une variable aléatoire avec \(E[X] = 10\) et \(\text{Var}(X) = 4\).
1. Utiliser l'inégalité de Bienaymé-Tchebychev pour établir une borne pour \(P(|X - 10| \geq 4)\).
2. Que peut-on conclure à partir de cette inégalité ?
Considérons une variable aléatoire \(Y\) avec \(E[Y] = 5\) et \(\text{Var}(Y) = 9\).
1. Montrer que \(P(|Y - 5| \geq 3) \leq \frac{9}{3^2}\).
2. Quel est le résultat numérique de cette inégalité ?
Soit \(Z\) une variable aléatoire avec \(E[Z] = 7\) et \(\text{Var}(Z) = 16\).
1. Utiliser l'inégalité de Bienaymé-Tchebychev pour établir une borne pour \(P(Z \leq 3)\).
2. Que signifie ce résultat en termes de probabilité ?
Considérons une variable aléatoire \(W\) avec \(E[W] = 8\) et \(\text{Var}(W) = 4\).
1. Montrer que \(P(W \geq 10) \leq \frac{4}{(10 - 8)^2}\).
2. Quel est le résultat numérique de cette inégalité ?
Soit \(V\) une variable aléatoire avec \(E[V] = 6\) et \(\text{Var}(V) = 2\).
1. Utiliser l'inégalité de Bienaymé-Tchebychev pour établir une borne pour \(P(|V - 6| \geq 2)\).
2. Que peut-on conclure à partir de cette inégalité ?
Une variable aléatoire \(X\) a pour espérance \(E(X) = 50\) et variance \(\text{Var}(X) = 25\).
En utilisant l'inégalité de Bienaymé-Tchebychev, donner une borne supérieure pour \(P(|X - 50| \geq 15)\).
On lance une pièce équilibrée \(n\) fois. Soit \(S_n\) le nombre de "pile" obtenus.
Utiliser l'inégalité de Bienaymé-Tchebychev pour déterminer le nombre minimum de lancers nécessaire pour que \(P\left(\left|\frac{S_n}{n} - \frac{1}{2}\right| \geq 0.1\right) \leq 0.05\).
Une variable aléatoire \(X \geq 0\) a pour espérance \(E(X) = 12\).
Utiliser l'inégalité de Markov pour majorer \(P(X \geq 20)\).
Soit \(X\) une variable aléatoire avec \(E(X) = 10\) et \(\text{Var}(X) = 4\).
Comparer les bornes obtenues par les inégalités de Markov et de Bienaymé-Tchebychev pour \(P(X \geq 16)\).
Soient \(X_1, X_2, \ldots, X_{100}\) des variables aléatoires indépendantes uniformes sur \([0,1]\). Soit \(\bar{S} = \frac{X_1 + \ldots + X_{100}}{100}\) la moyenne empirique.
Utiliser l'inégalité de Bienaymé-Tchebychev pour majorer \(P\left(\left|\bar{S} - \frac{1}{2}\right| \geq 0.1\right)\).
Une machine produit des pièces dont \(5\%\) sont défectueuses en moyenne. On prélève un échantillon de 400 pièces.
Quelle est la probabilité que le pourcentage de pièces défectueuses dans l'échantillon s'écarte de plus de \(2\%\) de la moyenne théorique ?
On dispose de 1000 variables aléatoires indépendantes \(X_1, \ldots, X_{1000}\) de loi exponentielle de paramètre \(\lambda = 2\).
Comparer les bornes données par l'inégalité de Bienaymé-Tchebychev et l'approximation normale pour \(P\left(\left|\bar{S} - \frac{1}{2}\right| \geq 0.1\right)\), où \(\bar{S}\) est la moyenne empirique.
Abonnez-vous maintenant et recevez notre newsletter hebdomadaire avec des matériaux éducatifs, de nouveaux cours, des articles intéressants, des livres populaires et bien plus encore !
Éducation
