中心極限定理に誤解がある様なので訂正します。
大数の法則は平均値が有限の時、任意の分布で成り立つことが知られています。
XPは必ず有限値を取るため、ちょこぺろや初心者がいる分布でも無限回サンプリングすれば、必ずサンプル平均は母平均に収束します。
中心極限定理はサンプリング回数が有限の時、サンプル平均の分布は元のデータの分布の形状に限らずに正規分布になると言う定理です。つまり、ある程度のサンプル数で平均を取れば余程の不運がない限り真の平均付近の値が取れると言うことです。
現実には、サンプル平均はある程度母平均と対応してるだろうと推論する過程で便利に使われています。
通報 ...