Statistics of Common Crawl Monthly Archives

Number of pages, distribution of top-level domains, crawl overlaps, etc. - basic metrics about Common Crawl Monthly Crawl Archives
Latest crawl: CC-MAIN-2025-08

View the Project on GitHub

Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector. The underlying data including page counts is provided in languages.csv.

crawl CC-MAIN-2024-51 CC-MAIN-2025-05 CC-MAIN-2025-08
language
<unknown> 3.0651 2.6949 3.0224
aar 0.0001 0.0001 0.0001
abk 0.0005 0.0005 0.0006
afr 0.0095 0.0087 0.0099
aka 0.0001 0.0001 0.0002
amh 0.0025 0.0028 0.0031
ara 0.6837 0.6640 0.6856
asm 0.0025 0.0025 0.0025
aym 0.0001 0.0001 0.0000
aze 0.0615 0.0572 0.0630
bak 0.0025 0.0026 0.0029
bel 0.0148 0.0143 0.0149
ben 0.1134 0.1089 0.1147
bih 0.0005 0.0005 0.0005
bis 0.0001 0.0001 0.0001
bod 0.0015 0.0014 0.0015
bos 0.0525 0.0520 0.0571
bre 0.0034 0.0018 0.0029
bul 0.2983 0.2985 0.3103
cat 0.1990 0.1876 0.1849
ceb 0.0018 0.0015 0.0017
ces 0.9955 1.0225 1.0083
chr 0.0000 0.0000 0.0000
cos 0.0019 0.0019 0.0018
crs 0.0001 0.0001 0.0001
cym 0.0110 0.0109 0.0107
dan 0.4437 0.4850 0.4671
deu 5.3963 5.5857 5.4039
div 0.0025 0.0022 0.0025
dzo 0.0002 0.0002 0.0002
ell 0.5779 0.5740 0.5833
eng 42.7983 43.3694 43.3794
epo 0.0071 0.0074 0.0074
est 0.1325 0.1345 0.1306
eus 0.0367 0.0347 0.0346
fao 0.0042 0.0045 0.0043
fas 0.7441 0.7250 0.7274
fij 0.0001 0.0001 0.0001
fin 0.3510 0.3678 0.3563
fra 4.4110 4.5221 4.2950
fry 0.0027 0.0020 0.0027
gla 0.0013 0.0013 0.0013
gle 0.0069 0.0066 0.0074
glg 0.0323 0.0320 0.0297
glv 0.0003 0.0005 0.0004
got 0.0000 0.0000 0.0000
grn 0.0008 0.0007 0.0007
guj 0.0117 0.0120 0.0124
hat 0.0019 0.0018 0.0020
hau 0.0027 0.0026 0.0027
haw 0.0006 0.0006 0.0006
heb 0.2501 0.2701 0.2563
hin 0.1995 0.1951 0.2040
hmn 0.0006 0.0005 0.0006
hrv 0.2210 0.2238 0.2258
hun 0.5171 0.5023 0.5021
hye 0.0335 0.0318 0.0327
ibo 0.0007 0.0006 0.0006
iku 0.0002 0.0002 0.0002
ile 0.0003 0.0004 0.0003
ina 0.0005 0.0006 0.0005
ind 1.1051 1.1676 1.1845
ipk 0.0001 0.0001 0.0001
isl 0.0408 0.0423 0.0389
ita 2.4139 2.4152 2.3997
jav 0.0023 0.0022 0.0023
jpn 5.2819 5.4046 5.1641
kal 0.0008 0.0008 0.0008
kan 0.0133 0.0125 0.0135
kas 0.0000 0.0000 0.0000
kat 0.0399 0.0396 0.0415
kaz 0.0284 0.0272 0.0298
kha 0.0004 0.0004 0.0004
khm 0.0102 0.0104 0.0109
kin 0.0022 0.0019 0.0021
kir 0.0103 0.0097 0.0091
kor 0.7580 0.7183 0.8078
kur 0.0068 0.0063 0.0068
lao 0.0032 0.0033 0.0040
lat 0.1039 0.1195 0.1060
lav 0.0898 0.0888 0.0878
lif 0.0000 0.0000 0.0000
lin 0.0002 0.0003 0.0003
lit 0.1618 0.1659 0.1627
ltz 0.0038 0.0038 0.0038
lug 0.0001 0.0002 0.0002
mal 0.0254 0.0228 0.0251
mar 0.0271 0.0258 0.0278
mfe 0.0002 0.0001 0.0001
mkd 0.0370 0.0361 0.0380
mlg 0.0032 0.0028 0.0035
mlt 0.0034 0.0030 0.0032
mon 0.0155 0.0146 0.0162
mri 0.0012 0.0013 0.0013
msa 0.0771 0.0781 0.0785
mya 0.0128 0.0129 0.0137
nau 0.0000 0.0000 0.0000
nep 0.0521 0.0519 0.0552
nld 1.8093 1.9167 1.7941
nno 0.0164 0.0162 0.0167
nor 0.3023 0.3142 0.3042
nso 0.0001 0.0001 0.0001
nya 0.0005 0.0005 0.0005
oci 0.0039 0.0034 0.0033
ori 0.0061 0.0056 0.0060
orm 0.0004 0.0006 0.0005
pan 0.0075 0.0069 0.0070
pol 1.9072 1.8248 1.7470
por 2.3361 2.3259 2.3274
pus 0.0033 0.0030 0.0031
que 0.0005 0.0006 0.0005
roh 0.0011 0.0010 0.0010
ron 0.6095 0.6189 0.6304
run 0.0001 0.0000 0.0001
rus 6.1830 6.0460 6.0982
sag 0.0003 0.0006 0.0001
san 0.0031 0.0030 0.0032
sco 0.0006 0.0005 0.0006
sin 0.0093 0.0098 0.0094
slk 0.3594 0.3617 0.3568
slv 0.1577 0.1504 0.1509
smo 0.0006 0.0006 0.0006
sna 0.0007 0.0007 0.0006
snd 0.0014 0.0014 0.0016
som 0.0047 0.0046 0.0052
sot 0.0006 0.0006 0.0006
spa 4.5824 4.6417 4.5461
sqi 0.0457 0.0452 0.0487
srp 0.2203 0.2174 0.2152
ssw 0.0000 0.0000 0.0000
sun 0.0010 0.0010 0.0010
sux 0.0000 0.0000 0.0000
swa 0.0083 0.0085 0.0083
swe 0.6438 0.6547 0.6415
syr 0.0003 0.0003 0.0004
tam 0.0437 0.0422 0.0457
tat 0.0084 0.0069 0.0081
tel 0.0201 0.0180 0.0198
tgk 0.0070 0.0063 0.0065
tgl 0.0085 0.0078 0.0083
tha 0.4200 0.4554 0.5037
tir 0.0007 0.0008 0.0007
ton 0.0001 0.0001 0.0001
tsn 0.0001 0.0001 0.0001
tso 0.0001 0.0001 0.0001
tuk 0.0021 0.0017 0.0020
tur 1.2537 1.1750 1.1411
uig 0.0012 0.0010 0.0012
ukr 0.6181 0.6046 0.6075
urd 0.0292 0.0276 0.0303
uzb 0.0221 0.0199 0.0226
ven 0.0000 0.0001 0.0000
vie 1.0133 1.0427 1.0551
vol 0.0004 0.0005 0.0005
war 0.0021 0.0019 0.0023
wol 0.0001 0.0001 0.0001
xho 0.0008 0.0008 0.0008
yid 0.0015 0.0014 0.0017
yor 0.0009 0.0009 0.0008
zha 0.0001 0.0001 0.0002
zho 5.2720 4.6719 5.0942
zul 0.0013 0.0012 0.0013