Кодировка в ответе сломана только у части страниц

Сайт один, раздел один, страницы отличаются только адресом. Из тысячи карточек примерно сто двадцать приходят кракозябрами, остальные читаются нормально.

Открываю такую страницу браузером: всё на месте. Тяну скриптом: «Ïðèâåò» вместо названия.

Скрипт простейший:

r = requests.get(u, timeout=20)
html = r.text

Что за выборочность такая?

Печатайте рядом с адресом две вещи: r.headers.get("content-type") и r.encoding. Спорим, у сломанных ста двадцати в заголовке нет упоминания кодировки.

у меня похожее было на прошлой неделе, помогло вот это

r.encoding = r.apparent_encoding
html = r.text

Ровно так. У нормальных text/html; charset=windows-1251, у сломанных просто text/html.

Совет Насти помог примерно на девяноста страницах из ста двадцати. Тридцать штук всё равно приходят мусором, причём мусор другой на вид.

Тут работают два разных механизма, поэтому и лечится в два приёма.

Первый. Когда сервер отдаёт text/* без указания кодировки, requests по старому соглашению подставляет ISO-8859-1. Байты при этом целые, а буквы получаются латинские с крышечками, это ваш первый случай. apparent_encoding спрашивает определитель, тот считает частоты байтов и отвечает догадкой. На связном русском тексте догадка почти всегда верная, на короткой карточке из трёх слов и артикула определитель промахивается. Отсюда ваши тридцать штук.

Второй приём надёжнее. Берите тот порядок, по которому идёт браузер: отметка в начале файла, потом заголовок ответа, потом meta внутри самой страницы. Последнюю ступень requests пропускает, хотя именно там у половины старых движков и написана правда.

Проще всего отдать эту работу разборщику, он умеет читать meta сам:

from lxml import html as lh
doc = lh.document_fromstring(r.content)   # именно content, байты

Обратите внимание на r.content. Как только вы взяли r.text, байты уже превращены в буквы по чужой догадке, и дальше спасать нечего.

А выгрузку вы чем пишете? Мусор бывает и не от сайта.

Присоединюсь к okhotnik. Есть две приметы, по которым видно, где именно ошиблись.

Если в выгрузке видите второй вид, сайт тут ни при чём, промах случился на записи файла.

о, вторую примету я как раз и ловила в экселе

Настя, эксель отдельная песня. Он открывает csv по системной кодировке и на utf-8 без отметки в начале файла показывает ровно такую кашу. Пишите с encoding="utf-8-sig", отметка встанет сама и таблица откроется как надо.

К слову о проверке: сравнивать глазами долго. Прогоните готовую выгрузку через простую проверку на подозрительные буквы, они в русском тексте почти не встречаются.

podozr = set("ÐÑÒÓÔÕ×ØÙÚÛÜÝÞß")
for nomer, stroka in enumerate(open("out.csv", encoding="utf-8"), 1):
    if podozr & set(stroka):
        print(nomer, stroka[:80])

И держите список сломанных адресов отдельным файлом. Через пару прогонов станет видно, привязаны они к разделу сайта или разбросаны как попало.

Собрал по итогу такой порядок действий.

Тяну r.content, разбор отдаю lxml, он сам разбирает отметку и meta. Оставшиеся спорные страницы прогоняю через определитель и, если тот сомневается, беру кодировку из заголовка соседней карточки того же раздела. Выгрузка пишется с отметкой в начале.

Тысяча карточек прошла без единой кракозябры, ostrov про meta попал точно: у тех тридцати штук в шапке страницы стояла своя кодировка, отличная от остального сайта. Спасибо всем.