Ошибка UnicodeDecodeError означает, что байты не удалось прочитать по выбранным правилам декодирования. Это не то же самое, что отсутствие файла или плохой шрифт терминала. На Mentoring.digital разберём чтение UTF-8 через pathlib и порядок диагностики, который не скрывает повреждённые данные.
Сначала различите байты и текст
Файл хранит байты. Для получения строки нужны правила их интерпретации, то есть кодировка. Если вы управляете и записью, и чтением, задайте её явно на обеих сторонах. Тогда поведение не зависит от неявной договорённости между двумя частями проекта.
from pathlib import Path
path = Path("example.txt")
path.write_text("Привет, мир!", encoding="utf-8")
text = path.read_text(encoding="utf-8")
assert text == "Привет, мир!"Команда записи создаёт или перезаписывает указанный файл. Запускайте учебный пример в отдельной папке с ненужным файлом, а не на пользовательском документе. В проекте путь должен соответствовать вашей структуре, а не случайному текущему каталогу запуска.
Если кодировка исходника неизвестна
Не меняйте аргумент наугад до исчезновения ошибки. Сначала выясните источник файла и правила его экспорта. Сохраните исходные байты и небольшой безопасный фрагмент для исследования. Факт успешного декодирования некоторой кодировкой сам по себе не подтверждает правильность полученного текста.
raw = path.read_bytes()
print(len(raw))
print(raw[:16].hex())Такой вывод показывает ограниченный фрагмент байтов, но он всё равно может содержать закрытые данные. Для обсуждения используйте учебный файл или разрешённую обезличенную часть. Не отправляйте весь документ только потому, что ошибка относится к кодировке.
Для ожидаемого UTF-8 с начальным BOM может быть уместен вариант utf-8-sig. Это должно следовать формату источника, а не служить универсальным способом починки любого файла. Один маркер не описывает весь процесс обмена и не отменяет проверку содержимого.
Почему ignore не является исправлением
Параметр обработки ошибок может разрешать пропуск или замену недекодируемых последовательностей. Тогда программа продолжает работу, но полученная строка может отличаться от исходного содержания. Для идентификаторов, настроек и данных обмена такая потеря способна менять смысл.
bad = b"\xff"
try:
bad.decode("utf-8")
except UnicodeDecodeError:
print("Invalid UTF-8 detected")В этом учебном примере отказ является ожидаемым результатом проверки. Он показывает недопустимую последовательность, не подменяя её молчаливым исчезновением. Если задача действительно допускает потери, это должно быть явно описанное правило с наблюдаемым учётом, а не случайная настройка ради зелёного запуска.
Отделите файл от терминала
Если строка прочитана корректно, но отображается неправильно, исследуйте канал вывода отдельно. Проверяйте значение через сравнение или запись в файл с известной кодировкой. Не переписывайте исходный документ только потому, что один терминал показал неверные символы.
Укажите среду запуска, версию Python и место возникновения исключения. Чтение файла, обработка строки и печать являются разными этапами. Полезный минимальный пример показывает первый этап, на котором данные перестают соответствовать ожиданию.
Какие проверки оставить в проекте
Проверьте круговую запись и чтение русского текста с явным UTF-8, ожидаемый отказ на недопустимых байтах и правильный путь. Для внешнего формата добавьте собственный безопасный образец. Не считайте один короткий файл доказательством корректной обработки всех вариантов экспорта.
Для разбора потока данных можно выбрать наставника по Python. Подготовьте условия происхождения файла и воспроизводимый фрагмент, сохранив оригинал. Это помогает найти место неверной интерпретации, а не скрывать его настройкой, которая незаметно удаляет информацию.
