Some stuff (Записи о python)

Простой Logging в Python

None — Tue, 27 Oct 2026 17:59:09 GMT

Для логирования действий в python есть модуль logging.

Здесь во всех примерах логирование будет просто выводом в консоль, по сути, как настраиваемые отладочные сообщения, но сам модуль позволяет делать гораздо больше.

В целом кратко:

Создается объект логгер
Устанавливается уровень сообщений, которые он будет воспринимать
Создаются хендлер(ы), которые будут заниматься выводом логов (в файл, в консоль...)
Устанавливается уровень вывода для каждого хендлера (например, в консоль могут выводиться только ошибки, а в файл записываться ошибки и предупреждения).
Создаются форматтеры (определяют формат вывода сообщений в логи)
Форматтеры привязываются к хендлерам
Хендлеры привязываются к логгерам (один логгер может иметь сразу несколько разных хендлеров одновременно, например, для вывода и в файл и в консоль).

Само собой всё это гибко настраивается и расширяется/дополняется при необходимости.

Пример начальной инициализации:

import logging

# создание root логгера
logger = logging.getLogger()
# установка уровня логирования для всего логгера
logger.setLevel(logging.INFO)

# создание формата для вывода сообщений
formatter = logging.Formatter("%(levelname)s: %(name)s: %(message)s")
#formatter = logging.Formatter("%(filename)s:%(lineno)d: %(name)s %(funcName)s: %(message)s")

# создание StreamHandler - то есть потокового вывода
handler = logging.StreamHandler()

# установка уровня логирования для текущего хендлера 
# (может отличаться от уровня для всего логгера)
handler.setLevel(logging.INFO)
# Привязка ранее созданного формата к хендлеру
handler.setFormatter(formatter)
# Привязка ранее созданного хендлера к логгеру
logger.addHandler(handler)

Вывод в лог сообщений разного уровня:

logger.critical("All is lost and nothing can be done.").
logger.error("Unable to open input file %s.", infile).
logger.warning("Config file not found. Using defaults").
logger.info("SSL verify disabled")
logger.debug("id=%d, name=%s, full_name=%s, url=%s", user_id, user_name, user_fname, url)

Передавать созданный логгер, например, в классы или подмодули не обязательно. Можно одной строкой создать дочерний логгер и он будет выводить через родительский, со всеми его привязками и настройками, без дополнительных настроек (само собой, при желании можно часть или все настройки поменять, не затрагивая родительский).

Создать дочерний логгер с заданным именем:

class NewShinyClass():

  def __init__(self):
    # создание дочернего логгера в классе
    self.logger = logging.getLogger('pygogs')

  def some_member(self):
    ...
    self.logger.debug("Entering advanced mode")
    ...

Если надо сделать условие на текущий реальный уровень логгирования (с учетом родительско-дочерних отношений логгеров) то так:

if self.logger.getEffectiveLevel() < logging.INFO:
  self.logger.debug("Scan source dirs...:")
  self.do_scan()
  self.logger.debug("Scan complete")

Если скрипт является консольным приложением с поддержкой аргументов командно строки, то можно сделать (как это обычно принято у консольных приложений) аргумент verbose или -v и чем больше таких аргументов, тем подробнее вывод.

В примере разбор аргументов сделан при помощи типового argparse.

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import argparse
import logging

__version__ = "1.0"

###############################################################################
def main():
  descr = "My super script"
  additional = "just example"
  parser = argparse.ArgumentParser (description=descr,  epilog=additional)
  parser.add_argument('--version', action='version', 
                      version='%(prog)s ' + __version__)
  parser.add_argument("-v", "--verbose",
                      action="count", default=0,
                      help="increase verbosity")

  args = parser.parse_args()

  # уровень логгирования в зависимости от количества параметров -v
  if args.verbose == 0:   lvl = logging.WARNING
  elif args.verbose == 1: lvl = logging.INFO
  else:                   lvl = logging.DEBUG

  logger = logging.getLogger()
  logger.setLevel(lvl)

  formatter = logging.Formatter("%(levelname)s: %(message)s")
  handler = logging.StreamHandler()
  handler.setLevel(lvl)
  handler.setFormatter(formatter)
  logger.addHandler(handler)

  .....

  return 0

###############################################################################
if __name__ == '__main__':
  ret = main()
  sys.exit(ret)

Отличное подробное видео на тему: https://youtu.be/jF_XglX0JgM

Системные сертификаты в python requests

None — Wed, 29 Apr 2026 11:44:30 GMT

При запросе по https при помощи requests из скрипта на python есть несколько вариантов для проверки сертификата. За это отвечает параметр verify.

Отключение проверки

Если параметр verify равен False, то проверка будет отключена. Это в целом нехорошо, да и будут выводиться всякие предупреждения. Для закрытой локалки как временное решение может и сойдёт...

import requests

r = requests.get(url, verify=False)

Проверка по умолчанию

Если параметр verify равен True (это значение по умолчанию), то проверка будет проводиться на соответствие python-certifi.

import requests

r = requests.get(url, verify=True)

Проверка "вручную"

Можно вручную сохранить сертификаты в текстовый файл (всю цепочку, от корневого центра до сертификата сайта) и путь до этого файла дать в качестве параметра. Тогда сертификаты будут проверяться на соответствие сохраненным в этом файле.

import requests

r = requests.get(url, verify='/path/to/certfile')

Использование системных сертификатов

Обычная включенная проверка (verify=True) проверяет сертификаты "встроенные" в certifi, при этом игнорируя сертификаты установленные в системе. Иногда это неудобно. Решением данной проблемы может служить установка пакета pip-system-certs:

pip3 install pip-system-certs

После этого обычная проверка (verify=True) будет учитывать установленные в системе сертификаты.

Источник: https://stackoverflow.com/questions/50422136/python-requests-with-wincertstore

Telegraph ссылка авторизации

None — Tue, 23 Jan 2024 20:07:32 GMT

Введение в суть проблемы

В сервисе публикаций telegraph в явном виде авторизации нет. В неявном оно, конечно, есть (иначе было б невозможно редактировать ранее написанное), но хранится исключительно в cookies браузера. Грубо говоря, из другого места не получится редактировать, да и с этого ровно до тех пор пока не очистишь cookies.

Конечно, всегда можно тупо скопировать картинки и текст и создать новый пост в telegraph, но это как-то не то...

Разработчики предлагают частично решить проблему при помощи telegram-бота @Telegraph. Бот @Telegraph позволяет авторизовываться в Telegraph через учётную запись Telegram. Фактически он авторизует браузер, а так как telegram можно запускать на разных устройствах, то можно авторизовать (через этого же бота) браузеры на разных устройствах и это будет один и тот же аккаунт.

Проблема решена! Но не совсем... Бывает нужно авторизовать браузер другого (удаленного) человека. Или где-то нельзя (или не хочется) запускать telegram...

Для этого случая предусмотрено формирование ссылки авторизации, которая действует (суля по описанию) 5 минут, и по ней можно авторизовать браузер. Сложности начинаются с того, как её сформировать. Бот почему-то не умеет (зато закрывать лишние сеансы/сессии бот прекрасно умеет).

А ещё у telegra.ph есть web-api и там авторизация ведётся по access_token. То есть, базовым элементом авторизации является access_token, только явно его не показывают.

Пора сводить всё это вместе и решить уже проблему генерации ссылки.

Получение токена

Обычно все описания пишут, что надо создать аккаунт и тогда API вернет токе нового аккаунта. У нас же задача подцепить уже существующий аккаунт.

Для начала надо иметь авторизованный (лучше через бота) браузер.

В браузере надо открыть средства разработчика, загрузить https://telegra.ph и из Application/Cookies скопировать tph_token (набор букв и цифр).

Получаем ссылку авторизации

Можно использовать curl, можно использовать python.

Использование curl

После этого можно (уже на любом устройстве, не обязательно авторизованном) сделать запрос ссылки для авторизации. Под Windows так:

curl "https://api.telegra.ph/getAccountInfo?fields=%%5B%%22auth_url%%22%%5D&access_token=<token>"

Под bash так:

curl "https://api.telegra.ph/getAccountInfo?fields=%5B%22auth_url%22%5D&access_token=<token>"

где вместо <token> следует вписать скопированный токен.

Скрипт напечатает ссылку для авторизации, которую уже нужно ввести в том, браузере, который надо авторизовать.

Список постов можно посмотреть так:

curl "https://api.telegra.ph/getPageList?access_token=<token>"

Вообще есть Описание telegra.ph API и там можно, например, выводить статистику просмотров...

Использование python

Установить пакет telegraph ( вот описание ).

pip3 install telegraph

Создать простой скрипт для получения ссылки авторизации (токен тоже понадобится).

from telegraph import Telegraph

telegraph = Telegraph(access_token="<token>")
r = telegraph.get_account_info(fields=['auth_url'])
print(r)

Python: преобразование docx в pdf

None — Thu, 02 Feb 2023 17:32:02 GMT

Описание

Скрипт работает только под windows. Для работы нужен установленный Microsoft Word и пакет для python comtypes.

Фактически скрипт делает тоже самое как если бы вы открыли документ в Word-e и нажали "Сохранить как" в формат pdf. То есть все так и происходит, сохраняет сам Word, только не надо запускать его явно и не надо никуда жать.

Установка зависимостей

Пакет comtypes можно установить стандартными средствами через pip:

pip3 install comtypes

Сам скрипт

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import os
import sys

import comtypes.client

wdFormatPDF = 17

#########################################################################
def covx_to_pdf(infile, outfile):
    """Convert a Word .docx to PDF"""

    print("Creating object...")
    word = comtypes.client.CreateObject('Word.Application')
    print("Opening docx file...")
    doc = word.Documents.Open(infile)
    print("Saving pdf file...")
    doc.SaveAs(outfile, FileFormat=wdFormatPDF)
    print("Closing document...")
    doc.Close()
    print("Exiting...")
    word.Quit()

#########################################################################
def main():
  print("Start conversion.")
  covx_to_pdf("inputfile.docx", "outputfile.pdf")
  print("Finished.")
  return 0

#########################################################################
if __name__ == '__main__':
  ret = main()
  sys.exit(ret)

Объединение словарей в python3

None — Mon, 18 Oct 2021 23:04:58 GMT

  # Объединение словарей чтоб получить общий словарь Имя-Метка
  all_refs = {**dict1, **dict2, **dict3, **dict4}

Получение каталогов в python

None — Wed, 28 Apr 2021 16:27:20 GMT

Получение домашнего каталога

def my_homedir():
  home_env = os.getenv('HOME')
  if home_env is None:
    home_env = os.path.expanduser('~')
  homedir = home_env
  if homedir[-1:] == '/' or homedir[-1:] == "\\":
    homedir = homedir[0:-1]
  return homedir

Получение каталога, где расположен сам скрипт

mydir = os.path.dirname(os.path.realpath(__file__))

Получение каталога c ресурсами

Учитывает как простой запуск, так и запуск exe, созданного при помощи pyinstaller. Аргументом можно дать имя подкаталога внутри каталога с ресурсами.

При обычном запуске возвращает каталог, где расположен сам скрипт.

def resource_path(relative_path = None):
  try:
      base_path = sys._MEIPASS
  except Exception:
      base_path = os.path.abspath(os.path.dirname(__file__))
  if relative_path is None:
    return base_path
  else:
    return os.path.join(base_path, relative_path)

Получение каталога c настройками

Учитывает переменную окружения XDG_CONFIG_HOME.

def system_config_dir():
  p = os.getenv('XDG_CONFIG_HOME', my_homedir() + '/.config')
  return p

Шаблон пустого python3-скрипта

None — Sun, 17 Jan 2021 23:03:25 GMT

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import sys
import os

###############################################################################
def main():

  return 0

###############################################################################
if __name__ == '__main__':
  ret = main()
  sys.exit(ret)

Запуск http-сервера на python

None — Fri, 08 Jan 2021 12:47:23 GMT

Чтобы просто расшарить папку можно запустить в ней простой http-server. По умолчанию сервер запускается на порту 8000.

python -m http.server [port]

Если python имеет исполняемый файл python3, то его и надо вписать в скрипт:

python3 -m http.server [port]