python on Trim21's Blog

用pyenv安装python

Mon, 23 Dec 2019 00:00:00 +0800

pyenv是用来安装多个版本的 python

官方提供了安装脚本

curl https://cdn.jsdelivr.net/gh/pyenv/pyenv-installer/bin/pyenv-installer | bash

(用 jsdeliver 是因为 raw.githubusercontent.com 现在访问不通了)

启用 cache，用于缓存下载的 python 源代码:

mkdir -p .pyenv/cache

使用 ccache, 可以缓存编译中产生的中间文件，不是必需，但是在多次构建统一版本的 python 时可以有效加速。

git clone https://github.com/yyuu/pyenv-ccache.git $(pyenv root)/plugins/pyenv-ccache
sudo apt install ccache

安装过程中会出现的错误

zipimport.ZipImportError: can’t decompress data; zlib not available

sudo apt install zlib1g-dev

WARNING: The Python bz2 extension was not compiled. Missing the bzip2 lib?

sudo apt install libbz2-dev

WARNING: The Python readline extension was not compiled. Missing the GNU readline lib?

给win10应用商店设置代理

Wed, 26 Jun 2019 21:32:31 +0800

最近网络状况实在是不好,用 win10 应用商店下载应用怎么也不成功.修改系统代理也不管用. 参照少数派的这篇文章设置了代理,总算是解决了问题.

其中,最麻烦的是找到对应 uwp 应用的 sid,因为是要在表里一项一项的去找.

win10 商店对应的应用在注册表中的DisplayName是Microsoft.WindowsStore, 所以遍历HKEY_CURRENT_USER\Software\Classes\Local Settings\Software\Microsoft\Windows\CurrentVersion\AppContainer\Mappings的所有子 key,找到对应DisplayName中包含Microsoft.WindowsStore的一项就可以了.

因为手动一项一项的去找效率实在是太低,就直接写了个 python 脚本来遍历.

import winreg


def iterkeys(key):
    # 获取该键的所有子键，因为没有方法可以获取子键的个数，所以只能用这种方法进行遍历
    try:
        i = 0
        while True:
            # EnumValue方法用来枚举键值，EnumKey用来枚举子键
            yield winreg.EnumKey(key, i)
            i += 1
    except WindowsError:
        return


def itervalues(key):
    # 获取该键的所有键值，因为没有方法可以获取键值的个数，所以只能用这种方法进行遍历
    d = {}
    try:
        i = 0
        while True:
            # EnumValue方法用来枚举键值，EnumKey用来枚举子键
            name, value, _ = winreg.EnumValue(key, i)
            d[name] = value
            i += 1
    except WindowsError:
        return d


def main():
    base_key = (
        r"Software\Classes\Local Settings\Software"
        r"\Microsoft\Windows\CurrentVersion\AppContainer\Mappings\\"
    )
    mappings = winreg.OpenKey(winreg.HKEY_CURRENT_USER, base_key)
    for key in iterkeys(mappings):
        k = winreg.OpenKey(winreg.HKEY_CURRENT_USER, base_key + key)
        info = itervalues(k)
        if 'WindowsStore' in info['DisplayName']:
            print(info['DisplayName'])
            print(key)
            break


if __name__ == '__main__':
    main()

直接保存成 py 文件,然后运行,控制台的第二行会输出类似S-1-15-2-****的一个 SID,就是在CheckNetIsolation.exe loopbackexempt -a -p=${SID}中要用到的 SID.

用PyInstaller打包python应用

Sun, 02 Jun 2019 23:47:34 +0800

那天突然好奇，docker-compose是用什么语言写的。然后一看，发现居然是用 python2 写的。

但想到我安装的时候从来没在乎过机器上有没有安装 python，或者我的 python 版本是多少，而是按照官网的文档，直接下载一个二进制文件来安装的。突然眼前一亮。看了一下对应的构建代码，发现他是用PyInstaller来进行打包的，把一个 python 应用打包成单个的二进制文件。

一般来说，正常的 python 包的分发会基于 pip 的，发布到 pypi 和用户下载的都是代码文件（和其他语言编译的二进制文件），如果依赖于其他的 package 会在安装的时候再进行下载。

但用PyInstaller，打包出来的可执行文件中包含了所有用到的依赖和 python 解释器，并不需要本机安装了 python 或者 pip，像 docker-compose 这样的工具，打包之后成一个单文件，对于用户在安装和使用的时候都会方便许多，而对于我们开发者来说，就不用考虑兼容旧的 python 版本，可以直接使用 python3.6 的新语法如 type annotation 等，使用某些只有 python3.6 以上版本才能用的依赖库，自然也比原来爽了许多。

首先，PyInstaller 的工作原理是从一个 py 文件出发在静态分析出所有用到的依赖，然后把所有的依赖打包起来，在用户使用二进制的时候释放到一个临时文件夹中，用 Python 解释器来运行。

PyInstaller 入门的文章已经有很多了，就不再重复写一遍了，主要遇到的坑有这么几个。

用到的非 py 文件要手动指定路径一起打包

我的程序中用到了一些模板文件，是在程序运行起来之后才根据需要加载决定是否渲染的。这些文件因为不是 python 文件，所以 PyInstaller 在分析的时候也不会知道是程序的一部分，就不会打包在二进制中。

在程序运行的时候，如果用到了对应的文件，因为没有被打包进来的缘故，程序就会报错。

如果用命令行来指定要一起打包的文件效率过低，所以可以编写一个 spec 文件来告诉 PyInstaller 要如何打包。

（这是我之前尝试打包我的程序是用到的 spec 文件，但是因为不支持entry_points的原因，所以我最后放弃了使用这个办法，但是打包出来的程序在不用到entry_points的情况下是跟直接使用 pip 安装行为一致的。）

bgmi.spec

# -*- mode: python -*-
from PyInstaller.building.api import EXE, PYZ
from PyInstaller.building.build_main import Analysis

import os
import os.path
import importlib

bindata_dir = [
    'bgmi/front/templates',
    'bgmi/lib/models/migrations',
]


def get_bindata():
    for dir_path in bindata_dir:
        for file in os.listdir(dir_path):
            yield (os.path.join(dir_path, file), dir_path)


block_cipher = None

package_imports = [['peewee_migrate', ['template.txt']]]
datas = list(get_bindata())

for package, files in package_imports:
    proot = os.path.dirname(importlib.import_module(package).__file__)
    datas.extend((os.path.join(proot, f), package) for f in files)

a = Analysis(['bgmi/__main__.py'],
             pathex=['.'],
             hiddenimports=[],
             hookspath=None,
             datas=datas,
             runtime_hooks=None,
             cipher=block_cipher)

pyz = PYZ(a.pure, cipher=block_cipher)

exe = EXE(
    pyz,
    a.scripts,
    a.binaries,
    a.zipfiles,
    a.datas,
    name='bgmi',
    debug=False,
    strip=None,
    upx=True,
    console=True,
    bootloader_ignore_signals=True,
)

其中，a = Analysis(['bgmi/__main__.py'],为程序的入口就是原本如果使用命令行的话，在 PyInstaller 后面跟的那个 py 文件路径。

参与python文档的中文翻译

Sun, 31 Mar 2019 01:28:36 +0800

今天看到这个帖子别开心太早， Python 官方文档的翻译差远了 - V2EX 发现参与 python 文档翻译的门槛还挺低的，就尝试了一下翻译了两段文档.

参与翻译的方法

按照 pep-545的说法, 有三步需要做:

注册一个 https://bugs.python.org 的账号, 这个用户名在签 license 的时候会用到.
签 license 介绍具体签署是在这个页面上用的 adobe sign, 填完那个 iframe 里面的几个框就能提交了.
注册 transifex, 选择自己的语言, 并且申请加入

然后等待被允许加入团队, 然后就可以开始翻译了.

翻译是以每段为单位进行的

python/python-docs-zh-cn: zh_CN translation of the Python documentation

中文的 po 文件在这个仓库里, 每个小时会有一个 bot 会自动把 transifex 上面的翻译同步到仓库里面去, 但是自己的名字并不会出现在这个仓库的 contributors 里面, 233

基于asyncio的web框架aiohttp

Fri, 05 Oct 2018 17:42:21 +0800

本来想扯一通标准库里添加了asyncio的意义, 什么统一了异步框架, 什么方便代码前移之类的了. 然后发现原来大家也都是用装饰器+生成器来写的, 好像也没啥区别…

迁移的主要阻力也不是各个框架实现异步的方式不同, 而是用到了框架的某些特性, 在其他框架里可能没有, asyncio成为标准库也改变不了这一点.

不过 python3.4 3.5 3.6 添加了很多新功能,语言层面的异步支持越来越好了

在 3.4 就是上面说的, 引入了asyncio的标准库.

3.5 有了一系列的 bug fix ,可以见why-is-python-3-5-3-the-lowest-supported-version, 还支持了async/await语法.

不过 3.5 的时候async/await还不是关键字, 还可以给async赋值, 所以到了 python3.7 的时候挂了一堆库, 因为他们用了async当变量…

import asyncio
import sys

print(sys.version_info) # 3.5.4


async def hello():
    print("Hello world!")
    # 异步调用asyncio.sleep(1):
    r = await asyncio.sleep(1)
    print("Hello again!")


async = 1
print(async)

# 获取EventLoop:
loop = asyncio.get_event_loop()
# 执行coroutine
loop.run_until_complete(hello())
loop.close()

会输出

1
Hello world!
Hello again!

但是如果到了 python3.7, 会报错SyntaxError, 也因为这个原因挂了一堆库.

自动重新构建部署博客

Sun, 14 May 2017 04:57:28 +0800

想折腾这个很久了,终于把这个折腾好了.

现在写博客的流程是,我在本机维护一个 git repo,里面是我所有的文章.然后我写完一篇文章或者修改了文章之后 push 到 github 上去,相应的 github pages 就会根据用来保存文章的 repo 自动最新的状态.

原本是在自己的 vps 上开了一个服务器处理 webhook, 现在换成了travis-ci来自动部署.

不得不说travis-ci是个好东西. 如果你是开源项目, 是可以免费使用的, 只有 private 的仓库才需要付费.

写个博客, 自然所有的东西都是公开的, 用他来构建也没什么问题.

唯一的问题是, 构建之后的部署需要密钥, travis 自然也考虑到了这种问题, 可以在more options- settings - Environment Variables中添加保密的环境变量, 这样一来我们只要去 github 生成一个可以 push 的 token, 用这个 token 又可以避免泄露凭证个第三方, 又可以利用公有服务操作我们的个人仓库.

首先生成一个 token, 这个比较简单

因为 github pages 要求 push 到${username}.github.io的仓库中, 比如我的用户名是trim21, 我就需要把文件 push 到trim21.github.io去, 所以我们需要告诉hexo他要操作的部署的仓库地址.

而_config.yml里面又不能使用环境变量, 只能每次部署的时候把对应的仓库链接给 echo 进去, 避免泄漏.

我的_config.yml文件结尾是这样的

# Deployment
## Docs: https://hexo.io/docs/deployment.html
deploy:
  type: git
  branch: master

然后 echo 到_config.yml

树莓派控制步进电机

Sat, 13 Aug 2016 21:53:02 +0800

有一个题目需要用步进电机控制转速,而且需要控制转动特定的角度,所以找到了步进电机这种东西来拍照.

ubuntu安装matplotlib

Mon, 25 Jul 2016 19:26:07 +0800

(可恶,git 用的不熟练,把 commit 丢了…重写文章)

总结一下,在安装了NumPy之后还需要安装

freetype
libpng
libffi
cairocffi

freetype 下载地址 http://download.savannah.gnu.org/releases/freetype/

wget http://download.savannah.gnu.org/releases/freetype/freetype-2.6.5.tar.gz
tar xvf freetype-2.6.5
sudo make
sudo make install

libpng 和 libffi 都在 apt 上有

➜  artic git:(master) ✗ search libffi
libffi-dev - Foreign Function Interface library (development files)

➜  artic git:(master) ✗ search libpng
libpng12-0 - PNG library - runtime
libpng12-dev - PNG library - development

直接 apt-get 安装即可

调用matplotlib的时候图像式全黑的,提示我安装cairocffi,是 pip 上的包,安装了第三个之后直接pip安装这个就可以了.