posts on Trim21's Blog

caddy在内网中无法更新证书

Mon, 23 Dec 2019 15:31:10 +0800

NAS 上面运行了一个 caddy 服务器，还设置了 https。最近突然遇到了证书过期的问题.

检查 log 发现是证书申请失败 SERVFAIL for _acme-challenge.my_domain.

大概搜索了一下, 是因为路由器的 dnsmasq 过滤掉了完成验证需要的 dns 查询

只要在 dnsmasq 设置中把 filterwin2k 参数禁用即可, 不同版本的 dnsmasq 禁用方法有些不同

利用手头已有资源尽可能高配的搭一台nas

Mon, 23 Dec 2019 00:00:00 +0800

现成已有的 nas：一台蜗牛星际 B 口单百兆，现在放了四块 500G 的硬盘租了一个 raid6。除去硬盘成本 268（机器）+200（电源）, 硬盘是旧硬盘. 用了三四个月之后已经有三四块硬盘报警了.

总是觉得有些不爽，主要是又不想把现有 nas 里面的数据都拷出来换硬盘，又觉得现在的百兆和 1T 容量不太能让人满意，所以想搞一个千兆的高性能 nas。

看了看市面上 nas 的价格，感觉硬件配置又不太对的起价格，于是决定自己搞一个。正好自己现在还闲置着一台核显的 itx 小机器

手头硬件

CPU 和主板

四代 i3 主板 4 个 sata3, 一个 m2 接口, 一个 pci-e 16x 接口, 两个 ddr4 内存接口
J1900, 主板两个 sata2 接口, 两个 ddr3 内存接口.

内存

两条 4g 台式机 ddr4 内存

一条 ddr3 内存接口

硬盘

闪迪 Sata3 256G SSD
两条杂牌 M2 128G SSD
两块 2.5 寸机械硬盘 500G 1T
五块 3.5 寸机械硬盘均 500G, 目前看来是不够的, 还会再买.

购入 256g nvme ssd 一条, 牌子就不说了

用pyenv安装python

Mon, 23 Dec 2019 00:00:00 +0800

pyenv是用来安装多个版本的 python

官方提供了安装脚本

curl https://cdn.jsdelivr.net/gh/pyenv/pyenv-installer/bin/pyenv-installer | bash

(用 jsdeliver 是因为 raw.githubusercontent.com 现在访问不通了)

启用 cache，用于缓存下载的 python 源代码:

mkdir -p .pyenv/cache

使用 ccache, 可以缓存编译中产生的中间文件，不是必需，但是在多次构建统一版本的 python 时可以有效加速。

git clone https://github.com/yyuu/pyenv-ccache.git $(pyenv root)/plugins/pyenv-ccache
sudo apt install ccache

安装过程中会出现的错误

zipimport.ZipImportError: can’t decompress data; zlib not available

sudo apt install zlib1g-dev

WARNING: The Python bz2 extension was not compiled. Missing the bzip2 lib?

sudo apt install libbz2-dev

WARNING: The Python readline extension was not compiled. Missing the GNU readline lib?

输入法切换到Rime

Wed, 23 Oct 2019 00:00:00 +0800

QQ 拼音终于也开始弹广告了，所以一怒之下准备删了。

又不能没输入法用，就用上了小狼毫。记录一下这中间遇到的若干坑。

安装

一路下一步，唯一的坑在于自定义用户文件夹这个功能。不要设置自定义用户文件夹。

如果是为了 rime 的多平台同步，rime 有另一个同步功能可以进行同步，而不需要同步整个用户文件夹。

rime 有一个包管理器，但是这个包管理器在 windows 上并不能正确的识别用户文件夹：无论用户怎么设置，包管理器都会认为用户文件夹在默认的 %APPDATA%/rime。包管理器也只会把下载到文件安装到这个路径里面，但小狼毫只从用户设置的文件夹中加载配置。这样一来，包管理器完全无法工作。

同步

同步 rime 有一个自带的同步功能，也就是安装完后看到的【小狼毫】用戶資料同步开始菜单选项。

首先打开用户文件夹中的installtion.yaml（我就不介绍 yaml 语法了），添加一个sync_dir选项指向你想要同步的位置，比如我设置的是$OneDrive/rime，那么在点击同步之后，rime 会在$sync_dir文件夹下新建一个文件夹，名为这个文件里面的id一项（这一项你也是可以改的，比如我改成了windows），然后把你这台机器里面的所有配置和和词库同步过去。

如果 rime 在这个文件夹下面还找到了其他机器的同步结果，他还会合并其他机器的词库，所以只要定时的让小狼毫自动同步，就能解决多台机器的同步问题。

设置

Rime 所有的设置（除了词库文件）都是 yaml，为了能合并不同的 YAML 中的，rime 用到了一些关键词比如patch。

小狼毫的配置文件在$RIME_CONFIG_DIR/weasel.custom.yaml中。

设置外观

设置候选词数量

patch:
  "menu/page_size": 9

设置主题

patch:
  "style/color_scheme": steam
  "style/font_face": "Microsoft YaHei" # 显示字体
  "style/font_point": 14 # 字体大小
  "style/horizontal": true # 水平显示
  "style/layout/margin_x": 7 # 窗口边界距离
  "style/layout/margin_y": 7 # 窗口边界距离
  "style/layout/spacing": 2 #候选竖排时候与候选词的间距
  "style/layout/candidate_spacing": 1 # 候选间距
  "style/layout/round_corner": 8 # 圆的拐角
  # 还有一些额外的设置，这不是完整的列表，只是我用到的

style/color_scheme 设置了内置的配色方案，完整的列表可以在这里找到 https://github.com/rime-aca/color_schemes

给win10应用商店设置代理

Wed, 26 Jun 2019 21:32:31 +0800

最近网络状况实在是不好,用 win10 应用商店下载应用怎么也不成功.修改系统代理也不管用. 参照少数派的这篇文章设置了代理,总算是解决了问题.

其中,最麻烦的是找到对应 uwp 应用的 sid,因为是要在表里一项一项的去找.

win10 商店对应的应用在注册表中的DisplayName是Microsoft.WindowsStore, 所以遍历HKEY_CURRENT_USER\Software\Classes\Local Settings\Software\Microsoft\Windows\CurrentVersion\AppContainer\Mappings的所有子 key,找到对应DisplayName中包含Microsoft.WindowsStore的一项就可以了.

因为手动一项一项的去找效率实在是太低,就直接写了个 python 脚本来遍历.

import winreg


def iterkeys(key):
    # 获取该键的所有子键，因为没有方法可以获取子键的个数，所以只能用这种方法进行遍历
    try:
        i = 0
        while True:
            # EnumValue方法用来枚举键值，EnumKey用来枚举子键
            yield winreg.EnumKey(key, i)
            i += 1
    except WindowsError:
        return


def itervalues(key):
    # 获取该键的所有键值，因为没有方法可以获取键值的个数，所以只能用这种方法进行遍历
    d = {}
    try:
        i = 0
        while True:
            # EnumValue方法用来枚举键值，EnumKey用来枚举子键
            name, value, _ = winreg.EnumValue(key, i)
            d[name] = value
            i += 1
    except WindowsError:
        return d


def main():
    base_key = (
        r"Software\Classes\Local Settings\Software"
        r"\Microsoft\Windows\CurrentVersion\AppContainer\Mappings\\"
    )
    mappings = winreg.OpenKey(winreg.HKEY_CURRENT_USER, base_key)
    for key in iterkeys(mappings):
        k = winreg.OpenKey(winreg.HKEY_CURRENT_USER, base_key + key)
        info = itervalues(k)
        if 'WindowsStore' in info['DisplayName']:
            print(info['DisplayName'])
            print(key)
            break


if __name__ == '__main__':
    main()

直接保存成 py 文件,然后运行,控制台的第二行会输出类似S-1-15-2-****的一个 SID,就是在CheckNetIsolation.exe loopbackexempt -a -p=${SID}中要用到的 SID.

用PyInstaller打包python应用

Sun, 02 Jun 2019 23:47:34 +0800

那天突然好奇，docker-compose是用什么语言写的。然后一看，发现居然是用 python2 写的。

但想到我安装的时候从来没在乎过机器上有没有安装 python，或者我的 python 版本是多少，而是按照官网的文档，直接下载一个二进制文件来安装的。突然眼前一亮。看了一下对应的构建代码，发现他是用PyInstaller来进行打包的，把一个 python 应用打包成单个的二进制文件。

一般来说，正常的 python 包的分发会基于 pip 的，发布到 pypi 和用户下载的都是代码文件（和其他语言编译的二进制文件），如果依赖于其他的 package 会在安装的时候再进行下载。

但用PyInstaller，打包出来的可执行文件中包含了所有用到的依赖和 python 解释器，并不需要本机安装了 python 或者 pip，像 docker-compose 这样的工具，打包之后成一个单文件，对于用户在安装和使用的时候都会方便许多，而对于我们开发者来说，就不用考虑兼容旧的 python 版本，可以直接使用 python3.6 的新语法如 type annotation 等，使用某些只有 python3.6 以上版本才能用的依赖库，自然也比原来爽了许多。

首先，PyInstaller 的工作原理是从一个 py 文件出发在静态分析出所有用到的依赖，然后把所有的依赖打包起来，在用户使用二进制的时候释放到一个临时文件夹中，用 Python 解释器来运行。

PyInstaller 入门的文章已经有很多了，就不再重复写一遍了，主要遇到的坑有这么几个。

用到的非 py 文件要手动指定路径一起打包

我的程序中用到了一些模板文件，是在程序运行起来之后才根据需要加载决定是否渲染的。这些文件因为不是 python 文件，所以 PyInstaller 在分析的时候也不会知道是程序的一部分，就不会打包在二进制中。

在程序运行的时候，如果用到了对应的文件，因为没有被打包进来的缘故，程序就会报错。

如果用命令行来指定要一起打包的文件效率过低，所以可以编写一个 spec 文件来告诉 PyInstaller 要如何打包。

（这是我之前尝试打包我的程序是用到的 spec 文件，但是因为不支持entry_points的原因，所以我最后放弃了使用这个办法，但是打包出来的程序在不用到entry_points的情况下是跟直接使用 pip 安装行为一致的。）

bgmi.spec

# -*- mode: python -*-
from PyInstaller.building.api import EXE, PYZ
from PyInstaller.building.build_main import Analysis

import os
import os.path
import importlib

bindata_dir = [
    'bgmi/front/templates',
    'bgmi/lib/models/migrations',
]


def get_bindata():
    for dir_path in bindata_dir:
        for file in os.listdir(dir_path):
            yield (os.path.join(dir_path, file), dir_path)


block_cipher = None

package_imports = [['peewee_migrate', ['template.txt']]]
datas = list(get_bindata())

for package, files in package_imports:
    proot = os.path.dirname(importlib.import_module(package).__file__)
    datas.extend((os.path.join(proot, f), package) for f in files)

a = Analysis(['bgmi/__main__.py'],
             pathex=['.'],
             hiddenimports=[],
             hookspath=None,
             datas=datas,
             runtime_hooks=None,
             cipher=block_cipher)

pyz = PYZ(a.pure, cipher=block_cipher)

exe = EXE(
    pyz,
    a.scripts,
    a.binaries,
    a.zipfiles,
    a.datas,
    name='bgmi',
    debug=False,
    strip=None,
    upx=True,
    console=True,
    bootloader_ignore_signals=True,
)

其中，a = Analysis(['bgmi/__main__.py'],为程序的入口就是原本如果使用命令行的话，在 PyInstaller 后面跟的那个 py 文件路径。

参与python文档的中文翻译

Sun, 31 Mar 2019 01:28:36 +0800

今天看到这个帖子别开心太早， Python 官方文档的翻译差远了 - V2EX 发现参与 python 文档翻译的门槛还挺低的，就尝试了一下翻译了两段文档.

参与翻译的方法

按照 pep-545的说法, 有三步需要做:

注册一个 https://bugs.python.org 的账号, 这个用户名在签 license 的时候会用到.
签 license 介绍具体签署是在这个页面上用的 adobe sign, 填完那个 iframe 里面的几个框就能提交了.
注册 transifex, 选择自己的语言, 并且申请加入

然后等待被允许加入团队, 然后就可以开始翻译了.

翻译是以每段为单位进行的

python/python-docs-zh-cn: zh_CN translation of the Python documentation

中文的 po 文件在这个仓库里, 每个小时会有一个 bot 会自动把 transifex 上面的翻译同步到仓库里面去, 但是自己的名字并不会出现在这个仓库的 contributors 里面, 233

golang笔记

Thu, 01 Nov 2018 17:25:15 +0800

一些约定

使用驼峰命名法
首字母小写的变量/函数只能在包内使用(多按一次 shift 我要累死了, 虽然编辑器有时在小写输入的情况下也会自动补全大写内容, 但有时不是那么聪明)

数据类型

bool

布尔, true或者false

string

字符串, 使用双引号比如"hello world"

rune

类似于字符, 在使用for _, char := range string迭代 string 的时候, char 的类型就是 rune

int

未分 int8, int16, int32 等等, 可能有些 api 返回的是 uint 类型, 使用int()转化为 int

byte

[]byte可以跟 string 互相转化, len(string)的长度实际上就是 string 转化为[]byte之后的长度. 每个 unicode 的长度为 3. 比如说len("hello world")==11, 但是len("你好世界")的长度为 3+3+1=7. 每个汉字因为是 unicode 所以为 3.

指针

可以指向其他数据类型, 在传值的时候传递指针可以避免比较复杂的数据结构被复制一份.(比如比较大的数据, 结构体等等)

数组

用于存放类型相同的一组数据.

slice

可变长度

在UserScript中使用Vue

Thu, 11 Oct 2018 15:26:00 +0800

之前写了一个用户脚本, 在站外一键点 bgm 格子为了添加一个 UI, 但又不想用 jQuery 手动绑一堆事件, 就直接上了 Vue. 所以需要用 Webpack 打包对应的 vue 文件到 userscript 里.

按钮和弹出框都是 Vue 做的.

因为之前一直用的是vue-cli提供的 webpack 模板, 所以不太熟悉 webpack, 踩了不少坑.

参考vue-loader

首先在 webpack 的设置中添加一个loader, 再添加一个插件

// webpack.config.js
const VueLoaderPlugin = require("vue-loader/lib/plugin");
module.exports = {
  module: {
    rules: [
      // ... other rules
      {
        test: /\.vue$/,
        loader: "vue-loader",
        options: {
          loaders: {
            scss: "vue-style-loader!css-loader!postcss-loader!sass-loader",
            // <style lang="scss">
          },
        },
      },
    ],
  },
  plugins: [
    // make sure to include the plugin!
    new VueLoaderPlugin(),
  ],
};

然后在代码里, 参照 Vue 官方的模板, 只要初始化一个实例就能正常显示内容了.

生成bgm.tv关联条目网络

Thu, 11 Oct 2018 10:50:36 +0800

本项目已弃坑。

在 bgm 上看到有人说现在的关联图只有一层, 看起来不太方便, 就爬了全站数据做了这么个东西.

爬取数据并生成关联条目网络

爬取数据

爬数据用的是scrapy, 因为本站有请求速度的限制, 所以数据源是镜像站.

scrapy的流程是这样的, 首先继承scrapy.Item来定义你自己爬到的数据的模型.

比如我定义了条目 item

import scrapy
from scrapy import Field


class SubjectItem(scrapy.Item):
    # define the fields for your item here like:
    id = Field()
    _id = Field()
    name = Field()
    image = Field()
    subject_type = Field()
    name_cn = Field()
    tags = Field()
    info = Field()

    score = Field()

    score_details = Field()

    wishes = Field()
    done = Field()
    doings = Field()
    on_hold = Field()
    dropped = Field()

每个Field()中保存的的数据类型可以是 str, int, bool等基础的数据类型, 也可以是list, dict这种组合类型.

基于asyncio的web框架aiohttp

Fri, 05 Oct 2018 17:42:21 +0800

本来想扯一通标准库里添加了asyncio的意义, 什么统一了异步框架, 什么方便代码前移之类的了. 然后发现原来大家也都是用装饰器+生成器来写的, 好像也没啥区别…

迁移的主要阻力也不是各个框架实现异步的方式不同, 而是用到了框架的某些特性, 在其他框架里可能没有, asyncio成为标准库也改变不了这一点.

不过 python3.4 3.5 3.6 添加了很多新功能,语言层面的异步支持越来越好了

在 3.4 就是上面说的, 引入了asyncio的标准库.

3.5 有了一系列的 bug fix ,可以见why-is-python-3-5-3-the-lowest-supported-version, 还支持了async/await语法.

不过 3.5 的时候async/await还不是关键字, 还可以给async赋值, 所以到了 python3.7 的时候挂了一堆库, 因为他们用了async当变量…

import asyncio
import sys

print(sys.version_info) # 3.5.4


async def hello():
    print("Hello world!")
    # 异步调用asyncio.sleep(1):
    r = await asyncio.sleep(1)
    print("Hello again!")


async = 1
print(async)

# 获取EventLoop:
loop = asyncio.get_event_loop()
# 执行coroutine
loop.run_until_complete(hello())
loop.close()

会输出

1
Hello world!
Hello again!

但是如果到了 python3.7, 会报错SyntaxError, 也因为这个原因挂了一堆库.

使用webpack打包userscript

Wed, 03 Oct 2018 11:15:35 +0800

原本用的是 grunt 来打包 webpack, 但是 grunt 只是依赖于简单的字符串替换和拼接, 效率过低.

既然 webpack 可以用来打包别的 js 文件, 那么打包一个 userscript 肯定也没什么问题, 甚至大材小用了.

所以自己写了一个模板webpack-userscript-template

因为找了一下, 发现相应的工具还是有些缺陷的.

主要有两个问题:

生成 userscript 的 meta 注释
没有一个好用的 http client 库.

所以为了自己写 userscript 爽一点, 写了两个库解决了这个问题.

userscript-metadata-webpack-plugin用来解决生成 meta 的问题

axios-userscript-adapter是 axios 的一个 adapter, 用来解决进行 http 请求的问题.

本来 github 上是有一个 webpack-userscript 项目的, 但是里面不知道为什么, 打包用到的是 bash, 理解不了…就自己写了一个webpack-userscript-template

使用 axios 的时候不要忘了加入 connect 的 meta

bash和zsh的自动补全

Sat, 09 Dec 2017 09:58:46 +0800

最近在给一个开源项目贡献代码,想要给他加上相应的自动补全功能

BGmi起初只是个 cli 程序,前端单纯的展示已经下载的剧集,后来给前端加了一些订阅功能,但是 cli 的使用频率还是很高,cli 没有自动补全功能总是说不过去,所以就花了一些时间加上了这个功能.

分析一下需求

BGmi 的命令都是同样的结构,bgmi action1 --opt1 arg1 --opt2 arg2,那么我们需要补全的就是所有的 action 和每个 action 相应的选项了.在此之前,是直接add_parser和add_argument相应的 action 和选项.这样是没法进行下一步的,所以首先花了一些时间,所以首先把所有的action和相应的opts存在了一个变量中

actions_and_arguments = [
    {
        'action': ACTION_ADD,
        'help': 'Subscribe bangumi.',
        'arguments': [
            {'dest': 'name',
             'kwargs': dict(metavar='name', type=unicode_, nargs='+',
                            help='Bangumi name'), },
            {'dest': '--episode',
             'kwargs': dict(metavar='episode',
                            help='Add bangumi and mark it as specified episode.',
                            type=int), },
        ]
    },
    {
        'action': ACTION_DELETE,
        'help': 'Unsubscribe bangumi.',
        'arguments': [
            {'dest': '--name',
             'kwargs': dict(metavar='name', nargs='+', type=unicode_,
                            help='Bangumi name to unsubscribe.'), },
            {'dest': '--batch',
             'kwargs': dict(action='store_true', help='No confirmation.'), },
        ]
    }]

一个list中储存了多个dict,每个dict对应一个action,每个action的选项存在arguments字段中.这里的命名可能有些混乱,写的时候没太注意.

ubuntu使用命令重启进入BIOS

Fri, 19 May 2017 02:20:20 +0800

今天一不小心开了 BIOS 里的快速启动,导致进不去 BIOS 设置也无法选择启动项(我还把 ubuntu 设置成了第一启动项…)百度搜索无果,google 发现了结果

sudo systemctl reboot --firmware-setup

会直接重启进入 BIOS

自动重新构建部署博客

Sun, 14 May 2017 04:57:28 +0800

想折腾这个很久了,终于把这个折腾好了.

现在写博客的流程是,我在本机维护一个 git repo,里面是我所有的文章.然后我写完一篇文章或者修改了文章之后 push 到 github 上去,相应的 github pages 就会根据用来保存文章的 repo 自动最新的状态.

原本是在自己的 vps 上开了一个服务器处理 webhook, 现在换成了travis-ci来自动部署.

不得不说travis-ci是个好东西. 如果你是开源项目, 是可以免费使用的, 只有 private 的仓库才需要付费.

写个博客, 自然所有的东西都是公开的, 用他来构建也没什么问题.

唯一的问题是, 构建之后的部署需要密钥, travis 自然也考虑到了这种问题, 可以在more options- settings - Environment Variables中添加保密的环境变量, 这样一来我们只要去 github 生成一个可以 push 的 token, 用这个 token 又可以避免泄露凭证个第三方, 又可以利用公有服务操作我们的个人仓库.

首先生成一个 token, 这个比较简单

因为 github pages 要求 push 到${username}.github.io的仓库中, 比如我的用户名是trim21, 我就需要把文件 push 到trim21.github.io去, 所以我们需要告诉hexo他要操作的部署的仓库地址.

而_config.yml里面又不能使用环境变量, 只能每次部署的时候把对应的仓库链接给 echo 进去, 避免泄漏.

我的_config.yml文件结尾是这样的

# Deployment
## Docs: https://hexo.io/docs/deployment.html
deploy:
  type: git
  branch: master

然后 echo 到_config.yml

树莓派控制步进电机

Sat, 13 Aug 2016 21:53:02 +0800

有一个题目需要用步进电机控制转速,而且需要控制转动特定的角度,所以找到了步进电机这种东西来拍照.

ubuntu安装matplotlib

Mon, 25 Jul 2016 19:26:07 +0800

(可恶,git 用的不熟练,把 commit 丢了…重写文章)

总结一下,在安装了NumPy之后还需要安装

freetype
libpng
libffi
cairocffi

freetype 下载地址 http://download.savannah.gnu.org/releases/freetype/

wget http://download.savannah.gnu.org/releases/freetype/freetype-2.6.5.tar.gz
tar xvf freetype-2.6.5
sudo make
sudo make install

libpng 和 libffi 都在 apt 上有

➜  artic git:(master) ✗ search libffi
libffi-dev - Foreign Function Interface library (development files)

➜  artic git:(master) ✗ search libpng
libpng12-0 - PNG library - runtime
libpng12-dev - PNG library - development

直接 apt-get 安装即可

调用matplotlib的时候图像式全黑的,提示我安装cairocffi,是 pip 上的包,安装了第三个之后直接pip安装这个就可以了.

利用hexo和GitHub pages服务搭建博客

Sat, 16 Apr 2016 01:03:39 +0800

使用 GitHub actions 自动部属博客到 GitHub pages。

GitHub Pages 介绍

github pages 是 github 提供的服务，github 会为特定仓库的默认分支（比如 ${username}.github.io ）或者其他仓库的 gh-pages 分支提供静态文件服务。

${username}.github.io 仓库的文件会直接放在 ${username}.github.io 域名的根目录下，其他的仓库则会放在/${repo_name}/ 子目录下。

比如，我在 blog 仓库下创建 gh-pages 分支，在根目录创建一个 index.html 文件。以我的用户名trim21为例，访问 https://trim21.github.io/blog/index.html 就可以正常看到文件。

GitHub Actions

2019 年 GitHub 上线了自己的 CI，GitHub Actions，在此之前大家一般会使用 travis CI 或者 circle CI 等。但是直接用 github actions 可以避免额外注册账号，设置 github access token 等等权限问题。

有了 github actions 之后就不再需要博客提供的各种部属插件了，只需要在 github actions 中构建博客，并且把生成的public/文件夹推到gh-pages 分支就可以了。

name: build

on:
  push:
    branches:
      - master

jobs:
  main:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v3

      - name: Setup node
        uses: actions/setup-node@v3
        with:
          node-version: "16"

      - name: install
        run: yarn

      - name: build
        run: yarn build

      - name: Deploy
        uses: peaceiris/actions-gh-pages@v3
        with:
          publish_dir: ./public
          commit_message: deploy ${{ github.ref }}
          cname: blog.trim21.me
          github_token: ${{ secrets.GITHUB_TOKEN }}