• japanesenkf.py

前回と同じく、仕様書等は読んでおらず、Web を検索したり Python 2.5 付属の *.py を読んだだけの知識でハックしたので、 コーディングが妥当かどうかは自信なし。悪しからず。

2009-05-15 更新: 「iso-2022-jp」などハイフンが含まれているエンコーディング名に効果がなかった問題を修正。

リンク

文字列操作の比較表: Ruby, Python, JavaScript, Perl, C++

http://0xcc.net/blog/archives/000137.html

配列操作の比較表: Ruby, Python, JavaScript, Perl, C++

http://0xcc.net/blog/archives/000043.html

バージョン番号

コマンドライン

Perl

$ perl -v
This is perl, v5.10.0 built for x8664-linux-gnu-thread-multi
いっぱい
$ perl -V
Summary of my perl5 (revision 5 version 10 subversion 0) configuration:
もっといっぱい
$ perl -e 'print $],"\n"'
5.010000

Python

$ python -v
Python 2.5.2
$ python -c 'import sys; print "%d.%d.%d" % sys.versioninfo[:3]'
2.5.2
$ python -c 'import sys; print "%d.%d" % sys.versioninfo[:2]'
2.5

$ ruby -v
ruby 1.8.7 (2008-05-31 patchlevel 0) [x8664-linux]

標準モジュールパスの表示

コマンドライン

Perl

$ perl -e 'print map {"$\n"} @INC'
/etc/perl
/usr/local/lib/perl/5.10.0
/usr/local/share/perl/5.10.0
/usr/lib/perl5
/usr/share/perl5
/usr/lib/perl/5.10
/usr/share/perl/5.10
/usr/local/lib/siteperl
.
$ perl \
-V:installsitearch \
-V:installsitelib \
-V:installvendorarch \
-V:installvendorlib \
-V:installarchlib \
-V:installprivlib
installsitearch='/usr/local/lib/perl/5.10.0';
installsitelib='/usr/local/share/perl/5.10.0';
installvendorarch='/usr/lib/perl5';
installvendorlib='/usr/share/perl5';
installarchlib='/usr/lib/perl/5.10';
installprivlib='/usr/share/perl/5.10';

Python

FIXME: Python 2.5(?) には vendor-packages もあるみたい。

$ python -c 'import sys; print sys.path'
['', '/usr/lib/python25.zip', '/usr/lib/python2.5', '/usr/lib/python2.5/plat-linux2', '/usr/lib/python2.5/lib-tk', '/usr/lib/python2.5/lib-dynload', '/usr/local/lib/python2.5/site-packages', '/usr/lib/python2.5/site-packages', '/usr/lib/python2.5/site-packages/Numeric', '/usr/lib/python2.5/site-packages/PIL', '/var/lib/python-support/python2.5', '/var/lib/python-support/python2.5/gtk-2.0']
$ python -c 'from distutils.sysconfig import getpythonlib; print getpythonlib()'
/usr/lib/python2.5/site-packages

$ ruby -e 'puts $LOAD_PATH'

モジュール検索パスの追加

環境変数

Perl

$ export PERL5LIB='/site/lib/perl'

Python

$ export PYTHONPATH='/site/lib/python'

$ echo '/site/lib/python' >/usr/lib/python2.5/site-packages/site.pth

$ export RUBYLIB='/site/lib/ruby'

スクリプト

Perl

use lib '/site/lib/perl';

Python

import sys
sys.path.append("/site/lib/python")

import site;
site.addsitedir('/site/lib/python')

puts $LOAD_PATH.push("/site/lib/ruby")

調べてみると mmjp-users メーリングリストに代表的な対処方法と簡単な比較 が挙げられており、 その中でも Mailman の保存書庫が機種依存文字で文字化けする や [mmjp-users 1380] Re: 保存書庫の一部のメールが文字化け とそのリンク先で紹介されている 石本さん式 (要は Python 標準の仕様に厳密なコーデックをルーズな実装のコーデックで上書きして対処する方法) が一番良さげ。 ところが、 方法を解説している本命の Web ページと必要となる PyKF という Python モジュールは、 サーバーが死んでいて参照できない。 一応 Google のキャッシュや The Internet Archive (http://www.archive.org/) で参照できるが、ふつうの人はそこまで辿りつけないかもしれない。 そこで Python の勉強ネタついでに、 入手困難な PyKF ではなく NKF (NKFpython) で実装し、 より汎用的に使えるよう Python モジュールにしてみることにした。

$ tar xzf /path/to/source/nkf207.tgz
$ cd nkf207
$ tar xzf /path/to/source/NKFpython.tgz
$ cd NKF.python
$ python setup.py build
...
$ sudo python setup.py install
...

今回作成した NKF による ISO-2022-JP (もどき), EUC-JP (同), ShiftJIS (同) のコーデックモジュール japanesenkf.py を適当なディレクトリにインストールする (今回は Debian GNU/Linux 4.0 (etch) の Mailman だけで利用するので、 /usr/lib/mailman/pythonlib にした)。

$ sudo cp /path/to/source/japanesenkf.py /Python (Mailman) のモジュール検索ディレクトリ

Mailman の設定ファイル mmcfg.py を開き、 モジュールのロードと日本語標準コーデックの上書きを指示する。

...
import japanesenkf
japanesenkf.overrideEncodings()

モジュールと設定を反映するため、 Mailman の qrunner を再起動する。

$ sudo /etc/init.d/mailman restart
...

簡単にテストした限りではちゃんと機能しているみたい。 Python 歴数週間なので、かなり怪しいかもね。

2008-07-23 追記: Python 2.5 対応版も作成したので、興味のある人はコメントください。

2008-09-19 追記: Python 2.5 対応版を公開。

#!/usr/bin/env python


#

Run a command with a timeout checking

Copyright (c) 2006-2007 SATOH Fumiyasu @ OSS Technology Co.

http://www.osstech.co.jp/

#

Date: 2007-01-01, since 2006-12-31

License: GNU General Public License version 2

import getopt
import signal
import re
import sys
import os
import select
def err(format, *argv):
print >>sys.stderr, sys.argv[0] + ":", format % argv
signum_by_name = {}
signame_by_num = {}
for signame in dir(signal):
if signame.startswith("SIG"):
signum = getattr(signal, signame)
if type(signum) == type(1):
signum_by_name[str(signum)] = signum
signum_by_name[signame] = signum
signum_by_name[re.sub("^SIG", "", signame)] = signum
signame_by_num[signum] = signame

Options

======================================================================

codeontimeout = 255
codeonexecerror = 254
codeonforkerror = 253
signumontimeout = signal.SIGTERM
usage = """Usage: %s [OPTIONS] TIMEOUT COMMAND [ARG ...]
Options:
-s, --signal SIGNAL
Send SIGNAL to COMMAND on timeout
-o, --timeout-code=EXITCODE
Exit code on timeout
-e, --exec-error-code=EXITCODE
Exit code on exec failure
-f, --fork-error-code=EXITCODE
Exit code on fork failure
"""

Command-line options

----------------------------------------------------------------------

try:
opts, args = getopt.getopt(sys.argv[1:], 'hs:o:e:f:',
['help', 'signal=', 'timeout-code=', 'exec-error-code=', 'fork-error-code='])
except getopt.error, msg:
err("%s", msg)
sys.exit(1)
for opt, arg in opts:
if opt in ('-h', '--help'):
print usage
sys.exit(0)
if opt in ('-s', '--signal'):
signame = arg.upper()
if not signumbyname.haskey(signame):
err("invalid signal name: %s", signame)
sys.exit(1)
signumontimeout = signumbyname[signame]
if opt in ('-o', '--timeout-code'):
codeontimeout = int(arg)
if opt in ('-e', '--exec-error-code'):
codeonexecerror = int(arg)
if opt in ('-f', '--fork-error-code'):
codeonfork_error = int(arg)
timeout = float(args[0])
command = args[1:]

Main

======================================================================

r, w = os.pipe()
try:
pid = os.fork()
except OSError, e:
err("fork failed: %s", e.strerror)
sys.exit(codeonfork_error)

Child process

----------------------------------------------------------------------

if pid == 0:
os.close(r)
try:
os.execvp(command[0], command)
except OSError, e:
err("exec failed: %s: %s", command[0], e.strerror)
sys.exit(codeonexec_error)

Parent process

----------------------------------------------------------------------

os.close(w)
p = select.poll()
p.register(r, select.POLLIN)
ready = p.poll(timeout * 1000)
if len(ready) == 0:
err("command timed out: %s", command[0])
os.kill(pid, signumontimeout)
pidexited, status = os.waitpid(pid, 0)
sys.exit(codeontimeout)
pidexited, status = os.waitpid(pid, 0)
sys.exit(status >>  

Mailman のハンドラを書いていて、 自然にオブジェクト指向 & 例外処理を書けるのは気持ちいい! と感じて Python を覚えようかと思ってみたものの、 例えばリストの長さを求めるのに len(list) と書くのは嫌いかも。 同様に int(string) とか str(number) も嫌だなぁ。 Ruby みたいに list.length のように書ける ほうが好みだな。

Python は Mailman のハンドラ書きとデバッグ程度の嗜みにしておいて、 ポスト Perl は Ruby にしてみようかしら?