クライアントは何がいいのかな? Firefox の拡張で済ますか?

Google で適当に検索。 → 該当する話題は見つからなかったが、migemo は EUC-JP なことを思いだす。 → そういえば xemacs のロケールを C から ja_JP.UTF-8 に変更した時期と migemo が機能しなくなった時期が近いような。 → ロケール C で xemacs を起動してみた。 → おお、動くじゃん! → migemo.el を斜め読みしてみると、ロケールを見てゴニョゴニョとエンコーディング設定をやっているみたい。 じゃあ明示的に設定してみよう。 → 解決!

ということで、~/.emacs に以下を追加して解決。

(setq migemo-coding-system 'utf-8)

散々悩んだ挙句、 BERMAS FUNCTION GEAR 60122 に決定。 ポイントは:

• 列車に乗ったときにあまり邪魔にならないサイズ。 飛行機内に持ち込み可能なサイズなんだけど、重要なのかなぁ? 飛行機は面倒という印象があって高知も大分も電車で行ったし、 海外旅行にも行かないので、どっちでもいいけど。
• キャスターは 2輪。4輪で 360°回転できるタイプだと、 ちょっとでも傾斜があると手を離して置けないし(横にするのも面倒だし)、 2輪で苦労を感じなかったので。
• 前面に大きなポケットがあり、ノート PC や小物を入れるのに便利。
• そこそこ有名なメーカーらしく、信頼できそうな印象。 生産は中国だけど、たぶん大丈夫でしょう。食い物じゃないから死なないし。

定価は￥16,800-、安い店でも￥16,000- と、値引きほとんどなし…。 キャリーバッグの相場を知らないけど、こんなもの? ちょっと高い印象だが長く使うつもりなので、まあいいか。 通販サイトは軒並在庫なしだったので、これから東急ハンズで買ってきます。

Samba の smbd 用の /service/smbd/run スクリプトは、 当初は次のようになっていた。 Linux, Solaris ではこれで何も問題なかった:

#!/bin/sh
exec 2>&1
exec envdir ./env sh -c '
  echo "PID: $$"
  env |sort |sed "s/^/Environment: /"
  set -- \
    argv0 \
    "$COMMAND" \
    "${ARGV0:-sv:`pwd`}" \
    --daemon \
    --foreground \
    ${CONFIGFILE:+"--configfile=$CONFIGFILE"} \
    ${PORT:+"--port=$PORT"} \
    ${LOGLEVEL:+"--debuglevel=$LOGLEVEL"} \
    ${LOGDIR:+"--log-basename=$LOGDIR"} \
    ;
  echo "Execute: $@"
  exec "$@"
'

ところが、某お客さんから、 AIX 6 上で smbd の子プロセスが defunct (ゾンビ) 化するという問題が報告された。 会社の AIX 環境で試したところ、数回に一回程度しか発生しないが、 smbd を起動した直後に発生することがわかった。 発生したときの状態は次のような感じ:

# /opt/osstech/sbin/service osstech-smb status
/opt/osstech/etc/svscan/smbd (pid 270496) is running...
# ps -ef |grep 270496 |grep -v grep
    root 270496 258182   0 13:07:27      -  0:00 sv:/var/opt/osstech/lib/sv/smbd --daemon --foreground
    root 282806 270496   0 13:07:27      -  0:00 sv:/var/opt/osstech/lib/sv/smbd --daemon --foreground
    root 295074 270496   0                  0:00 <defunct>

smbd は起動直後にプリンタキュー監視用の子プロセスを生成するので、 これ関連のバグかと思ったが、 ps で見たときちゃんと 2つの smbd が存在するので問題ないように見えた。 smbd を手動で直接起動すると発生しないし、 truss でシステムコールを見たところ、ほかに子プロセスを生成している様子はない。

suerpvise か run スクリプトが怪しいと思い、run スクリプトを色々変更してみたところ、 「env |sort |sed 's/^/Environment: /'」 の行をコメントアウトすると再現しないことがわかった。 ということは、パイプライン中のプロセスのいずれかが看取られずに残っているらしい。

また、/bin/sh ではなく bash, zsh, zsh の ksh 互換モードでは再現しないことがわかった。 ちなみに、AIX 6 の /bin/sh は AT&T 由来の Korn Shell (ksh93)。

パイプラインの実行後にそのプロセスが残るのが問題であると推測し、 試行錯誤した結果、次のようなスクリプトで再現することに成功した。 これで、パイプライン実行後に、 実行中の ksh の子プロセスがゾンビ化していることが確認できる:

$ while :;do /bin/ksh -c '/bin/true|/bin/true; ps -f -u $LOGNAME"';done |grep '[d]efunct'
    root 688354 712836   0                  0:00 <defunct>
    ...

Linux の /bin/ksh (ksh93)、Solaris 10 の /bin/ksh (ksh88) でも再現した。 bash, zsh, ash はもちろん、Linux 上の pdksh (バブリックドメイン版の ksh 実装) でも再現しなかった。AT&T ksh の仕様らしい。

つまり、こういうこと:

1. ksh は「env |sort |sed "s/^/Environment: /"」を実行したとき、 パイプラインの最後のプロセス (sed) が終了した時点で以降のスクリプトの実行に進む。 パイプライン前段のプロセス (env, sort) の終了は待たない。
2. その後のスクリプト実行中、以前実行したパイプライン前段のプロセスが終了した場合、 ksh はそれを wait(2) して看取る。
3. ksh は smbd に exec(2) する。
4. smbd になった時点で以前実行したパイプライン前段のプロセスが残っていた場合、 それが終了したとき、wait(2) で看取るのは親プロセスである smbd プロセスの役目となる。 しかし smbd はそのことを知らないので wait(2) することはなく、 結果、子プロセスはゾンビ化する。

ksh がパイプライン前段のプロセス終了をどのようなタイミングで、 どのように処理するかまでは確認していないけど、だいたいこんな感じだと思う。

というわけで、run スクリプトは次のようになった。 違いは exec の前に wait を挿入しただけ:

#!/bin/sh
exec 2>&1
exec envdir ./env sh -c '
  echo "PID: $$"
  env |sort |sed "s/^/Environment: /"
  set -- \
    argv0 \
    "$COMMAND" \
    "${ARGV0:-sv:`pwd`}" \
    --daemon \
    --foreground \
    ${CONFIGFILE:+"--configfile=$CONFIGFILE"} \
    ${PORT:+"--port=$PORT"} \
    ${LOGLEVEL:+"--debuglevel=$LOGLEVEL"} \
    ${LOGDIR:+"--log-basename=$LOGDIR"} \
    ;
  ## ksh: Ensure that all commands in the pipeline are terminated
  wait
  echo "Execute: $@"
  exec "$@"
'

これで無事に問題解決。

シェルスクリプト中ではパイプラインはもちろん、 exec も常用するたちなので、これは困った仕様だなぁ。 exec 前に wait すべし…なんて、バッドノウハウもいいところ。

まずは Windows 上での操作。試したのは Windows Server 2003R2 と Windows 3.2.8。

C:\> net use \\samba\share /user:fumiyas
...
C:\> fsutil file createnew \\samba\share\file.txt 1000000000
ファイル \\samba\share\file.txt が作成されました

Samba ホスト上で確認してみる。見た目のサイズは 1GB だが、実際のサイズは 0。

$ ls -l /srv/share/file.txt
-rw-rw-r-- 1 fumiyas Domain Users 1000000000 2009-06-03 20:52 /srv/share/file.txt
$ du -sk /srv/share/file.txt
0       /srv/share/file.txt

Windows からファイルに追記してみる。

C:\> echo foo >>\\samba\share\file.txt

再び Samba ホスト上で確認してみる。

$ ls -l /srv/share/file.txt
-rw-rw-r-- 1 fumiyas Domain Users 1000000006 2009-06-03 20:52 /srv/share/file.txt
$ du -sk /srv/share/file.txt
12      /srv/share/file.txt

2009-06-11 追記: smb.conf で strict allocate = yes (デフォルト: no) を設定して追試したところ、 sparse file にならなかった。うーん。 fsutil の sparse サブコマンドでどうにかするのだろうか?

以下がスコア (200〜800 の範囲) と正解率。 試験勉強は試験開始前 30分くらいなので、こんなもんかな。

Your Score: 550
Required Passing Score: 500
Status: Pass

Test Section Information
Percent Correct Section
54%            Cryptography
60%            Access Control
83%            Application Security
50%            Operations Security
60%            Network Security

この時点で LPIC レベル 1, 2 認定未取得なので、レベル 3 も未認定状態。 LPIC 201, 301, 302 も合格しているし、せっかくなので、LPIC 101, 102, 202 を受けてきた。 念の為マクドナルドで 1時間くらい試験勉強してから、3試験ぶっとおしで受験。

LPIC 101 の結果:

スコア: 700
必修合格点: 500
結果: 合格

セクション                                          正解率
Hardware & Architecture                              57%
Linux Installation & Package Management             100%
GNU & Unix Commands                                  93%
Devices, Linux Filesystems, FHS                      81%
The X Window System                                  71%

LPIC 102 の結果:

スコア: 720
必修合格点: 500
結果: 合格

セクション                                          正解率
Kernel                                               75%
Boot, Initialization, Shutdown and Runlevels        100%
Printing                                            100%
Documentation                                        60%
Shells, Scripting, Programming and Compiling        100%
Administrative Tasks                                100%
Networking Fundamentals                              75%
Networking Services                                  92%
Security                                            100%

LPIC 202 の結果:

スコア: 670
必修合格点: 500
結果: 合格

セクション                                          正解率
Networking Configuration                             76%
Mail & News                                          60%
DNS                                                  84%
Web Services                                         90%
Network Client Management                            77%
System Security                                      70%

あわよくば満点とってやるぜーなどと思っていたが、結果は散々。 ISA PnP とか INN なんて、使ったことあるけど覚えてないよ…。 ふつうの人なら 2009年4月の問題改訂 (バージョン 3.0) を待ったほうが、 簡単だと思う。

これで目出度く(?) LPIC 制覇したけど、特にご褒美等はなし。 会社から受験料が出るくらい…。一度くらい役に立つことあるかなぁ。

以下、移行手順。 環境は Ubuntu 8.10、 移行元は Movable Type 4.2.3 (movalbetype-opensouce 4.2.3-1)、 移行先は WordPress 2.7.1 (wordpress 2.7.1-2)、 移行対象のデーターは投稿記事の内容だけでなく、 固定リンク (パーマリンク) の URI も移行する。 WordPress は Ubuntu 8.10 の wordpress 2.5.1-8ubuntu1.1 ではなく、 Debian unstable の最新版を利用した。(apt-pin の設定は省略)

Movable Type からデーターのエクスポート

Movable Type のインポート/エクスポートモジュール /usr/share/perl5/MT/ImportExport.pm を書き換え、 エクスポートしたデータに記事の ID と固定リンク先が含まれるようにする。 書き換える場所はサブルーチン export() 内のヒアドキュメント TEXT 内で、 以下はパッチ:

--- ImportExport.pm.dist    2008-11-08 22:50:54.000000000 +0900
+++ ImportExport.pm 2009-03-05 02:32:40.000000000 +0900
@@ -492,6 +492,8 @@ PRIMARY CATEGORY: <$MTEntryCategory$></M
  CATEGORY: <$MTCategoryLabel$></MTEntryCategories>
  DATE: <$MTEntryDate format="%m/%d/%Y %I:%M:%S %p"$><MTEntryIfTagged>
  TAGS: <MTEntryTags include_private="1" glue=","><$MTTagName quote="1"$></MTEntryTags></MTEntryIfTagged>
+ID: <$MTEntryID$>
+PERMALINK: <$MTEntryPermalink$>




BODY:
  <$MTEntryBody convert_breaks="0"$>

Movable Type から通常の手順でブログデーターをエクスポートする。 ファイル名は export-ブログID-西暦年月日時分秒.txt となる。

必要であれば、 Movable Type のデータベース、 生成したページ、 ブログにアップロードしたファイルを適宜バックアップしておく。

WordPress のインストール

WordPress のバックエンド DB である MySQL サーバーの 管理者パスワードを適当に決める。

# ps -ef |sha1sum
適当なパスワード -

WordPress と MySQL サーバーをインストールする。 MySQL サーバーの管理者 root に割り当てるパスワードを聞かれるので、適宜入力する。

# apt-get install wordpress mysql-server-5.0

MySQL サーバー管理者のユーザー名とパスワードを ~root/.my.cnf ファイルに保存しておく。内容は以下。

[mysql]
user = root
password = 適当なパスワード

WordPress と MySQL データベースを初期化する。 WordPress 付属の setup-mysql スクリプトに MySQL ユーザー名兼データベース名と WordPress サイトのドメイン名を指定する。

# sh /usr/share/doc/wordpress/examples/setup-mysql -n sfo_wordpress www.sfo.jp

WordPress 用の Apache2 の設定は…省略。

Movable Type データーのインポート

WordPress の Movable Type 用インポートモジュール /usr/share/wordpress/wp-admin/import/mt.php を書き換え、 記事の ID と固定リンクをインポートできるようにする。 書き換える場所はクラス MT_Import のメソッド process_posts() の while ( $line = $this->fgets($handle) ) ループ内。 以下はパッチ:

--- mt.php.dist 2009-01-24 21:24:16.000000000 +0900
+++ mt.php  2009-03-04 02:51:07.000000000 +0900
@@ -363,6 +363,13 @@ class MTImport {
                            $context = 'comment';
                    } else if ( 'PING:' == $line ) {
                            $context = 'ping';
+           } else if ( 0 === strpos($line, "ID:") ) {
+               $importid = trim( substr($line, strlen("ID:")) );
+               $post->importid = $importid;
+           } else if ( 0 === strpos($line, "PERMALINK:") ) {
+               $permalink = trim( substr($line, strlen("PERMALINK:")) );
+               $postname = basename( $permalink, ".html" );
+               $post->postname = $post_name;
                    } else if ( 0 === strpos($line, "AUTHOR:") ) {
                            $author = trim( substr($line, strlen("AUTHOR:")) );
                            if ( '' == $context )

WordPress の Web ページにアクセスして、インストール作業後、 管理画面の [設定] – [パーマリンク設定] で、URL 構造を「その他」にチェックし、 「/archives/%year%/%monthnum%/%postname%.html」に設定する。

これで準備 OK! あとはインポートするだけ! …ならいいんだけど、微調整が必要なところもいくつかある。省略。 (アップロードしたファイルの移行など)

リンク

以下、参考にしたページ。

• MovableType から WordPress への移行 – レジデント初期研修用資料
  http://medt00lz.s59.xrea.com/wp/archives/180
• 固定リンクを変えずにスムーズにMovableTypeからWordPressに移行するまでの作業ログ – IDEA * IDEA
  http://www.ideaxidea.com/archives/2008/12/movabletypewordpress.html

# uname -a
Linux foobar 2.6.22.7 #7 Tue Oct 21 22:36:39 JST 2008 armv5tejl unknown
# cat /proc/cpuinfo
Processor       : ARM926EJ-S rev 0 (v5l)
BogoMIPS        : 266.24
Features        : swp half thumb fastmult edsp
CPU implementer : 0x41
CPU architecture: 5TEJ
CPU variant     : 0x0
CPU part        : 0x926
CPU revision    : 0
Cache type      : write-back
Cache clean     : cp15 c7 ops
Cache lockdown  : format C
Cache format    : Harvard
I size          : 32768
I assoc         : 1
I line length   : 32
I sets          : 1024
D size          : 32768
D assoc         : 1
D line length   : 32
D sets          : 1024
Hardware        : Feroceon
Revision        : 0000
Serial          : 0000000000000000
# free
total         used         free       shared      buffers
Mem:       125780       101916        23864            0           52
Swap:      1004020            0      1004020
Total:      1129800       101916      1027884
# fdisk -l
Disk /dev/sda: 500.1 GB, 500107862016 bytes
255 heads, 63 sectors/track, 60801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot      Start         End      Blocks  Id System
/dev/sda1               1         125     1004031  83 Linux
/dev/sda2             126         748     5004247+ 83 Linux
/dev/sda4             749       60801   482375722+  5 Extended
/dev/sda5             749         873     1004031  82 Linux swap
/dev/sda6             874       60690   480480021  83 Linux

ハードディスクもあるし、 普段との違いは CPU アーキテクチャくらい? ということで、全然組込みプログラミングじゃないです。

クロスコンパイルとかに少々悩みつつ、 Scratchbox 2 + QEMU に寄り道したりして、 ようやく場当たり的パッケージングとインストールが完了。 今後 Scratchbox を使ったクロスコンパイル環境作りには力を入れたいが、暇があるかどうか。

何はともあれ、キメラ・サーチを初実行 on ARM。

# time /opt/osstech/bin/chimera-crawler
real    0m28.299s
user    0m24.310s
sys     0m2.570s

…遅い! メモリ 128MB も心許ない。大丈夫か?

$ bash --version
GNU bash, version 3.2.25(1)-release (i686-redhat-linux-gnu)
Copyright (C) 2005 Free Software Foundation, Inc.
$ touch a b c X Y Z
$ ls
X  Y  Z  a  b  c
$ LCALL=C bash -c 'echo [A-Z]'
X Y Z
$ LCALL=jaJP.UTF-8 bash -c 'echo [A-Z]'
X Y Z
$ LCALL=enUS.UTF-8 bash -c 'echo [A-Z]'
b c X Y Z

なんじゃこりゃ? Debian の GNU bash, version 3.2.39(1)-release (x8664-pc-linux-gnu) でも同じ挙動だった。

やはりクリーンルーム作りは重要だなぁ…。

• japanesenkf.py

前回と同じく、仕様書等は読んでおらず、Web を検索したり Python 2.5 付属の *.py を読んだだけの知識でハックしたので、 コーディングが妥当かどうかは自信なし。悪しからず。

2009-05-15 更新: 「iso-2022-jp」などハイフンが含まれているエンコーディング名に効果がなかった問題を修正。