sed basics - ストリームエディタの基礎

Contents

• 主な形式
• 主なオプション
• 簡単な説明
• sed スクリプトの概要
  • コマンド
  • アドレス
  • 正規表現による置換先の主な特殊文字
  • 正規表現による置換の主な flags
  • 正規表現におけるエスケープ文字と GNU 拡張
• 例題
  • `cat`
  • `head -n 1`
  • `tail -n 1`
  • `head -n 8`
  • `tail -n 8`
  • `wc -l`
  • `grep '^$'`
  • `grep -v '^$'`
  • `grep -E '^.+'`
  • `grep -E -v '^.+'`
  • `cut -d ':' -f 1,6`
  • `cut -d ':' -f 1,6 -s`
  • `fold -b`
  • `tee filename`
  • `tr 'A-Za-z' 'N-ZA-Mn-za-m'`
  • `uniq`, `uniq -d`, `uniq -u`
  • `expand`
  • `unexpand -a`
  • `rev`
  • `tac`, `tail -r`
  • `strings -a [-n 4]`
• 参考文献

主な形式

sed [-n] [options] [-e] 'script' [file...]

主なオプション

• '-n' パターンスペース強制出力の抑止
• '-f script-file' スクリプトファイルの指定
• '-E' 拡張正規表現(POSIX sed の場合)
• '-r' 拡張正規表現(GNU sed の場合)

簡単な説明

ストリームエディタ sed は一行ずつ入力しフィルタする。スクリプトを指定することにより様々な編集を施すことができる。

まず、入力行は、末尾の改行コード '\n' が取り除かれパターンスペースに入る。特に、'\n' は行の追加の区切りに用いられる。

パターンスペース強制出力の抑止をしていなければ、自動的にパターンスペースが標準出力される。

sed スクリプトの概要

利用者は、パターンスペースと呼ばれるバッファに対して、コマンドにより、文字置換や正規表現による置換が出来る。 また、アドレスやコマンドリストのグループで柔軟な編集が可能となる。 さらに、パターンスペースに加えて、ホールドスペースと呼ばれるバッファを利用することが出来る。また、 指定したラベルへの遷移、正規表現による条件付き遷移、入力ファイルとは別の外部ファイルとの入出力などができる。

コマンド

sed スクリプトのコマンドは以下の通りである。

コマンドをセミコロン ';' または改行で繋げるとコマンドリストになる。

アドレス

前節の address は以下の通りである。

BRE は基本正規表現(Basic Regular Expressions)であるが、オプションで ERE - 拡張正規表現(Extended Regular Expressions)を書くことも可能。

正規表現による置換先の主な特殊文字

• & - マッチ全体
• \^J - 改行
• \number - 後方参照

正規表現による置換の主な flags

• number - number 番目のマッチのみ置換。既定値は１番目のみ。
• g - すべてのマッチを置換。既定値は１番目のみ。
• p - 置換が成されたら標準出力
• I, i - 大文字小文字の無視
• M, m - 複数行モード

正規表現におけるエスケープ文字と GNU 拡張

POSIX sed におけるエスケープ文字は以下の通り。

• \n - "^J,LF,改行(new-line)", 但し、sed では末尾の改行コードは取り除かれるので、行の追加で付加された区切りにマッチする。POSIX sed では、置換先と文字クラス内ではこのエスケープが使えないことが多々あり、注意が必要。

GNU sed における拡張エスケープ文字は以下の通り。

• \a - "^G,BEL,アラート(alert)"
• \t - "^I,HT,水平タブ(horizontal tab)"
• \n - "^J,LF,改行(new-line)", 但し、sed では末尾の改行コードは取り除かれるので、行の追加で付加された区切りにマッチする。GNU sed では、置換先と文字クラス内でこのエスケープを使うことができる。
• \v - "^K,VT,垂直タブ(vertical tab)"
• \f - "^L,FF,改頁(form feed)"
• \r - "^M,CR,行頭復帰(carriage return)"
• \cC - "^C,任意の制御文字", C は任意の文字
• \dDDD - 10進数の文字コード
• \oOOO - 8進数の文字コード
• \xHH - 16進数の文字コード
• \w - 単語文字, '[_[:alnum:]]'。文字クラス内では不可。
• \W - 単語文字以外, '[^_[:alnum:]]'。文字クラス内では不可。
• \b - 単語境界。文字クラス内では不可。
• \B - 非単語境界。文字クラス内では不可。
• \` - 複数行モードでのパターンスペース先頭。文字クラス内では不可。
• \' - 複数行モードでのパターンスペース末尾。文字クラス内では不可。

例題

代表的な Unix のコマンドに相当する sed スクリプトを以下にあげる。

`cat`

	sed -e ''

このように、cat と同じ sed スクリプトは「空」となる。但し、パターンスペース強制出力の抑止をしない。

`head -n 1`

	sed -ne '1p'

このように、head -n 1 と同じ sed スクリプトは「1p」となる。

`tail -n 1`

	sed -ne '$p'

このように、tail -n 1 と同じ sed スクリプトは「$p」となる。

`head -n 8`

	sed -e '8q'

このように、head -n 8 と同じ sed スクリプトは「8q」となる。但し、パターンスペース強制出力の抑止をしない。

`tail -n 8`

さて、`head -n 1`, `tail -n 1`, `head -n n` は以上のように大変簡単であるが、`tail -n n` は少々難しい。現に GNU sed では、二つの例を割いて実現方法を示している。しかし、一例目は POSIX sed では正しく動作しないし、二例目は少々冗長である。ここではより堅牢で単純な実現方法を示そう。

	sed -ne '
:b
$p
8,$!{
  N
  b b
}
N
D'

最終行のみパターンスペースを出力するが、8行目から最終行まで以外、つまり1行目から7行目までは、入力行をパターンスペースに追加してラベル "b" へ遷移し、それ以外の8行目から最終行までは、入力行をパターンスペースに追加して、パターンスペースの最初の行を除去している。

このように、tail -n 8 と同じ sed スクリプトは以上のようになる。

`wc -l`

	sed -ne '$='

このように、wc -l と同じ sed スクリプトは「$=」となる。

ところで、`wc -l` は以上のように大変簡単であるが、`wc -c`, `wc -w` は面倒である。現に GNU sed では、wc -c の例と wc -w の例が示されている。こんなトリッキーなことが必要となるなら perl 等の他の言語を採用すべきだ。

`grep '^$'`

	sed -ne '/^$/p'

このように、grep '^$' と同じ sed スクリプトは「/^$/p」となる。

`grep -v '^$'`

	sed -ne '/^$/!p'

このように、マッチの否定、grep -v '^$' と同じ sed スクリプトは「/^$/!p」となる。

`grep -E '^.+'`

	sed -E -ne '/^.+/p'

このように、拡張正規表現の grep -E '^.+' と同じ拡張正規表現の sed スクリプトは「/^.+/p」となる。

`grep -E -v '^.+'`

	sed -E -ne '/^.+/!p'

このように、拡張正規表現のマッチの否定、grep -E -v '^.+' と同じ拡張正規表現の sed スクリプトは「/^.+/!p」となる。

`cut -d ':' -f 1,6`

	sed -E -e 's/^([^:]*):([^:]*):([^:]*):([^:]*):([^:]*):([^:]*):.*/\1:\6/'

このように、区切り ':' のフィールド切り取り、cut -d ':' -f 1,6 但しフィールド数不足の行はそのまま出力と同じ拡張正規表現の sed スクリプトは以上のようになる。

`cut -d ':' -f 1,6 -s`

	sed -E -ne 's/^([^:]*):([^:]*):([^:]*):([^:]*):([^:]*):([^:]*):.*/\1:\6/p'

このように、区切り ':' のフィールド切り取り、cut -d ':' -f 1,6 但しフィールド数不足の行は出力しないと同じ拡張正規表現の sed スクリプトは以上のようになる。

`fold -b`

この例、１行あたりの文字数(既定値は80)を越えたら改行を挿入する sed スクリプトを示そう。これは 'P', 'D' コマンドの好例となっている。

	sed -E -e '
s/^(.{80})(.*)$/\1\
\2/
P
D'

行頭から任意の 80 文字とその残りを改行で区切り、行頭から改行までを 'P' コマンドで標準出力、そして 'D' コマンドでその残りを同様に処理する。'D' コマンドでは、その残りが無くならない限り、新たな入力がなされないので、このように実現できる。

このように、fold -b と同じ拡張正規表現の sed スクリプトは以上のようになる。

`tee filename`

	sed -e 'w filename'

このように、標準入力を標準出力とファイルに書き出し、tee と同じ sed スクリプトは「w filename」となる。但し、パターンスペース強制出力の抑止をしない。

`tr 'A-Za-z' 'N-ZA-Mn-za-m'`

この例、ROT13(と呼ばれる暗号化と言うより難読化)は tr コマンドを使うと表題のように簡単に実現できる。しかし、類似の sed の 'y' コマンドは文字コードの範囲を表せないので、非常に使い勝手が悪い。

	sed -e 'y/ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz/NOPQRSTUVWXYZABCDEFGHIJKLMnopqrstuvwxyzabcdefghijklm/'

このように、文字置換、tr 'A-Za-z' 'N-ZA-Mn-za-m' と同じ sed スクリプトは以上のようになる。但し、パターンスペース強制出力の抑止をしない。

他の sed の 'y' コマンドの用例としては、GNU sed の cat -n や cat -b にて、「'y/0123456789/1234567890/'」のように行番号をインクリメントする中途に用いられている。こんなトリッキーなことが必要となるなら perl 等の他の言語を採用すべきだ。

`uniq`, `uniq -d`, `uniq -u`

これらは GNU sed で示される好例となっており、そちらに譲る。

1. `uniq` - 重複する行を一行にする
2. `uniq -d` - 重複する行のみを一行にして表示する
3. `uniq -u` - 重複しない行のみを表示する

どの例も 'N' コマンドで入力行をパターンスペースの末尾に '\n' に続いて追加し、正規表現にて '^\(.*\)\n\1$' のように後方参照 '\1' を利用していることにある。

`expand`

このタブを複数の空白に置換するコマンドを sed で実現するのは少々難しい。まず、拡張正規表現の GNU sed であれば多少簡単であり、以下のようになる。

	sed -r -ne '
h
:b
/^\n/{
  s/\n//g
  p
  b
}
/^$/p
/^([^\n\t]{0,7}\t|[^\n\t]{1,8})(.*)/{
  s/^([^\n\t]{0,7}\t|[^\n\t]{1,8})(.*)/\1/
  x
  s/^([^\n\t]{0,7}\t|[^\n\t]{1,8})(.*)/\2/
  x
  s/([^\t]{7})\t$/\1 /
  s/([^\t]{6})\t$/\1  /
  s/([^\t]{5})\t$/\1   /
  s/([^\t]{4})\t$/\1    /
  s/([^\t]{3})\t$/\1     /
  s/([^\t]{2})\t$/\1      /
  s/([^\t]{1})\t$/\1       /
  s/([^\t]{0})\t$/\1        /
  H
  g
  b b
}'

一方、POSIX sed だと '[^\n]' が使えないので、苦肉の策で、拡張正規表現の POSIX sed においては以下のようになる。

	sed -E -ne '
h
:b
/^\n/{
  s/\n//g
  p
  b
}
/^$/p
/^([[:print:]]{0,7}	|[[:print:]]{1,8})(.*)/{
  s/^([[:print:]]{0,7}	|[[:print:]]{1,8})(.*)/\1/
  x
  s/^([[:print:]]{0,7}	|[[:print:]]{1,8})(.*)/\2/
  x
  s/([^	]{7})	$/\1 /
  s/([^	]{6})	$/\1  /
  s/([^	]{5})	$/\1   /
  s/([^	]{4})	$/\1    /
  s/([^	]{3})	$/\1     /
  s/([^	]{2})	$/\1      /
  s/([^	]{1})	$/\1       /
  s/([^	]{0})	$/\1        /
  H
  g
  b b
}'

いずれも、行頭からタブストップまで分割して、タブ空白置換を施した上で、分割した余りが保持されているホールドスペースに追加、この処理を最初の追加が現れるまで行ない、改行を除いて出力している。

このように、expand と同じ拡張正規表現の sed スクリプトは以上のようになる。

`unexpand -a`

この複数の空白をタブに置換するコマンドを sed で実現するのは少々難しい。まず、拡張正規表現の GNU sed であれば多少簡単であり、以下のようになる。

	sed -r -ne '
h
:b
/^\n/{
  s/\n//g
  p
  b
}
/^$/p
/^([^\n\t]{0,7}\t|[^\n\t]{1,8})(.*)/{
  s/^([^\n\t]{0,7}\t|[^\n\t]{1,8})(.*)/\1/
  x
  s/^([^\n\t]{0,7}\t|[^\n\t]{1,8})(.*)/\2/
#  /^ /{
#    x
#    s/ {1,}$/\t/
#    b c
#  }
  x
  s/([^\t]{7})\t$/\1 /
  s/ {2,}$/\t/
#:c
  H
  g
  b b
}'

ちなみに、コメント行は本質的には不要であるが、完全に `unexpand -a` の挙動を再現するにはコメントを外す必要がある。

一方、POSIX sed だと '[^\n]' が使えないので、苦肉の策で、拡張正規表現の POSIX sed においては以下のようになる。

	sed -E -ne '
h
:b
/^\n/{
  s/\n//g
  p
  b
}
/^$/p
/^([[:print:]]{0,7}	|[[:print:]]{1,8})(.*)/{
  s/^([[:print:]]{0,7}	|[[:print:]]{1,8})(.*)/\1/
  x
  s/^([[:print:]]{0,7}	|[[:print:]]{1,8})(.*)/\2/
#  /^ /{
#    x
#    s/ {1,}$/	/
#    b c
#  }
  x
  s/([^	]{7})	$/\1 /
  s/ {2,}$/	/
#:c
  H
  g
  b b
}'

ちなみに、コメント行は本質的には不要であるが、完全に `unexpand -a` の挙動を再現するにはコメントを外す必要がある。

いずれも、行頭からタブストップまで分割して、空白タブ置換を施した上で、分割した余りが保持されているホールドスペースに追加、この処理を最初の追加が現れるまで行ない、改行を除いて出力している。

このように、unexpand -a と同じ拡張正規表現の sed スクリプトは以上のようになる。

`rev`

行毎に文字列を反転する BSD rev(1) コマンド。実用したことはないが、GNU sed における実現例が秀逸なので、ここでさらに単純にして紹介する。

	sed -e '
s/^.*$/\
&\
/
:x
s/\(\n.\)\(.*\)\(.\n\)/\3\2\1/
t x
s/\n//g'

行を入力したらまず行頭行末から改行コードで挟んで、改行コードを印に両端の '\n.' と '.\n' を交換していく。すると両端の一文字を交換しながら改行コードが中央に移動していき、中央が '\n.\n' もしくは '\n\n' となったら置換がなされないので、改行を除去しつつ次のサイクルに遷移する。但し、オリジナルにある不要な判定は除去した。

このように、BSD rev(1) と同じ拡張正規表現の sed スクリプトは以上のようになる。

`tac`, `tail -r`

最終行から先頭行まで逆順で出力する GNU tac コマンド、`tail -r` に同じ。これも実用したことはないが、GNU sed における、好ましくない実現例は以下の通り。

	sed -ne '
1!G
h
$p'

ホールドスペースにファイルの内容すべて逆順で保持して最後にすべて出力するという処理なので、そこに書いてある通りメモリが足りなくなるか、仮想メモリで非常に遅くなるだろう。確かに他の方法も思いつかないが、そもそも 'fseek' 等がない sed にそぐわないことをさせるなら C や perl 等の他の言語を採用すべきだ。

`strings -a [-n 4]`

この例、ファイルの連続した印字可能な４文字以上の文字列を表示する sed スクリプトを示す。この例では strings.sh という実行権のついたファイルに記述するものとする。まず、拡張正規表現の GNU sed であれば多少簡単であり、以下のようになる。

#!/bin/bash
n=4
while [ "$1" != "" ]; do
  case "$1" in
  -n)	shift; n="$1"	;;
  *)	break	;;
  esac
  shift
done
${SED:-/usr/local/bin/sed} -r -ne '
  /([\f[:print:]]{'"$n"',})/{
    s/([\f[:print:]]{'"$n"',})(.*)$/\
\1\
\2/
  s/^[^\n]*\n//
  P
  D
}
' "$@"

この strings.sh では、'-n 4' オプションが指定でき、このように、オプション解析はシェルに任せ、スクリプトにそれを埋め込めば柔軟な sed スクリプトが書ける。

一方、POSIX sed だと '[\f]' が使えなかったり '[^\n]' が使えないので、苦肉の策で、拡張正規表現の POSIX sed においては以下のようになる。

#!/bin/ksh
n=4
while [ "$1" != "" ]; do
  case "$1" in
  -n)	shift; n="$1"	;;
  *)	break	;;
  esac
  shift
done
${SED:-/usr/bin/sed} -E -ne '
  /([^L[:print:]]{'"$n"',})/{
    s/([^L[:print:]]{'"$n"',})(.*)$/\r\
\1\
\2/
  s/^[^\r]*\r\n//
  P
  D
}
' "$@"

但しここで、'^L' はフォームフィードそのものであることに注意。

このように、strings -a と同じ sed スクリプトは以上のようになる。

参考文献

1. sed, IEEE Std 1003.1.
2. GNU sed.