solaris text

（そんなわけないよなぁ～）とか入れるんかと思っていろいろやってました。boot時にtext modeは選べるんだね。これでやるのかしらね。はじめてLinuxを入れたのがRedHat３だか４だったと思う。Enterpriseとかつかないやつですよ。今から１５年くらい前だったと思う。いえね、そのころグラフィカルインストールするとバグがあって先に進めなかったような記憶が。それからずっとインストールはテキストモードばっかりでして。当然そのころは光なんて普及してなくて。メタル線の６４ｋくらいだっけか。なんか懐かしいですね。

ま、そんな感じで、あれこれいろいろ試してみたかったので、良いタイミングでSunのVirtualBoxを触ってみようと。

Sun VirtualBox
日本語になってるんですね。MacOSXからも使えるし、いろいろ楽しめそう。なかなか使い易いですね。VM界はかなり熱いっていうことなんでしょうね。

で、あれこれと入れてみる。
http://www.genunix.org/

なんかいろいろありますね～。
opensolarisのGUI部分をとっぱらったやつがここらに集結してると思っていいんだろうか？とりあえず、EONはこのまえ使ったので、osol-dev-130-x86.isoあたりから試すことに。これはOpenSolarisのpreviewのbuild130ってことですか。察するに最新、不安定かもVerってこと？

JeOSってのも気になりますね。これってopensolarisのJeOS版ってことなんだろうね。
Ubuntu JeOSってのは、ちらっと聞いたことはあるけどまだ試してなかったから、あれこれためしてみたいですね。

とりあえず、
Solaris Express Community Edition DVD Build 130
(sol-nv-b130-x86-dvd.iso)
でtext mode（４を選択）みたいなやつで入れてみた。結構時間かかりますね。
インストール中、ぐぐってみたら

SXCE b130 のダウンロードは 1 月末で終了

とのこと。これは、OpenSolarisに１本化するよってことなんだろうか。ま、とりあえず今日は眠くなるまでいろいろ入れるだけにしてみよう。
お、インストール終わったみたい。CUIコンソールのままだ。とりあえず、「ふ～ん」って感じで、今日は終了。

次、試してみるもの。
OpenSolaris preview based on build 130
(osol-dev-130-x86.iso)
Automated Installer ってのもあるけど、ISO Universalってのにしてみた。何が違うんだろうね。WANブートインストール？

WAN ブートとは

明日だな。ま、あわてずぼちぼち、solarisと付き合っていきますわ。

…

待ちきれず、とりあえず、text consoleで起動。

…あ、コンソール動くだけなのね。いわゆるレスキューモードみたいなCD-ROMブートですか。インストールがテキストモードじゃないわけですね。納得。

しかもパスワードわかりませんし。ぐぐって、
ID:jack PW:jack
とわかりましたが、結局X Windowsを起動させないとインストールできない仕様なんですね。

Linuxみたいに、テキストモードのインストーラってないんでしょうかね。で、パッケージとか選べればいいんですが、

もう寝ることに。

次なる試してみたい事が。ストライプさせる方向をたくさん作るとISCSI接続したディスクでも速くなるの？ って。ZFSのマニュアルでいうところの、「概念的により複雑なミラー化構成 ミラー化されたストレージプールを作成する」。この方向ってのは、２方向とか３方向とかいくつでも出来るみたい（だよね？）

０）まずは、VMでLocalストレイジを５００Mくらいを２０コ程度つくり、実験。仮想環境で手軽に実験。

S  1 x (2)
S  1 x (20)
や
M  2 x (1)
M  2 x (10)
で実験。

１）適当なISCSIなストレイジ機から複数のターゲットを作り、他のopensorisマシンからISCSI接続してZFSミラー＋ストライプ（複数）を作る。上記と同じ事をするとどうなるのカナ？

速くなるようなならないような。どうなんでしょうかね。ISCSIなサーバ側のデバイス（HDD）は４本とかで、作るとして、接続したISCSIデバイスは、もともとは同じHDDで構成されたものだから、結局同じ？ あるいは、ネットワークのバンド幅上限まで性能があがるのかな？

両方とも計測は仮想環境上のwindowsでやるとして。ストライプさせる量によってCPU負荷はあるから厳密な比較はできないとしても。

▼クライアント側（WindowsXP:ML115G5)
１に装着し、ドライバをVersion１２．２．２．０に上げてみる。
Ethernet NIC NetXtreme Desktop Driver

チーミングのアプリケーションを落としておく。
Broadcom Management Applications Installer Version12.30.11
この中のBACSv3を使う。チーム設定をして下記HUBに２本つなぐ。

続いて、HUB.検証の為、迷いに迷って、

PLANEX SF-0422G 5.6k
http://www.planex.co.jp/product/switch/sf-0422g/

PLANEX SWP-0208G 2.6k
http://www.planex.co.jp/product/giga/swp-0208g/

FXC5008 3.6k
http://www.fxc.jp/products/fxc/FXC5008.html
http://kakaku.com/item/00662210426/

COREGA CG-SSW08GTR 1.35k
手動
http://kakaku.com/item/00660610214/
http://corega.jp/prod/ssw08gtr/spec.htm

結局GS108T にしてみました。
NETGEAR GS108T 調達価格１４０８０円 株式会社 システムインさん
ファームも新しいのが出ていたので、インストール。

NETGEAR GS108T Firmware Version 3.0.4.7

LAGの設定をして（２IDしか設定できないのは誤算 -:p）BACSでPrimaryAdaptersのアイコンが変わる。おお～って感じですね。これでいいんだろうか？ま、とりあえず先進みます。

▼ESXi4（T105)側
とりあえず、T105をバラしてNICを取り付けます。まずは今まで使っていた１本のLANのみLACPじゃないイーサポートに差してみる。VMware vSphere Client上から、物理NICを追加してチーミング。下記でいいか分からなかったが、試す。

IPハッシュに基づいたルート
リンク状態のみ

LACPなポートに２本ともつなぎ変えて（物理的に）リンク確立。これでいいのか、少し疑問だが。ちょっと運用してみる。

・・・途中、略。アップデートが出ているので、クライアント、サーバとも更新してみることに。

VMware vSphere Client およびホスト アップデート ユーティリティ
バージョン 4.0 Update 1 | 208111 - 11/19/09

VMware ESXi 4.0 Update 1 Installable イメージ
バージョン 4.0 Update 1 | 208167 - 11/19/09

とりあえず、動いているような気がするので、次へ行くこととし、検証は後回し。

▼iscsi（solaris:openfiler version2.2.3:ML115G1)
2.6.29.6-0.13.smp.gcc3.4.x86_64 (SMP) で、物理マシンに上記NICを取り付け。
まずはLACPじゃない通常ポートにつけ、２枚目のNICを管理画面から見る。（Systemタブ）
Create bonded interface からeth0と1でbondインターフェイスを作ってみた。

# tail -n2 /etc/modprobe.conf
alias bond0 bonding
options bond0 max_bonds=8 mode=4 miimon=100 downdelay=0 updelay=0 use_carrier=0

初期設定（管理画面から作った直後）では上記のようで、ここのマニュアルとか読んでみて、
http://www.linux.or.jp/JF/JFdocs/kernel-docs-2.6/networking/bonding.txt.html
いくつかパラメータを変更してみた。

# tail -n2 /etc/modprobe.conf
alias bond0 bonding
options bond0 max_bonds=1 mode=4 miimon=500 downdelay=1000 updelay=1000 use_carrier=1 lacp_rate=1

設定変更後は、/etc/rc.d/init.d/network restart で。当初、ここでエラー（802.3ad失敗したよみたいな）出ていたが、「スイッチの挙動問題」として、「リンク確立とフェイルオーバ遅延」があるらしく、気にしないことにした。要は下記で状態を見て、downになってなければOKとしてみた。
下記は、１本を抜いた状態。２本とも確立してればupとなっている。

# cat /proc/net/bonding/bond0
Ethernet Channel Bonding Driver: v3.5.0 (November 4, 2008)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 500
Up Delay (ms): 1000
Down Delay (ms): 1000

802.3ad info
LACP rate: fast
Aggregator selection policy (ad_select): stable
Active Aggregator Info:
        Aggregator ID: 1
        Number of ports: 1
        Actor Key: 17
        Partner Key: 62740
        Partner Mac Address: 00:22:3f:f1:ba:f4

Slave Interface: eth0
MII Status: up
Link Failure Count: 0
Permanent HW addr: 00:1e:0b:6c:51:03
Aggregator ID: 1

Slave Interface: eth1
MII Status: down
Link Failure Count: 1
Permanent HW addr: 00:10:18:31:2a:d5

この状態で、openfilerからxfsフォーマットしたwindows共有（Linux Physical Volume）で

————————————————–

   Sequential Read :   84.399 MB/s
  Sequential Write :  112.130 MB/s
Random Read 512KB :   84.078 MB/s
Random Write 512KB :  110.247 MB/s
   Random Read 4KB :   20.807 MB/s
  Random Write 4KB :   17.804 MB/s

         Test Size : 100 MB
              Date : 2010/01/18 2:28:54

ケーブル２本目をつなげ、ログを確認。

Jan 18 02:29:52 ML115G1CF kernel: [34561.648174] tg3: eth1: Link is up at 1000 Mbps, full duplex.
Jan 18 02:29:52 ML115G1CF kernel: [34561.648179] tg3: eth1: Flow control is on for TX and on for RX.
Jan 18 02:29:52 ML115G1CF kernel: [34561.988030] bonding: bond0: link status up for interface eth1, enabling it in 1000 ms.
Jan 18 02:29:53 ML115G1CF kernel: [34562.988028] bonding: bond0: link status definitely up for interface eth1.

ステイタスも確認。eth1もリンク確立。HUBもランプ点灯。

# cat /proc/net/bonding/bond0
Ethernet Channel Bonding Driver: v3.5.0 (November 4, 2008)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 500
Up Delay (ms): 1000
Down Delay (ms): 1000

802.3ad info
LACP rate: fast
Aggregator selection policy (ad_select): stable
Active Aggregator Info:
        Aggregator ID: 1
        Number of ports: 2
        Actor Key: 17
        Partner Key: 62740
        Partner Mac Address: 00:22:3f:f1:ba:f4

Slave Interface: eth0
MII Status: up
Link Failure Count: 0
Permanent HW addr: 00:1e:0b:6c:51:03
Aggregator ID: 1

Slave Interface: eth1
MII Status: up
Link Failure Count: 1
Permanent HW addr: 00:10:18:31:2a:d5
Aggregator ID: 1

同じく、ベンチしてみる。クライアント２本とサーバ２本の物理ランプ４本が激しく点滅。

————————————————–

   Sequential Read :   82.865 MB/s
  Sequential Write :  111.078 MB/s
Random Read 512KB :   83.788 MB/s
Random Write 512KB :  110.156 MB/s
   Random Read 4KB :   20.715 MB/s
  Random Write 4KB :   17.807 MB/s

         Test Size : 100 MB
              Date : 2010/01/18 2:37:45

つうか、変わってないね。期待したのに。ちなみに、通信中（１Gくらいのファイルコピー中）にどっちか片方のケーブル抜いても何事もなかったかのように動いてくれたのがちょっと嬉しかった。

今回は、WindowsXP（ギガ２本）からopenfiler（ギガ２本）へのチーミングやってみたけど、ｓｍｂ接続では速度は変わらなかったっていう落でした。

※なにか見落としがあるのかもですが。

Solaris ZFS 管理ガイド

この中で、複数のHDDがあるとき、パフォーマンスと容量の関係を記した記事のリンクがあった。
http://blogs.sun.com/roch/entry/when_to_and_not_to
dynamically striped RAID-Zとあるけど、これはRIADZを多重化（言葉が適切じゃないかもしれないが）するということなんだろう。

ZFS ハイブリッドストレージプールっていうのも気になる。LogとキャッシュをSSDやRAMディスクにおいてZFS全体を高速にしましょうよっていうことなんだろうが、自作でできるものなんだろうか？
キーワードは、Hybrid Storage Pools。下記ページを参考にしてみた。
Solaris 10 で ZFS の Hybrid Storage Pool を作る方法
ZFSはどう活用できるか

ふむふむ、要するに高速なSSDをライトとリードのキャッシュに使用しHDDのI/Oを上げると。これはファイルシステム全体に有効なので、コストパフォーマンスに優れたストレージ作れるよっていう事なんですね。
これを構成するとどのくらいパフォーマンスが上がるのか、実験してみたいですね。

ということで、いろいろ実験開始。ZFSっていじりがいがありそうですね。

• NICを２枚差して、チーミングしてみる。
• HUBをIEEE 802.3ad対応にしてLACPしてみる。
• ESXi4にNICを２枚差してマルチパス構成にしてみる。
  ESXi4側
  ISCSI側
• Hybrid Storage PoolsなZFSを作ってみる。

http://www.nexenta.com/corp/products

http://www.nexenta.com/corp/component/content/198?task=view

まず、ESXi4から仮想マシンを作成。
500MBのdiskを４つばかり作っておく。サイズは、５００Mにしてみた。hdコマンドでHDDが見えるとのことで、確認。
 

Solaris の ZFS はこんなにすごいぞ！を参考に、RAID1+0構成にしてみる。
確認。

eon:7:~#zpool iostat -v
                 capacity     operations    bandwidth
pool          alloc   free   read  write   read  write
————  —–  —–  —–  —–  —–  —–
mypool         765M   219M      0     39    457   457K
  mirror       383M   109M      0     19    208   229K
    c1t0d0p0      -      -      0      3    479   229K
    c1t1d0p0      -      -      0      4    350   229K
  mirror       382M   110M      0     20    257   237K
    c1t2d0p0      -      -      0      4    536   237K
    c1t3d0p0      -      -      0      4    461   237K
————  —–  —–  —–  —–  —–  —–

OpenSolaris 2009.06でCOMSTARを試す を参考に、公開iSCSIリソースの作成をしてみる。

zfs create -s -V 1tb mypool/iscsi1
sbdadm create-lu mypool/iscsi1

あれこれやって、ターゲットを作成。確認。

eon:8:~#stmfadm list-lu -v
LU Name: 600144F00F1DCF0000004B4AC1E70001
    Operational Status: Online
    Provider Name     : sbd
    Alias             : /dev/zvol/rdsk/mypool/iscsi1
    View Entry Count  : 1
    Data File         : /dev/zvol/rdsk/mypool/iscsi1
    Meta File         : not set
    Size              : 1099511627776
    Block Size        : 512
    Management URL    : not set
    Vendor ID         : SUN
    Product ID        : COMSTAR
    Serial Num        : not set
    Write Protect     : Disabled
    Writeback Cache   : Enabled
    Access State      : Active

eon:9:~#itadm list-target -v
TARGET NAME                                                  STATE    SESSIONS
iqn.1986-03.com.sun:02:a3c40b3f-83d2-cea1-8f92-c153b40e4821  online   1
        alias:                  -
        auth:                   none (defaults)
        targetchapuser:         -
        targetchapsecret:       unset
        tpg-tags:               default

windowsXPから接続。フォーマット。

※５００MをRaid10して１Gしかないけど、１Tも作れていいんだろうかと心配になるが。
 

なかなか速いんでないの?

————————————————–

   Sequential Read :   71.614 MB/s
  Sequential Write :   16.320 MB/s
Random Read 512KB :   79.034 MB/s
Random Write 512KB :   15.355 MB/s
   Random Read 4KB :    7.821 MB/s
  Random Write 4KB :    5.187 MB/s

         Test Size : 100 MB
              Date : 2010/01/11 17:03:26

————————————————–ESXi4 IDE

   Sequential Read :   85.612 MB/s
  Sequential Write :   12.653 MB/s
Random Read 512KB :   85.921 MB/s
Random Write 512KB :   11.310 MB/s
   Random Read 4KB :   14.205 MB/s
  Random Write 4KB :    0.477 MB/s

         Test Size : 100 MB
              Date : 2010/01/10 10:08:02

————————————————–ESXi4 SCSI

   Sequential Read :  111.449 MB/s
  Sequential Write :    7.336 MB/s
Random Read 512KB :  107.404 MB/s
Random Write 512KB :    7.441 MB/s
   Random Read 4KB :   14.778 MB/s
  Random Write 4KB :    0.471 MB/s

         Test Size : 100 MB
              Date : 2010/01/10 20:27:22

IDEはキャッシュが効いているからこういう数字になるのかな。
書込み速度を上げるには、マルチパス構成にしないとだめっぽいですね。ゲストOS上でダイナミックディスクにしてストライプも試したけど、やっぱり書込み速度でないでした。

openfiler物理マシンとESXi物理マシンにそれぞれ２枚のギガビットイーサと物理HUBを分離してマルチパスっていう実験は機材がないので、いずれまた。

iSCSIベンチマーク (マルチパス構成で高速化)

参考にしたページ。これ、iSCSIサーバ Solaris 10でやってるんですね。ZFS、やってみたいですね～。opensolarisでZFSなiscsiマシンっていうのも作ってみますか。

————————————————–RAID１０ iscsi

   Sequential Read :   97.754 MB/s
  Sequential Write :   24.194 MB/s
Random Read 512KB :   99.350 MB/s
Random Write 512KB :   20.197 MB/s
   Random Read 4KB :   19.234 MB/s
  Random Write 4KB :    0.506 MB/s

         Test Size : 100 MB
              Date : 2010/01/09 2:49:54

Raid0とほぼ同じ感じですね。ちなみに、WindowsからはSMBマウントのほうが速いですね。
iscsiはパラメータ調整でなんとかならないですかね。体感的にかなり違う。

————————————————–XFS SMBマウント

   Sequential Read :   76.249 MB/s
  Sequential Write :  102.550 MB/s
Random Read 512KB :   74.392 MB/s
Random Write 512KB :  111.071 MB/s
   Random Read 4KB :   20.497 MB/s
  Random Write 4KB :   17.453 MB/s

         Test Size : 100 MB
              Date : 2010/01/09 3:21:39

nash
http://gihyo.jp/dev/serial/01/sc-literacy/0014?page=3

http://d.hatena.ne.jp/w650/20091204/1259896664
http://blog.y17e.com/?p=1252&img=link&kp=2

http://www.nerdlogger.com/2009/05/openfiler-install-on-large-disk.html

作業記録。。。

    mount /dev/sda2 /mnt/source
    mount /dev/sda1 /mnt/source/boot

    cp /mnt/source/boot/initrd-2.6.xx タブキーで補完 /mnt/source/tmp/initrd.gz
    chroot /mnt/source
    gunzip /tmp/initrd.gz
    cd /tmp
    mkdir /tmp/a
    cd /tmp/a
    cpio -i < /tmp/initrd

vi /tmp/a/init
———————————"insmod /lib/sd_mod.ko"
insmod /lib/sr_mod.ko
insmod /lib/ohci-hcd.ko
sleep 5
insmod /lib/usb-storage.ko
sleep 8
———————————

    cd /lib/modules/2.6.xx タブキーで補完/kernel/drivers

    cp usb/storage/usb-storage.ko /tmp/a/lib
    cp usb/host/ohci-hcd.ko /tmp/a/lib
    cp scsi/sr_mod.ko /tmp/a/lib
    cp scsi/scsi_wait_scan.ko /tmp/a/lib

    cd /tmp/a
    find . | cpio -c -o | gzip -9 > /boot/usbinitrd.img

vi /boot/grub/grub.conf
———————————
default=0
timeout=10

title Openfiler NSA (2.6.26.8-1.0.11.smp.gcc3.4.x86_64) USB
        root (hd0,0)
        kernel /vmlinuz-2.6.26.8-1.0.11.smp.gcc3.4.x86_64 ro root=LABEL=/1  quiet
        initrd /usbinitrd.img
———————————

これで、NG。

CentosのCD－ROMからレスキューモードで起動。
chroot /mnt/sysimage

    mount /dev/sda2 /mnt/source
    mount /dev/sda1 /mnt/source/boot
grub-install –root-directory=/mnt/source /dev/sda
※再起動するとGRUBコマンドラインになる。この時点であきらめた。。。方針を転換して、CFでIDE接続することに。

用意したもの。
１）CFカード GH-CF4GD (4GB) 調達価格１９８０円

２）CF-IDE変換アダプタ SFB-SLCI4003S 調達価格840円

３）二股電源ケーブル ３００円くらいだったか？
二股電源ケーブル電源コネクタ (大) オスを、電源コネクタ (大) メスと電源コネクタ (小) メスに変換

※どっかにあるだろうと思ってたらなかったので、再度買出し。ジャンク箱あさったけど無かった時の虚しさ。。。

CFカード GH-CF4GD (4GB)のスペックはこんなもの。買った後で気がついたが、ECCついてるんだね。ほほぉ～。
————————————————–Fat16

   Sequential Read :   14.686 MB/s
  Sequential Write :    8.771 MB/s
Random Read 512KB :   14.697 MB/s
Random Write 512KB :    2.111 MB/s
   Random Read 4KB :    2.173 MB/s
  Random Write 4KB :    0.021 MB/s

         Test Size : 100 MB
              Date : 2010/01/08 12:39:36

エラーを検出して自動的に修復する「ECCエラー訂正機能」を搭載。万が一不良ブロックが発生した場合も、不良ブロックに対して予備ブロックを割り当てることで長期間にわたって安定動作を確保できる。

らしい。４G980円のUSBメモリと比べるとちょっと高いがまぁ、よしとしましょう。まぁ、６４Mで２万円とかの時代からしたら夢のようですが、、、

で、ML115G1はCD-ROM(DVD-ROM)がIDE接続でついてるからこいつをとっぱらい、USB接続のDVDドライブにてインスト。SATAもBIOSにて復活させて普通にインストール。
USBんときよりも、若干早いような感じ。３０分くらい？

ちなみに、UNetbootinでisoをUSBに書き込んで、インストールしようとしたけどNGだった。