Mikrotik RouterBoard & Switch 雑感 – CRS328-24P-4S+RM

待てど暮らせどUnifi Gateway周りのIPv6関連実装が進まないので、他にいいオモチャないかなとアンテナを張っていたのですが、SDNとしてのUnifiに興味があったこともあってEdgeRouter系には食指が伸びなかったところ、前々から探していたリーズナブルな10GスイッチがMikrotikから遂に出ていたことを知ったので、自前のインフラストラクチャを刷新するのと合わせて、ルーターとスイッチを幾つか手に入れましたので雑感を書きたいと思います。

以下の内容は執筆時点の内容であり、時期によっては該当しない場合があることをご注意ください。

CRS328-24P-4S+RM

CRS328-24P-4S+RM

Hardware:

こいつは簡単に言うと、4ポートのSFP+を持ち、PoEがすべてのイーサネットポートで使えるスイッチです。

特にPoEの実装が強力で、802.3af/at及びPassive PoE、Low Voltage PoEに対応しており、つまり殆どのPoEデバイスに電力を供給できるのが強みです。PoEで電力を供給できる機器を使い始めるとわかりますが、幾つかの方式があるので、組み合わせを考えて導入しなければなりませんが、このスイッチなら頭を悩ませることは殆ど無い。

Block Diagramの把握が重要

Mikrotikのハードウェア全般に言えることですが、ARMやMIPSといった組込み用SoCやCPUをベースとして、幾つかのブロックを組み合わせることでシステムが構築されています。CRS328でいうと次の通り

  • 8ポートを一組とした、3つのネットワークボードが搭載されていて、それぞれが98DX3236にnon blocking wire speedで接続されている。
  • SFP+は2ポートごとにPHYに接続されていて、それぞれのPHYが98DX3236にnon blokging wire speedで接続されている。
  • CPUは1コア

ここから何が読み解けるかというと、”CPUを介さなければワイヤスピードで通信できる「スイッチ」だ”ということです。言い方を変えると、98DX3236に備わるファンクションだけ利用するならいいが、CPUを使用すると速度がガタ落ちします。後述しますが、RouterOSを使う場合、この点を注意しなければなりません。あくまでL2スイッチとして使うことが想定されているハードウェアなので、L3スイッチやルーターとして使おうとすると、期待した性能にはならない場合があると思います。

FANが2基搭載されています

私の個体では次のファンが搭載されていました。

  • Sunford MODEL:AD4028V12BLBGF
  • DC12V 0.20A 7200RPM
  • 40mm x 40mm x 30mm

クソうるさい。一般のご家庭で使う場合にはファンを換装するなどの対策が必須のレベルです。4PINのPWM端子が付いていますが、40mmファンで4PINのものは入手性が悪く、選択肢があまりありません。比較的入手しやすい3PIN FANを使用すると、回転数はモニタリングできますが回転数を動的制御できないので、動作に支障がないであろうレベルで冷却でき、かつ低回転のものを選択する必要があると思います。

AINEX OMEGA TYPHOONの超静音(CFZ-4010SA)と、究極静音タイプ(CFZ-4010LA)を試しましたが、CFZ-4010LAでいいんじゃないかとおもいました。その理由ですが、FAN1とFAN2コネクタで供給電流が異なるようで、FAN1につなげると、ファンの仕様回転数より500RPMほど高回転(一応マージンには収まってる)で回るので、CFZ-4010SAだと4500RPMほどになってしまって、思った以上に音が目立つんです。私の場合、切り分けしながら買ったため2基ないので、CFZ-4010SAをFAN2に、CFZ-4010LAをFAN1に装着して使っていますが、この組み合わせでは結構音が気になるので、通気口に遮音材をかぶせて使っています。常識的な室温で42℃前後で安定するため、FANの停止動作音も発生しないようになり、比較的快適に使えています。ぶっちゃけ、ファンレスにしてもCPUが60℃前後、ボード周辺が45℃ぐらいなので、故障するレベルでも無いんじゃないかと思いますが、PoEで使用するために強力なスイッチング電源が載っているので、きっちり対流を起こして冷却するべきだと思います。

現在のRouterOS(6.44test20)とswOS(2.8)のFANコントロールには以下の仕様があります。

  • RouterOSではCPUのサーモセンサーが基準となっており、40℃に閾値があるのだが、40℃を下回るとFANが停止し、上回るとFANが回転し始める、セミファンレス動作となっている。PWMで回転数制御されているが、40℃のウェイクアップ時点で回転数がかなりあり、FANが回りだすともはやうるさい。そして、室温25℃ぐらいの環境だと、FANが回転し始めるとすぐに40℃以下に冷却されるため、ファンが回りだしたと思ったらすぐに止まり、そしてまたすぐに回りだすという動作になるため、人間にとっては非常に耳障りな動作となる仕様になっている。※フォーラムの逸般人から非難轟々、いやいやちゃんと冷やさなアカンやん?という正論で殴り合いとなっており地獄の様相
  • swOSでは、サーモセンサーが全く動作に関与しない動作になっており、常にフルスピードで回転するご家庭お断りモードとなる。

2019/08/29追記

Router OS 6.45.5にてFANコントロールが大幅に改善されました!閾値がCPUとSFP近辺のセンサー値を元に調整されるようになったようで、CPU温度60℃あたりを超えると徐々にFANが回るセミファンレス動作になりました。室温26℃でおおよそ58℃で動作しますが、この状態では100-500RPM前後で緩やかに動作し、状況によって片方あるいは両方のファンが停止します。理想的なセミファンレス動作となりました。PWM制御でコントロールされるので、過去に書いた静穏ファンへ換装してしまうと固定回転数になってしまいますから、標準装備のファンをそのまま使用するのが良いでしょうね。もはやご自宅に置くのに何の不都合もない。

Software:

OSが2種類使える

RouterOSというルーターとして使えるOSと、L2スイッチ機能に特化したswOSというのを選んで使うことができるようになっています。

RouterOS

特徴としては次の内容に集約されるんじゃないかと思いますね。

  • RoutingとかFirewallとかは極力使わないようにする。

Cloud Router ”Switch” なので、SoCで主要機能を回す思想で作られていて、CPUも1コアで比較的非力です。なので、L3機能をぶん回そうとすると、途端にパフォーマンスが落ちるので、そういう使い方は、できなくはないですが、しないようにするのがベストです。

  • ”Interface”の設定項目はMTUやPoEについてのみ使用する項目で、VLANなど主要機能は”Bridge”を使う

CRS3XXではVLAN設定を”Bridge”だけでやる思想に変わっています。それ以前では”Interface”で行ってからという感じだったようですが。Mikrotik製品は、設定方法によってハードウェアオフロードが効く場合と、効かなくなってしまう場合があり、RouterBoard系ではBridgeでVLAN設定を進めるとハードウェアオフロードがオフになってしまうものがあるのですが、CRS3XXはオフロードが効きます。ただし、CRS3XXでも、デフォルトで存在するBridgeインターフェース以外ではオフロードが有効にならないので、追加したBridgeインターフェースではオフになります。

swOS

致命的な問題が現在はあるので、CRS328で使うことはおすすめしません。

  • SPF+ポートを使用している場合、とある状況下で速度が激落ちする。※RouterOSでも発生していたが、Stableバージョンで修正が盛り込まれている。
  • FANが常にフルスピードで動作する。

VLANなどの設定自体は、RouterOSのようにInterfaceだBridgeだというような区別をする必要がなく画一的なUIで設定できるので、簡単です。

で、結局買いなのか?!

いいから買え (´・_・`)9m

実は同じPoE搭載でQSFP搭載モデルの発売が控えているのですが、48ポートなので、はっきり言ってオーバースペック感あるし、冷却で更に頭を悩ませそうなので、ホームユースだとCRS328-24P-4S+RMが今でもベストちゃうかなと思っています。消費電力もOSの表示を信じるなら低い(実測は測れてません・・・)し。そして10Gスイッチを導入するなら、2ポートは少なすぎるので、4ポートは欲しい。となると、N○tgearとかQN○Pとかからもぼちぼち10Gスイッチでてきていますが、コストパフォーマンスでは間違いなくぶっちぎりで現行最高峰のPoEスイッチでしょう。

おまけ

Mellanox Connect-X3の放出品がいま各所で多いので、I○telチップ載せた廉価品買うより断然おすすめです。MellanoxのNICはRDMA over TCP/IPなどの実装で先を行っており、X3は型落ち品ですが、Windows環境で使うと、ファイル共有などのパフォーマンスが素晴らしく、今なお強力です。SFP+DACも今は安いですから、見かけやすいからと言ってRJ-45な10Gbps NICを買うのはnonsense。