分散システムデザインパターン寸評

「分散システム」という言葉は大まかにいって複数のコンピュータが一つの系となって協調動作するようなシステムのことを指す。本書のお題はそのときにどういうパターンがあるかを解説するものだ。作者がKubernetesの開発者であることや、副題をみても、複数のコンピュータを使って大規模にスケールするサービスを設計するときに必要なテクニックを解説するものだ。

分散システムデザインパターン ―コンテナを使ったスケーラブルなサービスの設計

しかしながら、分散システムという言葉は狭義には「いつでも故障しうる」複数のコンピュータがひとつの系となって協調動作するシステムという強い条件がつく。その上で協調動作のなかでも最も難易度の高いコンセンサス（合意）という問題を解くことが、学問分野として長年研究されてきた。なので私もそのためのデザインパターンを記述したものだと期待してしまったのだが、そうではなかった。
分散合意（Distributed Consensus）は分散システムの中でもとても重要な問題で、これを上手く解かないと、Durability（永続性）のあるシステムを組むことができない。Durabilityのあるシステムとは、つまりデータを保存する能力をもったシステムやサービスのことを指す。これができていないと、例えばひとつのデータを保存したつもりが、読むときに各々のコンピュータが別の値を返してくることになる。

本書では、第一部から、第二部の8章まではずっと準備運動のようなもので、Kubernetesでよくあるデザインパターンつまり、いかに上手くシステムを組むかのノウハウが伝授される。例題もほとんどがステートレスなものだったり、コンセンサスやDurabilityが必要ないものだ。
9章だけはetcdを使った分散ロックの実装サンプルで、分散操作のプリミティブを組み合わせて別のプリミティブを組み合わせるという面白い問題だ。しかしながらロックを実装するサンプルになってしまっていて、実用的な場面について多くが語られているわけではない。それどころか、こう、わりとバッサリ切り捨てている。

マスタ選出は 2 種類の実装方法があります。1 つめは、Paxos や Raft のような分 散コンセンサスアルゴリズムを実装する方法です。しかし、これらのアルゴリズムの 複雑さはこの本の範囲を超えてしまっていますし、自分で実装するほどの価値はあり ません。こういったアルゴリズムを実装するのは、アセンブリのコンペア・アンド・ スワップ命令の上にロックを実装するようなものです。学部生のコンピュータ科学 コースの課題としては興味深いですが、普通は実践するようなものではありません。

バッサリと切り捨ててからロックの実装を解説している…が、実用性をめざすのであれば適当なライブラリを使ったらよいと思うし、 etcdのclientv3にはよいExampleが入っている。ここだけは中途半端で、実用性という意味ではちょっと物足りないし、原理の解説については始めから諦めているし、どうしてこのような章があるのかちょっと分からなかった。
実用的には、ライブラリを使うときのAdvisory Lockの問題点（Mandatoryにすることはできないので、コーナーケースを詰めきることはできない）を解説して、この上にリトライ機構を頑張って組んでアプリケーションのレベルで安全性を保証することを解説しないといけない。そこを乗り越えないと実用的にはならないので、ちょっと何というかメインディッシュを外された感じがする。

まあステート管理はすべてクラウドストレージとかマネージドDBMSでやるんだと割り切ればこういう話でいいのだろうし、本一冊の内容になるといえばなる。これまでの分散システムの解説本でそういうことが十分に解説されてきたか？といえばまあ疑問だが。。。

第三部ではバッチとか、オンラインじゃない処理をスケールさせるときの代表的な手法が解説されている。たしかにWebサービスやふつうのITシステムを組む上で必要十分かもしれないけど、ここ2年ほど深層学習目的のHPCクラスタ上で分散計算をしている身では物足りない・・・。

そういうわけで、本書は分散システムの最も難しくて重要な問題に切り込んでおらず、でもシステムを組む上で頻出する簡単なパターンを網羅している。簡単なパターンばかりなのでわりとアドホックに作り込むことができるものばかりだ（ライブラリや基盤的なシステムとして外だしする必要がない）。つまりタイトルの付け方がうまくて、もっとSpecificにつけるなら「分散アプリケーションデザインパターン」である。アプリケーションとは何だという話ではあるが、Kubernetes上でたくさんのコンテナを使ってサービスを構築・運用していきたい人には良書だと思う。私はそちらの方は疎いけど。。。

[1] リンク https://www.oreilly.co.jp/books/9784873118758/
[2] 原著 https://www.oreilly.com/library/view/designing-distributed-systems/9781491983638/
[3] Azure Download https://azure.microsoft.com/ja-jp/resources/designing-distributed-systems/en-us/