Skip to content

Kubernetes

Qwiklabsの続きをやる

先日のデブサミのハンズオンで使ったアカウントに１ヶ月のサブスクリプションが付与されていたのを思い出して、途中になっていたKubernatesのクエストの続きを終わらせた。 Jenkinsを使ったCI/CDのやつ。

Jenkinsは昔使ったことあったけれど、最近はCI/CDのサービスが充実してきているので自前で用意して使うことはなくなってきたなー、ということで久しぶりに触った。

Read more

Kubernetes Meetup Tokyo #26

Kubernetes Meetup Tokyo #26

今回は 2019/11/18-21 で開催された KubeCon + CloudNativeCon North America 2019 の Recap 会だそうです。 どちらも参加していないのでどんな話が聞けるのか楽しみです。

https://k8sjp.connpass.com/event/155240/

18:15-19:15 受付開始

19:00-19:05 Opening (5min)

19:05-19:20 KubeCon + CloudNativeCon North America 2019 Overview

Ian Lewis (@IanMLewis), Google

  • ２つのイベントが同時開催だった
  • 次回登壇したいヒトは明日までCFP受付中
  • 12000人くらい。去年は8000人くらいだった。
  • 女性11%はDev系カンファレンスでは多い方
  • 関連イベントたくさん（スライドに入り切らない）
  • CNCF End User Community
    • 日本の企業もいくつかある（もっとある？
  • Kubernetes Project Update
    • 1.16
    • Ephemeral Containers
    • 毎月3000人以上がコントリビュートしている

19:20-19:40 Your Path to Production Ready Kubernetes hosted by Weaveworks

土田 智大 (dullest), 楽天株式会社

19:40-20:00 Keynote: Seamless Customer Experience at Walmart Stores Powered by Kubernetes@Edge

Junichi Yoshise (@jyoshise), Hewlett Packard Enterprise

  • Walmartの決済の話
  • POSシステムをクラウド化した（４年前）
  • 通信コスト削減のためにエッジに処理を一部移動させる
  • クラウドネイティブ化の動機
    • Dynamic deployment
    • Scalability
    • Resiliency
    • Observability
  • エッジコンピューティングの動機
    • Low latency
    • Massive data
    • Privacy security
    • Local autonomy
    • Devices
  • MEC(Mobile Edge Computing)
  • データの同期
    • Edgeとクラウドで整合性が取れていないといけない
      • 商品の金額とか
  • 物理的な制約
    • 各店舗にラックマウントサーバーを設置している
    • 基本的にEdge環境では、過酷な環境でメンテナンスフリーに近い形で稼働し続けなければならない
  • K8sクラスタの更新
    • 遠隔地のクラスタ自体のデプロイを集中管理する仕組みが必要
  • MECでは、端末は移動する前提
  • スマートじゃないデバイスへの対応
    • KubeEdge
      • Device Twin
  • アプリケーションのデプロイ
    • GitOpsが最適
    • WalmartはCDエンジンを自作
      • 今ならArgo flexやTectonが使える？
  • Security
    • Secret管理
      • Vaultから撮ってきたsecretをetcdに一時的に保存するoperationを自作
      • クラウド側のみだとネットワーク切れたら使えなくなってしまうので

20:00-20:20 Running Apache Samza on Kubernetes - Weiqing Yang, LinkedIn Corporation

吉村翔太 (@yosshi_), NTT Communications

  • samza
    • もともとはLinkedinが作ったストリーミング処理OSS
    • 似たものにSparkやFlinkがある
  • 最近のHadoopの動向
    • オンプレで使う場合はディストリビューションを使う。主なものは３つ
    • ClouderaとHortonworksが統合。2021年くらい？
    • ClouderaDataPlatform
      • AWSをサポート。AzureとGCPも近々
  • KafkaがHDFSなら、SamzaはMapReduceに当たる存在
    • KafkaもLinkedinが開発したOSS
    • Message queue, Message hub

20:25-20:55 懇親タイム sponsored by Yahoo! JAPAN

20:55-21:15 How Yelp Moved Security From the App to the Mesh with Envoy and OPA

鳥居隆史 (@ttorii0609), Dell EMC

  • Security
    • K8s is NOT secure by default
      • 基本フルオープンなので、ザル。
      • 9個のプラクティス全部やれ
    • K8sのセキュリティは今アツい
  • Open Policy Agent(OPA)
  • mTLS
  • OPAを使うにあたっての課題
    • OPA Policy Managerを作った
  • セキュリティを考えるとサービスメッシュは必要
  • Scope Creep
    • 要件がどんどん広がっていく様

21:15-21:35 The Release Team Shadow Program - Mentoring For the Future - Guinevere Saenger, GitHub & Lachlan Evenson, Microsoft

Yang Li (@idealhack), Kubernetes community

Kubernetes Meetup Tokyo #25

https://k8sjp.connpass.com/event/150873/

何度か応募するも抽選に落ちて、初参加です。

ストレージ系の話が中心です。

18:30~19:00 受付開始 (19:30まで)、ソーシャル

19:00~19:05 Opening (5min)

19:05~19:35 入門、Kubernetes Persistent Volume (30min)

坂下 幸徳（Twitter: @ysakashita3, GitHub: ysakashita), ゼットラボ株式会社

  • ストレージの苦手意識を払拭する
  • データプレーンとコントロールプレーン
    • データ：格納と転送担当
    • コントロール：管理担当
  • ストレージの種別
    • ブロック：内蔵ドライブと同じRawデバイス：性能High：DBやOS
    • ファイル：ネットワークドライブ：性能Mid：ファイル共有
    • オブジェクト：オブジェクト単位でHostからはHTTPアクセス：性能Low：写真や動画格納
  • Persistentとは
    • Ephemeralの対義語。
    • 永続的
  • ストレージのモデル
    • PersistentVolumeClaim, PersistentVolume, StorageClass
    • オブジェクトストレージ以外（オブジェクトストレージはそもそもHTTPでアクセスできるので）
  • リソースの範囲と権限
    • SC, PVはすべてのNamesoaceで共通
  • pvc
    • Volumeの要求仕様を表すリソース
  • ロックメカニズム
    • ブロック：LBAのため、ロックメカニズムを持っていない
      • 複数ホストから同時に書き込まないようにする
    • ファイル
      • ファイル単位でロック
      • 複数ホストから読み書き可能
  • pv
    • Volume を表すリソース
  • sc
    • ストレージプールを表すモデル
    • Provisionerがストレージ装置のAPIを呼び出す
  • CSI(Container Storage Interface)
    • コンテナオーケストレーション向けの標準仕様
    • K8s 1.13 で GA
  • StatefulSet(sts)
    • pv, pvcを便利かつ安全に使う
  • Rolling Update（セルフヒーリングも同様）
    • podは再作成
    • pv, pscはそのまま
  • FAQ
    • ストレージは何を選んだら良いか
      • 用途、データの価値による
    • CinderとA社どちらが良いか
      • 比較対象が異なる
      • K8sやCSIがサポートしてないならCinderを挟むのがあり
    • DB用途
      • 特別な理由がなければブロックストレージが良い
      • 性能問題、ロックメカニズムの問題
      • ファイルストレージはSyncで書き込まれる保証がない
    • Deploymentでpv使ってもよいか
      • ストレージに優しくないのでStatefulSetがオススメ
      • RWXをサポートしていないストレージはsts一択

19:35~20:10 KubernetesにおけるCSIについて (30min)

早川 大貴 (Twitter: bells17_, Github: bells17), 株式会社IDCフロンティア

  • https://docs.google.com/presentation/d/1S0FcCAgZn11ZFbJfU2eUhOa--vONqrsd0waRvwoTBcE/edit
  • CSI移行のモチベーション
    • ストレージプロバイダ
      • CSIプラグインを実装するだけで各種コンテナオーケストレーター(OC)に対応できる
    • K8s
      • ボリュームプラグインを本体から除外できる
      • バイナリサイズの削減など期待
  • 機材トラブル
  • CSIで定義されている仕様
    • ドライバの通信方法や提供方法
      • コンテナイメージ形式で提供する
    • 提供する機能
    • gRPCのインターフェース
  • RPC service
    • Identity Service
    • Controller Service
    • Node Service
  • K8sとCSIの連携
    • Controller Plugin/Node Pluginをサイドカー的に使用する

20:10~20:45 How to develop the high-available Redis database application on Kubernetes (en/英語) (30min)

Ran Xu (Github: fengzixu Twitter: Haierdi0715)

  • Higily Reliable Data
    • backup
  • High Available Service
    • data link
      • LBで分散管理

20:45~21:10 懇親タイム sponsored by CyberAgent

21:10-21:30 LT大会 (5min x 5) -

  • Rook（るーく）/ Ceph
    • Host-based と PVC-based
    • Nodeに特別なNodeが必要なくなる

  • Kubespray
  • CentOSで動かなくてCoreOSにしたら動いた
  • マネージドサービスを使ったほうが楽