Posts

https://speakerdeck.com/suhirotaka/gohuo-yong-shi-li-an-quan-yun-zhuan-zhi-yuan-sabisuwozhi-eru-yun-yong-guan-li-sisutemu
goで何を作っているか
- DRIVE CHART
- AIはPython
- Railsも使っている
- 運用管理のWEBシステム
- 管理画面をGoで作った理由
  - 2年間の実証実験
  - 実証実験時は、スピード重視でRails
  - 本サービスは、パフォーマンス重視でGo
    - サーバーが減らせるコストメリット
  - 順次goにリプレイス中
ライブラリ
- フレームワーク
  - フルスタック・MVC
    - Beego を採用
    - Revel 開発停滞気味
    - Iris 運営に問題ありそう
  - Beego
    - 中国で人気がある
    - フルスタック
    - bee というCLIツールがある（Railsっぽい）
    - 若干使い勝手に気持ち悪いところがある
- Railsとの共存
  - DB周りの定義の共通化
  - 暗号化周りの共通化
    - 鍵の管理が面倒
      - 更新タイミングを合わせるとか
  - ユーティリティ機能の共通化
    - メール送信・通知システムなどどちら側に実装するか
    - 寄せるとサービス感の通信が発生する
    - 両方に実装するとそれはそれで問題がある

19:50 - 20:30 40分枠 @karupanerura / WebシステムのパフォーマンスとGo/ ゲーム・エンターテインメント事業本部ゲーム事業部Publish統括部共通基盤部アライアンスシステムグループ

https://speakerdeck.com/karupanerura/websisutemufalsehahuomansutogo
Wabシステムにおける本当のGoの強み
問題としっかり向き合う
Webシステムにおけるパフォーマンスを定義する
- 単位時間あたりの処理するリクエスト
- リクエスト単位で消費するリソース
- パフォーマンス低下要因を排除すれば、向上できる
具体例で考える
- サマーインターンシップでのお題
  - チャットアプリをいい感じにする
- c4.large 10台まで使用可
- 発言が多くなるとどうなるか
  - DBのINSERTが詰まる（ロック競合）
    - 複数発言を1回でinsertできるようにする
    - バッファリングするワーカースレッド（ゴルーチン）を作って一定件数or一致機関でフラッシュする
  - 同時接続数が多くなると取得が多くなる
    - 差分だけ取得したい
      - Server Sent Events
        WebSocketより扱いが簡単
        サーバーとクライアントでコネクションを貼り続ける
        サーバーからクライアントにデータをpushできる（一方通行）
まとめ
- Goにしただけでは速くならない。リソースを効率よく使う
- 便利なパッケージを活用する

20:30 - 21:30 懇親会

21:30 - 完全撤収

Developers.IO 2019 Tokyo

2019-11-01

https://eventregist.com/e/191004-developers-io-2019

１年ぶり２回目の参加です。

去年は秋葉原でしたが、今年は日本橋での開催。会場が広くなってトラック数も増えてどれを観るか悩みますが、AIとかIaCを中心に見ていきたいと思います。

10:30 11:15 認証の標準的な方法は分かった。では認可はどう管理するんだい？

都元ダイスケ

認証のでファクトはOIDCなど
Key（鍵）とLock（錠）の違い
- リソースにかけるもの（Lock）
- ユーザーに渡すもの（Key）←狭義の認可
- keyでlockを解除する（認証）
積極的アクセス制御（NG時に拒否する）
- Springでいうと @PreAuthorize, @PostAuthorize
消極的アクセス制御（NG時に加工する）
- 返すときにフィルタリングするとか
ISO 10181-3 Access Control Framework
- 2万円超え
ADF
- ADIを使って判定するファンクション
ADI
- アクセス制御の条件
- 無数に考えられる
アクセス制御の要素整理
- 操作するヒト（ユーザー）、操作されるモノ（オブジェクト）、操作自体（アクション、パラメータ）
アクションごとにアクセス制御を行う
- AWS SQSも同様
何をADIとして扱うか
- リクエストしたアクション名
- ユーザーが持つ権限
- アクションのパラメータはADIとしないほうが良い
  - アクション自体を分けるべき
事後消極アクセス制御を使わない理由
- 手間の割に恩恵が少ない
- うまく動かないときの原因特定が大変
リソースごとのアクセス制御
- オブジェクトのオーナーというADI
ACL：アクセス制御リスト
- リソースが持つプロパティ
まとめ
- ADIはKey、ADFがLock
- アクセス制御は４つに分類
- AIDは無数にある
おまけ
- RBAについて
- 権限は個人ではなく、役職（ロール）につける

11:30 12:15 「今」のAI技術と「3年後」のAI技術のご紹介

清野剛史（せーの）

AIで作曲した曲からはじまる
- Googleアシスタントで認識できた
進化の過程で起こること
- 環境が突然変異する
  - 適応できるかできないか
  - 環境の変化を読む
現在は第３次ブーム
- 第１次はコンピューターの性能に限界があった
  - パーセプトロン
  - ニューラルネットワーク
- 第２次は演算能力が増えた
  - ルールベース（エキスパートシステム）
- 第３次でさらに演算能力が増えた
  - ディープラーニング
    - ニューラルネットワークの中間層を多段化
AWSの定義
- 機械学習
  - アルゴリズムを学習・育成させること
- AI
  - ユーザに付加価値を与えるビジネスロジック、サービス
AIのビジネスステップ
- 効率化、自動化
  - 人件費の削減
- 付加価値
  - 新たな体験の提供
  - 求められる半歩先
  - 熟練者の行動を機械学習して初級者に提供
    - 雪国の車運転とか
- 多様性
  - 「あなたのため」の価値
    - パーソナライズ
  - ビジネスの種
3年後
- Ambient Computing
  - コンピュータの存在を感じさせない
  - 機械が機械を操作
- BMI
  - 脳波を使って操作する
  - リストバンドで計測できるようになってきている
- EMG
  - 筋肉の動きで操作する
  - 仮想キーボードが実現されている
- 環境の変化
  - 5G
    - 低遅延、大容量、同時接続
  - LPWA
    - 自由に使える電波帯を使う
    - Amazon Sidewalk
      - メッシュネットワークを構築
  - Project Kuiper
    - 人工衛星を低軌道で飛ばす
  - 量子コンピューティング
    - 0,1ではなく、そのあいだの状態を持つ
10年後
- AGI(Artifical General Intelligence)
- 汎用(ジェネラル)AI
  - 「設計」を「学習」する
  - WBAアプローチ
    - 脳全体をシュミレート
    - 脳の各部の動的な連携
シンギュラリティは2029年（10年後）

12:30 13:30 CI/CD と Cloud Security ～継続的な脆弱性診断・運用のベストプラクティス～あと Security Consultingの最新情報もしますよ～

エフセキュア河野真一郎氏

ランチセッション
クラウドのセキュリティコンサル、物理セキュリティコンサルもやってる
MS-DOS時代からセキュリティやってる会社
自動化セキュリティ
- F-Secure Radar
  - APIインターフェースが公開されている
  - エージェントインストール不要
  - 動的ページのスキャンは不向き
  - サーバー台数での課金（参考価格）
    - コンテナ１イメージで１サーバー扱い
- 脆弱性が１つでもあれば攻撃されうる
クラウド環境セキュリティコンサル
- pre-study
クラウド環境アンチウィルス
- 月額1000円以下

13:45 14:30 AWSのすべてをコードで管理する方法〜その理想と現実〜

濱田孝治（@hamako9999）

CFnは強い（イメージ）
使いこなしが難しい
使わないことで、AWS利用の効率化の可能性を捨てることになる
IaCを理解する
- コード（テキスト）でインフラを定義する
- リソースの状態を定義するので、状態が変わらなければ何度実行しても変わらない
- aws cliは「処理の定義」なので、実行するたびに更新される
- テンプレートの記述はJSONではなくYAML推奨
CloudFormation
- メリット
  - インフラの管理を簡略化
  - インフラを簡単に複製可能
  - インフラの変更管理が可能
CLIで実行する
- CFnの実行はマネジメントコンソールからとCLIからの２つある
  - コンソール使っていると再現性の担保に問題がある
- 実行結果を見るのにGUI使うのはあり
create-stack, update-stack使わない。deploy使う。
- コマンドにべき等性がない
- 関連コマンドが多い
スタック名の重複に注意
- チェンジセットを確認すれば事前に気づける
- --no-execute-changesetを指定する
テンプレート（スタック）の分割
- 依存関係がファイル名でわかるようにプレフィクス（番号）振る
- スタック感でパラメータ参照する方法
  - クロススタック参照
    - OutputでExportして!ImportValueで参照する
    - 参照があると参照元の削除や変更ができない
  - ダイナミック参照
    - パラメータストアやSecretManagerの値をテンプレートに書く
  - シェルで頑張る
    - クロススタックでexportできないときにcliで取得して加工する
運用上の辛み
- スタックの作成削除が帰ってこない
  - 何を持て完了とするか
  - サービス定義に不備
    - エラーが出ないでタイムアウトまで待ってしまう
- 対応していないプロパティ
- 循環参照
- Conditions
  - テンプレートで条件分岐を書く
    - 可読性が悪い
    - 環境を分けたいならテンプレート自体分けてしまう
- 複数人で操作したときの問題
  - ドリフト検出で気づける
  - AWS configでチェックできる
パイプラインで自動化
- どこで実行する？
  - クライアントPC
  - EC2
  - パイプライン

14:45 15:30 “やってみた系”技術メディアDevelopers.IOの中身だいたい見せます

鵜飼亮次

240万PV
読者層、25〜34歳男性が多い
PCでの閲覧が8割弱
- 世間的には逆にモバイルが多い。
Windowsが5割弱
平均滞在時間2分
- 読まれている
直帰率8割
- ピンポイントでの訪問が多い
流入経路
- 検索系で8割
パートナー企業との関係構築に役立つ
社内のメンバーにも役立っている
- 自己紹介代わりにも
採用にも効く
ブログ本数が多すぎてクロールが終わらない
最初の記事は社長が書いたS3の記事
テラスハウス型の運用
- 生産性と即時性を最大化
基本ポリシー
- アウトプット主義
NGルールもある
- ディスり、比較、非公開内容、裏とりのできていない情報、規約違反、コピペ、個人情報
社内評価にも使っている
- 四半期ごとの表彰、決算賞与の増額など
モチベーション
- 優越感
- 知識の定着
- 知識向上
課題
- 一気に書きすぎて通知用ツイッターアカウントが凍結された

15:45 16:30 AWS CDKの基本と実例

加藤諒

AWS構築の歴史
- 手順書に沿ってマネコンで操作を行う
  - 操作する時間がかかる、操作ミスが起こる可能性がある
  - AWSのバージョンアップで手順書との乖離が出る
- スクリプト作成
  - CLS/SDKを使う
  - べき等性、ロールバック処理の作り込みが必要
  - マネコンだと勝手に関連リソース作ってくれるようなサポートが受けられない
- プロビジョニングツール
  - CFn, Terraformなど
  - 冪等性があり、継続的なデプロイが行いやすい
  - 複雑な条件分岐やループがやりにくい
  - DOM（GoFormationなど）
    - CFnのテンプレートを生成するツール
  - IaaSとしてクラウドを使う時代からマネージドサービスを活用する時代へ
    - IaCの記述量が増えていく
    - 考慮する事項も増えていく
    - IaaS程度の利用だと、CDKはオーバースペック気味
- CDK
  - コードでかける
    - 型がある言語ならIDEの支援が受けられる
    - 前処理もコードでかける
    - 条件分岐やループを簡単にかける
    - リソース定義を継承して拡張できる
  - 抽象化
    - Lambdaごとに権限管理が必要なとき
      - CFnとかだとLambdaの種類だけIAMロールの定義が必要
      - CDKではインラインポリシーを生成してくれる
  - 複数環境へのデプロイ
    - cdk.jsonに環境ごとのパラメータを設定可能
    - 設定したパラメータはコードで参照できる
CDKでテストを実施する
- テストが必要な理由
  - CDK自体のバージョンアップが頻繁にある
  - 意図した変更になっているか確認したい
- テストの種類
  - スナップショットテスト
    - 生成テンプレートの確認
  - Fine-grained tests
    - CFnリソースが存在するか比較
    - 意図せずリソース消えてないかも確認
  - Validations tests
CDKを使う実際の流れ
CDKを学ぶ
- AWSのドキュメントが充実している

16:45 17:30 DeepRacerで学ぶ機械学習

大澤勇斗

DeepRacer League今日の朝終わった
- 新しいリーグ始まるのかは不明
機械学習とは
- ざっくりいうと、規則性を学習させること
強化学習
- 環境とエージェントのフィードバックループで報酬を最大化する状態を求める
SageMakerで学習モデルの作成をする
RoboMakerでシミュレーションを行う
DeepRacerが上２つの面倒なところをやってくれる
DRでできること
- 機械学習や強化学習の流れや概要について体験＆学べる
- 機械学習を使った問題の解き方への落とし込み
- 報酬関数の設計
1時間の学習で400円くらいかかる
- 簡単な学習で2〜3時間くらい

17:45 18:30 Developers.IO CafeがなぜアプリからPWAになったのか

亀井栄利

タイトルの修正
- ネイティブも引き続きやる
最初ネイティブアプリだった理由
- とにかくスピード優先した結果
PWAにした理由
- 開発リソースの不足
- iOSとAndroid同時リリースが難しい
- iOSは審査の時間がかかる
- OSの互換性を気にする必要がある
- コーヒー飲みたいだけなのにアプリダウンロードしないといけない不便
- OSごとのUI差分により、店舗オペレーション負担増
- 新しい体験を高速に実験したい
  - ネイティブアプリを作りたいわけではない
VueとIonicを選択
副産物
- ワンソースでいろんなチャネルに対応
- LINE
微妙な差
- レイアウト
- iOSでプッシュ通知ができない
  - SMS使ったり
iPhoneユーザーがSafariプライベートモードで使用する
- 毎回ログインが外れる
- Webは危ないという認識（若者）
- 一度外部アプリに行くとリダイレクトで戻ってこれない（プライベートじゃない方になってしまう）
対策
- ガワネイティブ
- ついでにAndriodもTWA化
ワンソースメリット
- すぐリリースできる
- 開発リソースを体験に集中できるようになった
- ユーザーが好きなもので体験できるようになった
課題
- 最適化
- UIテストの自動化
- キャッシュ対策

C101PAでOracle Functionsを試す

2019-10-31

OCHaCafe参加前に触っておこうと思い、その準備。

OCIインストール

手順は公式からコピペで。

$ bash -c "$(curl -L https://raw.githubusercontent.com/oracle/oci-cli/master/scripts/install/install.sh)"

fatal error: Python.h: No such file or directoryエラーで落ちたので、python3-devパッケージをインストール。

$ sudo apt-get install python3-dev

OCI再挑戦。先程作成したディレクトリを削除するか聞かれるので、削除(y)して継続。ちなみにインストール先など入力は全部デフォルトで通した。今度はfatal error: ffi.h: No such file or directoryで落ちた。

OCHaCafe2 #3 Serverlessな世界をのぞいてみよう！

2019-10-31

https://ochacafe.connpass.com/event/147285/

ServerlessDaysで紹介されていたイベントです。

ちょうどサーバーレスの回だったので参加しました。

18：30　受付開始　

お菓子もらいました

19：00　オープニング

OCHA Cafe Premiumやるよ
- Oracle Cloud で考える高可用性アーキテクチャ
ビッグデータのイベントもやるよ

19：10　セッション開始

https://speakerdeck.com/sugimount/lets-dive-serverless-world
Oracleのブランドカラー変わっていた
サーバーレスをざっくりと理解する
Read more

Oracle Cloud登録してみた

2019-10-28

Serverless Days のスポンサーブースで説明聞いて、無料枠あるなら試してみようかな、と。

登録ページずっと英語で進んでたのがハードル高め。いつも住所どうやって書くか迷うんだよね。。

GCPやAzureみたいなコンソールは見つからなかった。

インスタンス作るにもSSH鍵ペア作らないといけないのがちょっと（AWSはその場で作れるよね）。

Pixel4が届いた

2019-10-23

今日は Sansan Builders Box 2019 参戦のため休暇をとって、午前中は昨日のまとめをしようと家にいたら、突然届いた。

週末受け取りにするつもりだったのに、嬉しい誤算。

そして受け取り後に届いた発送完了メール。

Android端末はNexus6以来久しぶり。

早速カメラを試してみたところ、さすがセールスポイントだけあってきれいに撮れる。

予約購入特典のクーポン付与されたら、ケース買おう。

Sansan Builders Box 2019

2019-10-23

Sansanの技術カンファレンスです。 2トラックのサイレントセッションで、受付時にレシーバーが配られました。自分はサーバーレスが気になったので、トラック１の方に陣取りました。

https://sansan.connpass.com/event/138134/

14:30-15:00 【オープニング】 CTO 藤倉成太、VP of Engineering 宍倉功一

社員数550人中、ものづくに理に関わっているのが220名
Sansanは何を目指しているのか
- 世界中の名刺をすべてデジタル化
- ビジネスパーソンの出会いのデータベース
この１年の振り返り
- 新規事業への取り組み
  - いくつか立ち上げ中
- グローバルへの取り組み
  - 海外エンジニアの採用
  - 海外展開を見据えて
  - 英語だけでも仕事がまわせる環境
これからの挑戦
- 組織を強くしていく
  - 新規事業、事業の加速
  - 事業の成果にクリエイターが向き合う
  - 成果の出しやすい環境
  - 協働・変容
- 研究のネタを議論する
  - R&Dが事業をリードする

15:10-15:35 「Sansanアーキテクチャ史」荒川聖悟

sansanは12年間の歴史がある
Read more

Serverless Days Tokyo 2019

2019-10-22

サーバーレスに特化したカンファレンスです。４回目の開催ですが、初参戦です。

https://tokyo.serverlessdays.io/

09:00 はじめに / 諸説明

meetup 4年目
大企業での採用が進んできている

09:10 10x Serverless Product Development for a Startup with Microsoft Azure

Yutaka Tachibana(EBILAB)

飲食店の生産性向上
来客人数の予測（過去実績、天気などから）
入店率も計算している
- 店頭のディスプレイでA/Bテストも可能
データソースが増えても追加実装は簡単
PowerBI Embedded
- レポートをノンコーディングで作成できる
- エンジニアはレポート追加にノータッチ
サーバーレスで実装したメリット
- 開発運用コストが少ない
- 将来的にスケールした場合の楽観的
- 責務分割が自然にできる
- 協業・分業しやすい

09:50 break

10:00 Keynote

Keisuke Nishitani (AWS)

EventDriven
- 呼ぶ側と呼ばれる側が疎結合にできる
aurora, ecs も2014年のre:inventで発表された
モダンアプリケーション
- 市場投入を加速
- イノベーションの向上
- 信頼性の向上
- コスト削減
All you need is code
- 付加価値を産まない重労働からの開放
5年たった今も
- We’re still writing code
もっとコードを減らすためには
- どういう問題をどう解決するのか

10:40 10 min break

スポンサーLT

10:50 Keynote: Infinite Scaling, Finite Failures: Serverless Resiliency Patterns and Lessons Learned

Katy Shimizu (Microsoft)

失敗は絶対に起こります。アプリケーションがそれらを処理する必要があります
- Data source
- Customer code
- Serverless/Fass layer
- External dependency
- IaaS/Pass
- Datacenter/Infra
失敗例
- レースコンディション
- ネットワーク障害
- レート制限
- ハードウェア障害
依存関係を知る、依存関係が失敗する方法を知る
- デザインパターン
デザインパターン
- 再試行
  - サービスに組み込まれている
- サーキットブレーカー
  - 耐久性のあるエンティティを試す
新製品を使用すると、回復力が容易になります
- Durable Functions 2.0
- Premium hosting plan
サーバーレスは改善され続けています

11:30 10 min break

11:40 グローバル展開のコネクティッドカーを支える大規模サーバーレスシステム事例

Yuya Urayama (TOYOTA), Takanori Suzuki (Acroquest Technology) and Eiichiro Uchiumi (AWS)

なぜサーバーレスを選んだのか
- Connented Platform
  - 日本・中国・北米でサービス提供中
- 無駄の削減のため
夜間と日中のアクセス数の差が大きい
- 日中のアクセス数に合わせたリソース確保→無駄
長く乗られる（平均8.5年）
- パッチあてなどの保守工数→無駄
広い地域での提供
- 各国現地にリソース確保→無駄
設計指針
- 一貫した方法でコンポーネントを分割
- 緩やかに統合
- プロセスをステートレスに構成
アーキテクチャスタイル
- Nティアー
  - コンポーネントを役割に応じて分割する
- ウェブキューワーカー／イベントドリブン
  - ロジック層をウェブとワーカーに分割する
- マイクロサービス
  - ライフサイクルを共有する最小単位でコンポーネント群を複製し、自律稼働境界を設定
実装パターン
- リアクティブスケーリング型
  - API GW + Lambda
  - 基本はこっち
- プロアクティブスケーリング型
  - ALB + Fargate
  - ある程度余裕をもたせたい、スケールをコントロールしたいとき
- P2P
  - SQS
- ファンアウト
  - SNS
- イベントストリーミング
  - Kinesis Data Streams
- ワーカープロセス
  - Lambda
特徴
- トラフィックの特性によってスケーリングパターンを選べる
デプロイメントはカオス
課題
- 開発量は少なくなったがテストしにくい
  - CI/CDパイプラインでのテスト実行環境の整備
  - Localstack、Karateを利用
  - イベントドリブンな部分のテスト、非同期の処理結果も確認している
- 各機能はシンプルになったが全体が見にくい
  - X-Rayを利用
- 自動スケールは便利だがコントロールすべき要素が出てきた
  - リトライ用Lambdaが数千並列した
    - アカウントに対する同時実行数の上限までスケールした結果、他のLambdaの起動が妨げられる
  - コールドスタート問題
    - 時間がかかる処理が重なってAPI/GWがタイムアウト
    - ENIのIP枯渇
運用フェーズ
激務コンテナ・サボりコンテナ問題
- アクセスログ数を気合でカウントした結果
  - 激務もサボりもなかった
- どんなメトリクスをどの粒度でどう見るかを予め検討する
運用コストが下がった結果
- 運用にかけていたコストを開発に回した
- デプロイサイクルの高速化
今後の展望

スケーリングを最適化
プラットフォームの挙動をより的確に把握
問題が生じた際の回復を自動化

12:20 Lunch

13:20 All You Need Is JavaScript

Jensen Hussey / Cloudflare

Cloudflare worker
- サーバーレス用JS実行環境
- V8エンジン採用
  - WebAssemblyが使えるので、JS以外の言語でも開発可能
- ユーザーの地理情報を利用してエッジで翻訳することができる

13:40 short break

13:45 Zero Scale Abstraction in Knative Serving

Tsubasa Nagasawa (CyberAgent)

https://speakerdeck.com/toversus/zero-scale-abstraction-in-knative-serving

65 66 67 68 69 70

19:25 - 19:30 会場説明 @imoty

19:30 - 19:50 20分枠 @suhirotaka / [Go活用事例]安全運転支援サービスを支える運用サイト / オートモーティブ事業本部スマートドライビング部システム開発グループ