WIP 3. 【MLパイプラインの導入】 解決できる課題 ノートブックのみだと、処理が複雑に分岐するときなどに記述し辛い（バッチ処理として自動化し辛い） （前処理/後処理は共通だが、モデル学習部分は並行して色々な処理を試す、など）

はじめに 第3回 MLOps 勉強会 Tokyo (Online)を視聴させていただいたときのメモです メモ 異音検知プラットフォーム開発におけるMLOpsの実際と考察 リサーチャ、ソフトウェアエンジニア、ユーザのそれぞれの目的 → 結局、ユーザが課題を解決するためにみんな…

はじめに 自分でちょっとしたWebアプリケーションを開発するときに、構成をどうするか悩んだときのメモです。 考えたこと Webアプリケーションフレームワーク 比較 Gitスター数比較 Python 製 Web フレームワークを Flask から FastAPI に変えた話 Flaskと比…

はじめに ネットワークを復習してみたときのメモです 参考 ネットワークはなぜ繋がるのか インフラエンジニアの教科書2 Amazon Web Service 基礎からのネットワーク&サーバー構築 ネットワーク 1. Webブラウザがリクエストを作る リクエストメッセージ リク…

前提 小規模というほどではないが決して大規模ではない環境を組むときにちょうどいいTerraformのディレクトリ構成について悩んだときのメモです。 環境ごとにVPCとかのネットワークを切って、それぞれにEC2(ECS)+RDS+S3とかとかを数台ずつ乗せていくくらい。…

はじめに Terraformまわりについて復習したときのメモ メモ ディレクトリ構成案（最小構成） . ├── README.md └── stg01 ├── ec2.tf ├── provider.tf └── versions.tf ファイル例 ec2.tf resource "aws_instance" "<pj>-stg01-app-01" { ami = "ami-XXXXX" insta</pj>…

はじめに 第1回 MLOps 勉強会 Tokyo (Online)を視聴させていただいたときのメモです メモ MLOpsコミュニティの発足にあたり DataRobot シバタさん アンケート 作ったことあるモデル数: 1-10, 11-100がボリュームゾーン 作ったモデルが本番に: 0が55% 可愛そ…

はじめに Discovery DataScience Meet up (DsDS) #0に参加させていただいたときのメモです メモ 広告文自動生成プロダクトでDataflowを導入した話 ダイレクトコピーの自動生成 Cloud Runでマイクロサービスを組んでいる 分析はCompute Engineでやっている pa…

はじめに SCRAM BOOT CAMP THE BOOKを読んで、実際に業務にスクラム（ぽいもの）を導入してみました。 スクラム開発とは アジャイル開発のやり方の一つ 「事前に全てを正確に予測し、計画することはできない」ということが前提となるプロジェクトにおいて、 …

はじめに GitHubActionsまわりについて復習したときのメモ メモ ファイル例 .github/workflows/action.yml name: ci # ワークフロー名 on: [push] # リポジトリへのpush時にこのワークフローを実行するよう指定 jobs: build-image: # ジョブの名前（ワークフ…

はじめに Ansibleまわりについて復習したときのメモ メモ ディレクトリ構成案 『①inventoryで対象ホストと変数を設定し、②playbookでどのロール（各機能のタスク）を実行するかを定義して、③roleでplaybookから呼び出されるロール（各機能のタスク）を定義す…

はじめに JTF2020に参加させていただいたときのメモです。 JTF(July Tech Festa)とは インフラエンジニアのための祭典 今年のテーマは「Extend Your Engineering Life!」 メモ 凡例 ☆: ToDo（追加で調べておくことなど） ⚫️: 重要（転用）ポイント Kubernete…

はじめに Kubernetesまわりについて復習したときのメモ 参考 コンテナ・ベース・オーケストレーション しくみがわかるKubernetes ネットワークまわりを確認&勉強しながら、Kubernetesの環境構築をしてみた メモ Docker全般 コンテナとは ホストOS上に論理的…

問題 ABC129-D_Lamp 問題概要 任意のマスから光線が上下左右に伸びる（ただし、障害物は透過しない）。 明かりによって照らされるマスの個数を最大値を計算する。 解法 障害物のあるグリッドなので、幅優先探索などの方法が考えられるが、上下左右にしか光線…

問題 ABC128-equeue 問題概要 宝石が$N$個横一列に並んでいる。 以下の４操作を$K$回まで行う。 操作A: 左端の宝石を取る。 操作B: 右端の宝石を取る。 操作C: 持っている宝石から１個左端に置く。 操作D: 持っている宝石から１個右端に置く。 方針 全探索す…

問題 ABC127-Integer Cards 問題概要 カードが$$N$$枚あり、それぞれ整数$A_i$が書かれている。 $M$回以下の操作を行う。 カードを$B_j$枚まで選ぶ。選んだカードを$C_j$に書き換える カードに書かれた数字の合計の最大値は？ 解法 小さい数字のカードを書き…

問題 ABC172-D_SumofDivisors 問題概要 Xの正の約数の個数をf(X)とするとき、∑K×f(K) 解法 ポイント 整数問題は書き出して規則を捉える 1から始まるときは（ある特定の区間でないときは）特に、一発で答えが出たりする 横に集計しても、縦に集計しても同じ -…

問題 ABC172-C_Tsundoku 問題概要 机が二つ。それぞれに本が積まれている。上から順に読んでいく。k分を超えない範囲で、何冊読めるか。 解法(1) ポイント 2つの変数の和の（条件下での）最大値を探す -> 一つを固定して、二分探索 or 尺取り法 <- 単調増加…

はじめに システム構築案件が立ち上がったときにインフラ担当としてまずやっていることをメモしました。抜け漏れはあります。 やったこと 1. スケジュール・マイルストーン確認 マスタスケジュール 他システム、アプリ含めたスケジュール → 全体の整合性を確…

問題 ABC132-D_RedandBlueBalls 考え方 ポイント 場合の数 区別がない組み分け コンビネーションの計算はフェルマーの小定理 解法 n, k = map(int,input().split()) MOD=10**9+7 def comb(n,k): if n<k: return 0 if n<0 or k<0: return 0 k=min(n-k,k) ans=1 inv=[1]*(k+1) if k>=1: ans*=(n-k+1)%MOD for i in range(2,k+1): inv[i]=MOD</k:>…

問題 ABC167-D_Teleporter 考え方 ポイント 考察大事。サンプルを書き出す。 flag系は、はじめにリストを用意しておく seen = [-1]*(n+1) indexと○個目の対応は、メモを書きながらミスらないようにする a_list = [0] + list(map(int,input().split())) roop_…

はじめに AWSCertifiedSysOpsAdministrator–Associate取得に向けて勉強したことのメモです。 やったこと whizlab メモ VPC IPv6 デフォルトでパブリック。NAT gatewayではなく、egress-only Internet gateway デュアルスタックモード 既存の VPC が IPv4 の…

はじめに HTTPSまわりについて復習したときのメモ 参考 httpとhttpsの違いとは? 知っておきたいウェブセキュリティの常識と今後 誰でもわかる SSL (HTTPS) 通信の仕組み [図解] HTTPS と SSL と TLS：その違いを５分でわかりやすく解説！ ルート証明書 オレ…

はじめに いつかE問題も解けるようになりたいなー -> E問題ってどのカテゴリーの問題がよく出ているんだろう -> AtCoder Tagsという素晴らしいサイトがあったので、雑にスクレイピングして集計してみた 結果（新ABCのみ集計。126-163） A問題 [('Easy', 35),…

はじめに AIな案件で、データサイエンティストによるPoCに目処がつき、機械学習エンジニア？データエンジニア？ソフトウェアエンジニア？により実システムに落とし込んでいくぞ！という段階でやったこと・気を付けるべきことのメモです。 モデリングはなんと…

はじめに しゃくとり法について復習してみました アルゴリズム概要 しゃくとり法 (尺取り法) の解説と、それを用いる問題のまとめ 英語でいうとtwo pointersらしい O(n2) をO(n)にするテクニックの1つであるしゃくとり法 「連続する部分列」で使う 「条件」…

はじめに AWSCertifiedDeveloper–Associate取得に向けて勉強したことのメモです。 やったこと whizlab メモ Cloud Front Lambda@Edge Lambda@Edge とは、AWS Lambda の拡張機能で、CloudFront が配信するコンテンツをカスタマイズする関数を実行できるコンピ…

DFS / BFSについて DFS: 到達可能かを探る。全探索。 BFS: 最短経路を探る。見つかったら打ち切ったり。 ※seenという名前だが、todoに入れたらseenに入る DFSも、全部BFSでいいのでは？（BFSで打ち切らなければ同じ？） DFS 例題 A - 深さ優先探索 解法 from…

はじめに 直近、プロジェクトでマネジメントをすることになったんですが、その時に意識していたことメモです。 プロジェクトマネージャとは「プロジェクトのゴール達成に責任を持つ、プロジェクトのゴールを定め、ゴール達成のために資源（ヒト・モノ・カネ…

はじめに 二分探索について復習してみました アルゴリズム概要 Weblio辞書から引用 2分探索法とは、検索対象がソートされている場合に適用できる高速な検索手法のことである。 2分探索法は、具体的には次のようなアルゴリズムで検索を行う。まず、検索の開始…