技術全般
仕組み ワーキングツリー - インデックスエリア - ローカルリポジトリ - リモートリポジトリ origin = リモートリポジトリのインデックス git remote -v で確認可能 git remote add aaa https://github.com/xxx/xxx.git で追加可能。（ aaa というインデック…
はじめに MLOpsの導入・改善を頼まれたときに、初手でヒアリングすることの簡単なチェックリストです ヒアリング事項 前提条件 （現時点/これから） ☑︎プロジェクト（モデル）の種類 需要予測 / 類似画像検索, etc ☑︎データの種類 テーブルデータ / 画像 / …
メモ アイデンティティとアクセス管理 IAMユーザにMFA設定をする IAMユーザにIPアドレス利用制限をする IAMユーザのキーペアをハードコーディングせずIAMロールやCognitoで代替する IAMユーザのキーペアを利用するなら環境変数に設定する IAMのポリシーに職…
オプション（一部） -i : インターフェイス指定。tcpdump -Dで一覧確認する -n : IPアドレスをホスト名に変換させないで表示させる -nn : プロトコル名をポート番号で表示させる -A: 通信内容をASCIIで表示させる -w tcpdump.pcap: パケットキャプチャをファ…
テーブル pandas csv読み込み import pandas as pd df = pd.read_csv(INPUT_DATA_PATH_DIR + 'train.csv') df.columns pandas EDA import pandas_profiling as pdp pdp.ProfileReport(df) df_gb_label_group = pd.DataFrame({"count": df.groupby("label_gro…
はじめに データエンジニアリングまわりを復習したときのメモです。 Webアプリから発生するデータを使ってモデルを継続的に学習させるためのデータ基盤を想定しています。 データエンジニアリング導入以前ver 概要 CSVファイル PoC時点などのシンプルな実装…
はじめに はじめてKaggleのコンペに参加してみたので、初動でやったことの大まかな流れを備忘までに残しておきます。 やったこと 0. 前提 Kaggleアカウントは作成しておくこと 1. コンペ参加登録 Kaggleページ→compete→sample_compete（対象コンペ）→Join Co…
はじめに バックアップリストア改廃を復習してみたときのメモです 5W1Hを意識して漏れなく設計します 一覧 取得元 サービス 項目 インスタンス バックアップ 方式 トリガ タイミング リストア 方式 改廃（取得元） 方式 トリガ ローカル保存世代数 改廃（バ…
概要 -> データエンジニアリング実践も参照 選定ポイント MPPデータベースは、最初にETLプロセスなどでデータを取り込むための手順が必要 元のデータがCSVやJSONで、複雑な加工処理が不要なら、オブジェクトストレージからデータウェアハウスに直接転送してS…
はじめに MLモデル評価のまとめ方メモです メモ 全体を通して、「つまり、現在実践で使えるレベルか？」「課題はどこで、クリアできそうか？それがクリアできたらどれくらい良くなりそうか？」が伝わるようにする 網羅感大事 1. 検証計画再掲 スコープ 検証…
はじめに Macを初期セットアップしたときのメモ。 キーバインド設定 システム環境設定 > キーボード > caps lock -> command(キーボードごとに) ctrlとcmdの入れ替え 入力ソースにローマ字とABC システム環境設定 > キーボード > ショートカット > 入力ソー…
はじめに fluentd(EC2→CloudWatchLogs) + Kinesis Data Firehose(EC2→CloudWatchLogs → S3) でログの収集 logrotateでログのローテ・改廃（EC2） fluentdでログの収集 fluentdの仕組み 1つのメッセージは、[tag, time, record]で構成される 流れ Inputプラグ…
はじめに 監視を復習してみたときのメモです 参考 入門監視 検討項目とポイント 1. データ収集 一般的にプルよりプッシュ（スケールしやすい） とりあえずOSのメトリクスとかを監視しがちだが、監視の目的から逆算すると、「動いているか」の監視が重要 HTTP…
WIP 3. 【MLパイプラインの導入】 解決できる課題 ノートブックのみだと、処理が複雑に分岐するときなどに記述し辛い（バッチ処理として自動化し辛い） （前処理/後処理は共通だが、モデル学習部分は並行して色々な処理を試す、など）
はじめに 自分でちょっとしたWebアプリケーションを開発するときに、構成をどうするか悩んだときのメモです。 考えたこと Webアプリケーションフレームワーク 比較 Gitスター数比較 Python 製 Web フレームワークを Flask から FastAPI に変えた話 Flaskと比…
はじめに ネットワークを復習してみたときのメモです 参考 ネットワークはなぜ繋がるのか インフラエンジニアの教科書2 Amazon Web Service 基礎からのネットワーク&サーバー構築 ネットワーク 1. Webブラウザがリクエストを作る リクエストメッセージ リク…
前提 小規模というほどではないが決して大規模ではない環境を組むときにちょうどいいTerraformのディレクトリ構成について悩んだときのメモです。 環境ごとにVPCとかのネットワークを切って、それぞれにEC2(ECS)+RDS+S3とかとかを数台ずつ乗せていくくらい。…
はじめに Terraformまわりについて復習したときのメモ メモ ディレクトリ構成案（最小構成） . ├── README.md └── stg01 ├── ec2.tf ├── provider.tf └── versions.tf ファイル例 ec2.tf resource "aws_instance" "<pj>-stg01-app-01" { ami = "ami-XXXXX" insta</pj>…
はじめに GitHubActionsまわりについて復習したときのメモ メモ ファイル例 .github/workflows/action.yml name: ci # ワークフロー名 on: [push] # リポジトリへのpush時にこのワークフローを実行するよう指定 jobs: build-image: # ジョブの名前（ワークフ…
はじめに Ansibleまわりについて復習したときのメモ メモ ディレクトリ構成案 『①inventoryで対象ホストと変数を設定し、②playbookでどのロール（各機能のタスク）を実行するかを定義して、③roleでplaybookから呼び出されるロール（各機能のタスク）を定義す…
はじめに Kubernetesまわりについて復習したときのメモ 参考 コンテナ・ベース・オーケストレーション しくみがわかるKubernetes ネットワークまわりを確認&勉強しながら、Kubernetesの環境構築をしてみた メモ Docker全般 コンテナとは ホストOS上に論理的…
はじめに システム構築案件が立ち上がったときにインフラ担当としてまずやっていることをメモしました。抜け漏れはあります。 やったこと 1. スケジュール・マイルストーン確認 マスタスケジュール 他システム、アプリ含めたスケジュール → 全体の整合性を確…
はじめに HTTPSまわりについて復習したときのメモ 参考 httpとhttpsの違いとは? 知っておきたいウェブセキュリティの常識と今後 誰でもわかる SSL (HTTPS) 通信の仕組み [図解] HTTPS と SSL と TLS：その違いを５分でわかりやすく解説！ ルート証明書 オレ…
はじめに AIな案件で、データサイエンティストによるPoCに目処がつき、機械学習エンジニア？データエンジニア？ソフトウェアエンジニア？により実システムに落とし込んでいくぞ！という段階でやったこと・気を付けるべきことのメモです。 モデリングはなんと…
はじめに DockerからGPUを使うときの手順と、ついでに用語をまとめたメモ。 メモ 参考 https://www.kagoya.jp/howto/rentalserver/gpu1/ https://korobehashire.blog.fc2.com/blog-entry-459.html https://www.4videosoft.jp/cuda.html https://qiita.com/ta…
はじめに 昔Ciscoを触っていたときのメモをたまたま発掘したので、載せます。 コマンド集 設定の保存 (config)#copy running-config startup-config インターフェイスへIP設定 Router(config)#ip address 192.168.0.254 255.255.255.0 Router(config)#no shu…
主なタスク ①移行対象一覧（表）と②移行計画書（図）と③移行手順書（表）を作成する 図と表をいったりきたりで、漏れをなくす ←はじめから詳細に作り過ぎない（でも詳細に作ることで見える課題もある） ①移行対象一覧 まず、関係者ときっちり認識合わせをす…
はじめに 社内のネットワーク環境を整備したときに勉強したことのメモです。 メモ 用語 セグメント IPアドレスをグループ分けしたようなやつ 「ブロードキャストによって不特定多数の機器に同じ情報を送信するエリア」 同じセグメントだったら、直接データを…
はじめに アーキテクチャの比較検討をするときにすることメモ アーキテクチャの比較検討をするときにすること No 検証観点 タスク アウトプット 備考 1 インフラ構築の工数コスト インフラ構築 ・インフラソース・インフラ構築手順書 2 アプリ開発の工数コス…
はじめに インフラ構築の各フェーズ（非機能要件定義・基本設計・詳細設計）で考えることのメモです。 要するに非機能要求グレードの抜粋。 非機能要件定義 非機能要件定義項目 大項目 中項目 小項目 小項目説明 例 可用性 継続性 運用スケジュール システム…
