Yuta NakataのBlog

Python / AWS / ITについて役立つ情報を発信します

RAG on AWS dive deep参加してきた

ランキング参加中AWS (Amazon Web Services) 2024/09/19に開催されたRAG on AWS dive deepの参加報告です。 AWSより、動画ならびに資料は公開されていますので、本記事では個人的に勉強になったPointをまとめていきます。 aws.amazon.com チャンク戦略 正直…

GitHub Actionsを用いて、pep8のチェックを自動で行う

ランキング参加中Python やりたいこと Github Actionsを用いてpep8のチェックを自動で行うようにしたい また、下記の条件下でGithub Actionsを起動させるようにしたいと思います mainブランチに対してPull Requestがあったとき チェックの結果をGithub上のイ…

【2024年 完全版】SFC修行まとめ 〜最高効率ルートから㊙テクニックまで〜

ランキング参加中ANA スーパーフライヤーズ(SFC) 2024年にSFC修行を敢行しました。 この記事では、 私自身のSFC修行の全記録 効率的なPPの稼ぎ方 についてお話しようと思います。 私のSFC修行の全記録 修行① 複数往復による費用の最小化 修行②:PP単価を意識…

【Python】print()を卒業してloggerを始める

ランキング参加中Python この記事の対象者 Pythonでlogを書き始めたい人 loggerについて学びたい人 なぜlogを書くのか? 理由は色々あると思いますが、個人的にprintではなくlogが必要な理由は下記があると考えます。 print()では、いつ起きたかがわからない…

【Performance Tuning of Amazon Athena】Athenaのパフォーマンスを上げる

背景・前提 施策1. パーティションを使う 施策2. 読み込ませるデータを圧縮する 施策3. ファイル数を分割する 施策3. 結合を最適化する 施策4. LIKE句の使用は控える 施策5. 近似関数を使う 施策6. 必要ない列は含めない 施策6. クエリ結果を再利用 最後に …

netcdfファイルを軽量化する方法

背景 netCDFは、多次元データを格納するのに便利な拡張子です。 気象、海洋、気候の世界では広く使われています。 一方で、このデータの課題として、多次元配列が故にファイルサイズが大きくなることが挙げられます。 これにより、データの読み込み時にメモ…

技術ブログを1年間続けたみた結果

先日、私のところに以下のようなメールが届きました。 いつの間にか、このブログを初めて1年間経っていたようです。 そこで、今回は 技術ブログを始めた背景 技術ブログのメリット・デメリット アクセス数 などについて、まとめていきます。 技術ブログを始…

【コピペでOK】EC2にPython3.12を入れる

ランキング参加中AWS (Amazon Web Services) ランキング参加中Python 背景 EC2はデフォルトでは、PythonのVersionが非常に古いです。 そこで、EC2のVersionUpを試みるも環境構築に苦戦するケースが散見されます。 巷にあふれる同様のHow To記事も見かけます…

cartopy逆引き大全

ランキング参加中Python 0. 背景 1. cartopyをinstallする 2-1. 海岸線を描く 2-2. 緯度・軽度線を描く 2-3. 国境線を描く 2-4. 表示されるエリアを日本域だけにする 2-5. 複数のグラフを作成する 2-6. 海や陸地に色をつける 2-7. パラパラ漫画(.gif)を作成…

【1000倍早くなるPython高速化】for文とベクトル志向演算で計算比較してみた

ランキング参加中Python 背景 Python高速化のテクニック、ベクトル志向演算でどれだけ高速ができるか検証してみました。 高速化の題材は、for文ループを用いて、どれだけ差がでるかを検証してみました。 Python高速化については、以下を参照してください。 w…