Python 【Python】Parquet形式ファイルの扱い方
Parquet形式のファイルは、列指向のデータストレージ形式の一つで、Hadoopエコシステム内で広く使用されています。 この形式は、大量のデータを効率的に保存し、分析するために最適化されており、特にビッグデータの処理において有用です。Pa...
Python
Python Python 【Pandas】read_csvの複数回実行でデータが読み込めなくなる問題
Pandasのread_csv関数を使用して、CSVファイルからデータを読み込むことは頻繁に行われると思いますが、同じファイルストリームからread_csvを複数回実行すると、2回目以降の読み込みでデータが得られないという問題が発生すること...
Python 【Python】リスト内包表記の使い方
Pythonを学び始めたばかりだと、リスト内包表記が分かりづらいかと思います。 基本から詳しくまとめてみます。 リスト内包表記のメリット リスト内包表記を使用するメリットはいくつかあります。 1. コードの簡潔性 リスト内包表記を使うことで...
Python 【PyCharm】バージョンアップ後にUIが変わらない
PyCharmをバージョンアップしたのにUIが新しくならない場合の対応方法です。 「ファイル」の「設定」の「新しいUI」を開き、「新しいUIの有効化」にチェックを入れて「OK」ボタンを押します。 PyCharmを再起動するとUIが新しくなっ...
Python 【Python】指定フォルダ内の画像のサイズ変更
指定したフォルダに格納されたすべての画像ファイルのサイズを変更するPythonスクリプトを記載します。 以下の3パターンのサイズ指定に対応できるようにしてあります。 縦と横のサイズを指定する。 縦のサイズのみ指定し、縦横比は変えない。 縮小...
Python 【Flask】REST APIのサンプルコードとChromeでのテスト
FlaskでREST APIを作成するサンプルコードと、Chrome（Talend API Tester）でのテスト方法をメモしておきます。 サンプルコード 以下のコードは、Flaskを使用して簡単なREST APIを作成するためのものです...
Python 【Git】誤って破棄したコミットを復元する方法
誤ってGitのコミット破棄した時、かなり焦りましたが、復元は可能です。 Git Bashを使用して間違って破棄したコミットを復元する手順は、以下のようになります。 この例では、Gitのreflogとcheckoutコマンドを活用して、破棄さ...
Python 【Streamlit】非同期処理の進捗をプログレスバーで表示
asyncioを使用した非同期処理の進捗をプログレスバーで表示する方法をメモしておきます。 同期処理のプログレスバー表示 同期処理で、進捗状況を段階的に表示するコードの簡単なサンプルです。 import streamlit as st im...
Azure 【Azure OpenAI Service】asyncioでAPI呼び出し並行処理
Azure OpenAI Serviceを使っていますが、特にGPT-4では応答に時間がかかります。 そこで非同期でAPIを呼び出し、並行でcompletionを実行することで、全体の処理時間短縮を図りました。 コード 必要なライブラリをイ...
Python 【Python】データフレームのCSV出力で指定できる文字コードの例
PandasのDataFrameをCSVに出力する際に指定できる文字コード（エンコーディング）には多種多様なものがありますが、主要なものをまとめます。 CSVファイルはテキストデータを格納するためのファイル形式であり、文字コードを指定するこ...