PyData.tokyo #24 のLTの資料です

1. BigQueryに保存するとき
カラム名と型をチェックしてくれる
ライブラリを作ってみました
2021-11-26
PyData Tokyo meetup #24
堀越保徳 a.k.a. @hotoku

2. 自己紹介
• 堀越保徳
• @hotoku ほとんど休眠
• 株式会社JDSC 勤務
• 本発表の内容は個人の見解であって、所属組織を代表するものではあ
りません（お約束）

3. サマリ
• Python→BigQueryにデータを保存するときに、ちょっと便利
なパッケージを造りました（ニッチですね🚢）
• https://github.com/hotoku/bqsc
• https://pypi.org/project/bqsc/
• 最適化には関係ないです🙇
• 「Python×データ活用の技術的な話題」ではあるのでご容赦

4. モチベーション
データフレームにデータを詰めて、
to_gbqで、BQテーブルに保存しようとしたら・・

5. モチベーション
エラーになったのだが、どこが間違っているのか分からん・・・
• どの列が間違っているのかがエラーメッセージから分からない
• 保存時に例外が投げられるので、コード上の間違っている行が分からない
InvalidSchema: Please verify that the structure and data types in the
DataFrame match the schema of the destination table.

6. モチベーション
＿人人人人人人人＿
＞ preidction ＜
￣Y^Y^Y^Y^Y^Y^￣
実際は列がもっと
沢山あるし、ソースも
複数ファイルに亘る・・

7. ソリューション
BQのスキーマが予め分かっているなら、
チェックできるじゃないか

8. ソリューション
bqsc.load
BQのスキーマ指定ファイルから、
列名と型の情報を持ったクラスを自動で定義

9. ソリューション
エラーメッセージで、
何がおかしいのか分かる
保存時ではなく、タイポしている場所
で例外を投げるので、コードの場所が
分かる

10. ソリューション
型の間違いも検出してくれる

11. ソリューション
型定義を生成するCLIがアリ〼 🐜
※CLIの詳しい使い方は、
レポジトリのサンプル
参照

12. ソリューション
型情報を使えば、エディタが自動で補完してくれたり、
型の間違いを、リアルタイムで教えてくれるようになり〼

13. サマリ
• Python→BigQueryにデータを保存するときに、ちょっと便利
なパッケージを造りました
• メタプログラミングを使ってみたかった
• ご清聴ありがとうございました 🐜