生存報告所

日記だよ!

12/26 スクレイピングで遊ぶ

12/26(火) 睡眠時間5時間15分

 

やったこと

 仕事

 ふるよに

 スクレイピングごっこ

 

感想

 仕事。今日はスライド作ったり発表したり投げられた仕事に対応したり。

 先月に引き続いての勉強会。今月のテーマはDockerにして、自分の初心者向けまとめと、出来る人にコマンドの使い方豆知識をいろいろと発表していただいた。

  

 自分の発表は「Dockerと和解せよ」という本で学んだことをまとめたのが主な内容。本当に初心者向けの発表で恥ずかしかったが、build ⇒ run ⇒ stop ⇒ rmという流れを自分で図にすることで、頭に詰め込んだいたコマンドの流れを腹落ちさせることが出来た。pushとpullの流れも分かり、これでもう何も怖くない!! という状態。

スライドで使用した画像 DALL・Eは本当に何でも作れるな
右はクジラをきゅうべぇ風に描いてもらったもの

 自分の発表についての感想は無くちょっと悲しかったが、強い人の発表には「学びになった~」という声も出ていたので開催はしてよかったなぁとは思う。

 

 社内というハードルが高すぎない環境でもっとアウトプットを他の人にしてもらいたいがどうしよう…。ある人からは「推し○○発表会」というテーマはどう? というアドバイスをいただけたので、1月のネタとしていいかもしれない。推し言語、推しツール、推し金言…いろいろとネタは膨らむか。

 

 

 帰途に就きながらライブに持っていくペンライトについて教えていただく。

 キングブレード X10はオタクが持っているには”丸い*1”一品らしい。プリキュアライブならもちろん物販でペンライトは売っているが、プリキュア以外に使いにくいよね…と言われて納得した。

とりあえずキングブレードを買っておくのがいいが、アイマスなどのイベントではペンライトの大きさ制限が厳しいのもあるらしい。その場合、光量落ちるがもうちょっと小さい方を買って対処する…が、まぁその時はその時ということで。

 ペンライトにも複数ブランドあることを初めて知ることが出来てよかった。持つべき友の一人はオタクエンジニアです。

 

 

 帰宅して友人に付き合ってふるよに。電子でいい組み合わせないかなぁ…といろいろ組み合わせを変えて遊んでいた。2戦はある程度真面目に戦い、1戦はランダムに握って遊ぶの繰り返し。最新女神はまぁある程度強いのだが、それ以上に調整を受けた女神が使いやすく、そちらの方が回していて楽しかった。拒絶炎が中距離でもなんとか戦えるかな…?

 

 

 はてなスクレイピングはてなから今年のレポートが届いてくれないため、自分で集計してみることにした。

とりあえずChat GPTにPythonで動かす方法を聞いてみる

 もらったコードをそのままVscode上に張り付けて、python (ファイル名).pyで起動。日記のURLを指定することで、日記の文章を上手い具合に取得することが出来た。Pythonのライブラリすごい!!

変な改行がたくさん発生しているけど取れた!

 出力ファイル名・形式の変更を何度かChat GPTに依頼してコードを修正。その後ひたすら動かしていき、とりあえず数日分の日記のテキストデータを取得する。

 

 さらに、テキストファイルの文字数とファイル名をカンマ区切りで全てまとめるコードの作成も依頼する。

取れた!! 思ったよりも書いている

 あとはファイル名を.csvの形に手動で変更し、Google Spread Sheetでインポート。

Average関数で平均とった。やったぜ!!

 はてなの”見たまま記法”で知ることのできる文字数からは微妙に少ないが、おそらくhは全角空白がスクレイピング中に省かれてしまったため。

差を見ると大体いつも20文字程度だけなため、今回は見逃すことにしよう…。時には妥協も大事。

 

 これで1つのURLから文字数の集計が出来るようになったが…さらに自動化しようか迷うところ。瞬間的に大量のリクエストを送るのは開発担当者として気が引けるから,

sleepを織り交ぜてのんびり取得することにするか…?

 

 

 スクレイピングしようと決意してからここまでの過程は1時間もしない程度。2023年も終わりになる時期ながら、コード作成に関してのGPT4の強さを改めて知る。自分より早くて綺麗にコードを書いてくれるのは大変ありがたい…。

 当分は要件定義で食えるだろうが、残された人間の仕事はやっぱりコミュニケーションだなぁ。

 

 日記を書こうかと思ったが、最近7時間睡眠してないなと感じて寝る方向に思考をチェンジ。「OK、GPT。今日の私のカレンダーから事実を書き起こして」…とか出来ないかな?

 

ごはん

 朝食:菓子パン

 昼食:(中食)ドンキのお弁当

 夕食:沖縄そば

 

 昼も夜も節約ご飯。2日後に帰省することを考えると、冷蔵庫の中身は極力減らしていかなければ…。

*1:つぶしが利く、尖っておらず汎用性が高いという意味で使っている