生存8日目 Azure登録した
Azure上でデータ分析基盤を構築しようと思い、アカウントを登録した。
Azureは無料アカウント登録で１２ヶ月間人気ツールが使えて、30日間無料で22,500円分を無料ツール以外のツールが使えるとのこと。
個人利用であればこまめに従量課金のサービスを止めれば無料枠を使い切る心配はよっぽどのことがなければないらしい。
ChatGPTタソに助けてもらいながら明日から環境構築を進めてみよう
Kaggleの分析環境をクラウド上で構築したいので、明日は下記リンクを元に構築して見たいと思う。
生存7日目 データエンジニアの本読み切った
図解即戦力 ビッグデータ分析のシステムと開発がこれ1冊でしっかりわかる教科書
上記本を読み切った。
この本は、ビッグデータ分析のシステム開発の全体像を平易な文章で解説している入門書だ。
全くの初学者でもスラスラ読むことができ、3日程度で読み切れた(丸一日読めるのであれば1日でもいけそう)。
前提知識ゼロで読めるので、エンジニアじゃなくても読めるだろう。
分析システム開発において気をつけるべきところなど、実際の業務目線で書かれているので開発業務を解像度高くイメージすることができた。
これで全体像が掴めたので、実際に自分の手を動かしながらさらに理解を深めていくとしよう。
今話題のChatGPTと対話しながら構築を進めてみる試みをしていきたい。
ChatGPTの手助けでどれぐらい生産性が上がるんだろう。ワキュワキュピッピ
生存6日目 おひこし
お引越しするのだ！
実質２ヶ月くらいしか住まなかったのだ！
多分100万くらい無駄にしたのだ！
悲しいのだ！
おわり
生存5日目 ChatGPTが凄すぎる
ChatGPTが凄すぎるという話がここ2日全世界で盛り上がっている。
AI関連に関わっている人はもれなくこの話をずっとしている。
ChatGPTとは、OpenAIが開発した対話型自然言語生成モデルで質問文など文字入力したらそれに対する回答をよこしてくれるAIだ。
今日は、そのChatGPTに日記を書いてもらった。
以下がその文章
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
入力:
今日の日記を書いてください
出力:
今日はとてもいい天気でした。朝から晴れていて、空は青く綺麗でした。今日は大学へ行く日なので、午前中は友達と話をしました。午後は大学で講義を受けました。講義はとても面白かったです。その後、友達と一緒に映画を観に行きました。映画は面白く、気分がいいまま帰宅しました。今日は良い一日でした。
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
あんた大学生だったんか。映画見に行ったんか。遊びに行く友達がいるんだ。へぇ〜・・・
生存4日目 日本しゅごい
日本勝っちゃった・・・
ってことは・・・グループリーグ一位通過って、コトッ！？
夜に酒飲んで寝れなくてちょうど試合見てたけど、本当によかった。
ありがとう、神様
やはり、人間に必要なものは信じる心であり、祈りである。
堂安選手が自分を信じてひたすら努力し続けて最高のゴールを決めたこと、感動した。
この空気感、子供の頃に感じてた空気感と一緒だ・・・
何十年前は今日みたいな幸せな空気感が毎日漂っていた気がする。
子供だったからそう感じられていただけなのかもしれないけど
生存3日目 データエンジニアという職種
現在、私はデータエンジニアという職に就くにあたりデータエンジニアについての知見を深めるため業務の具体的イメージを持てる題材は無いか探していた。
今回、Youtubeにまさに欲しい情報が網羅されていた動画あったので以下に書き書きする。
自分の現状
- データエンジニアという職種に未経験で挑戦することにした
- データエンジニアがどういう業務をするのか無知だったので、業務のイメージができるような題材を探していた
データエンジニアとは
データエンジニアとは、データ活用のための基盤を作るエンジニアのことです。彼らの役割は「データを活用するために、データを整理すること」であり、その整理のために、データ管理の基盤を作ります。
引用: データエンジニアとは？データサイエンティストとの違いや仕事内容
当たった題材
Data Engineering Study(第4回までみた)
Google検索して出てきた記事では実際の業務について具体的イメージがつくほど説明されているものが少なかった。データエンジニアという職種はまだ新しい職種なためそもそも情報が少なかった。
データエンジニアの業務内容とか事例紹介とかやっているコンテンツはないかと色々調べていると、Youtubeに上がっているData Engineering Studyというイベントの動画に出会った。
これは、データエンジニアの業務をしている人が事例紹介を通して知見を深めようという勉強会のようだ。
各回のイベントは、水先案内人による回のテーマに対する全体像の紹介と、具体事例の2部構成となっており、全ての回に参加すれば分析基盤の作り方～育て方までを、網羅的に学ぶことが出来ることを目指しています。
引用: primeNumber(プライムナンバー)・フォークウェルによる、データ分析基盤に関するオンライン勉強会シリーズを発表
第4回まで視聴した結果、上記の文言通り網羅的に学ぶことができ割と具体的な業務やあるべき姿というものをイメージすることができた。
動画視聴を通して得られたこと
データエンジニアが業務をする上で必要な観点や注意するべき点が多くの事例紹介や様々な質疑応答から幅広く得られた。
- データエンジニアが行う範囲の全体像がなんとなくわかった
- データエンジニアの業務を行う上で重要な観点を知ることができた
- データエンジニアの辛いところも知ることができた
以上。今日はいっぱい書けた！！！
生存2日目
日記夜に書くようにすればよかった・・・
データエンジニアの業務を紹介しているイベントの動画を見た
「DWH・BIのこれまでとこれから」Data Engineering Study #1 - YouTube
データエンジニアは面白そうな領域だなと思った。
関わる人が多くデータという情報源を扱うので、きちんとやれたときのインパクトはでかく価値が大きいと感じた(縁の下の力持ちな立場なのでそれに伴い評価が比例するかは微妙な気がするけれど)。
散在しているデータを目的に沿って集約しユーザにとって利益になるように整理する職なので、ユーザのビジネス要件の理解および幅広い範囲の技術の理解が必要というチャレンジングなものだ。
これから勉強を始めていこう。
