kaggleトライ -Home credit 2-

引き続きHome Creditコンペに取り組みます。Kaggle解析の基本フローにのっとり進めていこうと思います。本日は2を行います。

1. 明らかにしたい問いや、問題の定義
2. 訓練およびテストデータの取得
3. データの整形、作成、クレンジング
4. パターンの分析、特定、また探索的にデータを分析する
5. 問題のモデル化、予測、解決
6. 問題解決のステップと最終的な解決方法を視覚化、報告
7. 結果の提出

データ自体は通常通り下記のコードでそれぞれ格納します。今回はファイルサイズが重たいので、全て同一フォルダに入れているので下記のようなコードになります。一旦全データを格納しています。submission sample, data descriptionは解析自体には使用しないので割愛。

import pandas as pd
import numpy as np
import matplotlib as plt
import sklearn

train_df = pd.read_csv("application_train.csv")
test_df = pd.read_csv("application_test.csv")
bur = pd.read_csv("bureau.csv")
bur_b = pd.read_csv("bureau_balance.csv")
cd_b = pd.read_csv("credit_card_balance.csv")
ins_p = pd.read_csv("installments_payments.csv")
pos_c = pd.read_csv("POS_CASH_balance.csv")
prv_a = pd.read_csv("previous_application.csv")

pd.shapeでデータ構成をみるのも良いのですが、HomeCredit_columns_description.csvの中に各カラムの説明がありましたのでそちらをまずは見てみようと思います。中身はこんな感じで、使用されているTableとカラム名、説明が書いてあります。なんと全部で221カラムもありますが重要なところなので、訳しながら見ていきたいと思います。

ということでカラムをいい加減に英訳したのが下記となります。相当いい加減ですので転用する際は再度の確認をした方が良いかと思います。

めちゃくちゃたくさんありますね。全てを使用すると訳分からなくなりそうなので、次回は少なめに抜粋して、ベースモデルを作成しようと思います。普通に前半にある顧客情報で十分予測できそうなものですが、過去のローン実績や調査会社のデータなんかもあるので、少しは反映してみたい気もします。

ということで次回はこれらのカラムについて解析に盛り込む重要度を定めていこうと思います。