awk　第4回「クロス集計」をする

awkでクロス集計をするのは実に簡単です。

サンプルで使っている1400万行のテキストデータのフィールド構成は、

まずは単純集計で、住所地ごとの売上金額を調べてみます。

スクリプトの実行時間は30秒です。47都道府県の1年間の売り上げは「151,273,596,700円」でした。概ね1500億円。都道府県で最大の売り上げが「140億円」で最小の売り上げが「1億円」、平均が「32億円」という結果でした。

年齢分布を出してみましょう。

年齢区分を10歳刻みにしてみました。そのクラスを連想配列の添え字にして売上金額をクラスごとに加算しています。

実行時間が34秒でした。

クラス１が20代、２が30代、3が40代、４が50代、５が60代、７が70代以上です。この結果自体は適当なデータを前提しているので意味を解釈することは無意味ですが、年齢区分を入れても4秒しか処理時間が増えていないことはawkインタープリタの内部処理は非常に賢いのでしょう。

では、本日のお楽しみのクロス集計です。

連想配列の添え字に「$7 “￥t”」を書き加えただけです。

このように各都道府県・年齢クラスごとに金額が加算されています。このファイルをExcelに張り付けてピボットテーブルで集計をすると1瞬でクラス集計表になります。

プラス5秒の40秒でした。

こんな感じで47都道府県の金額を年齢クラスでクロス集計することができます。

データ件数は、約1400万件で金額が1500億円のクロス集計は、22行のawkのスクリプトによって40秒で集計することができました。

注意しなければいけないことは、出力はawk任せの出力順になります。これをExcelのピボットで表に並び替えるときは、ピボットがソートをしてしまうので、ソートしたときに期待通りの並びになるように工夫をしておかなければなりません。

例では、あらかじめ都道府県に府県コードを付けています。