WordCloudをjanomeによる形態素解析で作成【日本語・英語対応】

@echo off
rem スクリプトが置かれている場所をカレントディレクトリにする。
cd /d %~dp0

rem 念のためvirtualenvのインストールとpipのアップグレードを行う。
pip install virtualenv
python -m pip install --upgrade pip

rem venvの環境を構築する。
python -m venv venv
call ./vENV/Scripts/activate

python -m pip install --upgrade pip
rem 各パッケージをインストール
pip install wordcloud
pip install janome
pause

from janome.tokenizer import Tokenizer
from wordcloud import WordCloud

# txtファイルからデータの読み込み
with open('keyhack.txt', 'r', encoding="utf-8") as text_file:
    txt = text_file.read()

# janomeによる形態素解析
word_dic = {}
# テキストを一行ごとに処理
lines = txt.split("\r\n")
for line in lines:
    malist = Tokenizer.tokenize(line)
    for w in malist:
        word = w.surface
        part_of_speech = w.part_of_speech # 品詞
        if part_of_speech.find("名詞") < 0: continue # 名詞だけをカウント
        if not word in word_dic:
            word_dic[word] = 0
        word_dic[word] += 1

# 頻出単語を表示
keys = sorted(word_dic.items(), key = lambda x:x[1], reverse=True)
for word, cnt in keys[:1500]:
    print("{0}({1})".format(word,cnt),end="")

# タイトルの名詞のみをスペース区切りのテキストへ変換
words_list = []
for i in lines:
    tokens = Tokenizer().tokenize(i)
    # 必要ない単語を設定
    stop_words = ['-', '(', ')', '/', 'こと', '1', 'ため', '.', 'よう', '以下']
    for token in tokens:
        # 品詞を抽出
        token_list = token.part_of_speech.split(',')[0]
        # 品詞から名詞だけ抽出
        if token_list in ['名詞']:
            # 必要ない単語を省く
            if token.surface not in stop_words:
                words_list.append(token.surface)

text = ' '.join(words_list)
# 日本語フォントの指定
fpath = "C:/Windows/Fonts/YuGothM.ttc"
# ワードクラウドの各種設定指定
wordcloud = WordCloud(background_color="white", #背景を白に
                    font_path = fpath, width = 800, height = 600).generate(text)
wordcloud.to_file("./wordcloud_keyhack.png")

# txtファイルからデータの読み込み
with open('keyhack.txt', 'r', encoding="utf-8") as text_file:
    txt = text_file.read()

# janomeによる形態素解析
word_dic = {}
# テキストを一行ごとに処理
lines = txt.split("\r\n")
for line in lines:
    malist = Tokenizer.tokenize(line)
    for w in malist:
        word = w.surface
        part_of_speech = w.part_of_speech # 品詞
        if part_of_speech.find("名詞") < 0: continue # 名詞だけをカウント
        if not word in word_dic:
            word_dic[word] = 0
        word_dic[word] += 1

# 頻出単語を表示
keys = sorted(word_dic.items(), key = lambda x:x[1], reverse=True)
for word, cnt in keys[:1500]:
    print("{0}({1})".format(word,cnt),end="")

# タイトルの名詞のみをスペース区切りのテキストへ変換
words_list = []
for i in lines:
    tokens = Tokenizer().tokenize(i)
    # 必要ない単語を設定
    stop_words = ['-', '(', ')', '/', 'こと', '1', 'ため', '.', 'よう', '以下']
    for token in tokens:
        # 品詞を抽出
        token_list = token.part_of_speech.split(',')[0]
        # 品詞から名詞だけ抽出
        if token_list in ['名詞']:
            # 必要ない単語を省く
            if token.surface not in stop_words:
                words_list.append(token.base_form)

text = ' '.join(words_list)
# 日本語フォントの指定
fpath = "C:/Windows/Fonts/YuGothM.ttc"
# ワードクラウドの各種設定指定
wordcloud = WordCloud(background_color="white", #背景を白に
                    font_path = fpath, width = 800, height = 600).generate(text)
wordcloud.to_file("./wordcloud_keyhack.png")