2022-10-26

Ankiデッキ作成のため、自動で単語から例文を取得する(python,webスクレイピング)

python

英語学習のため、Ankiというアプリを使っている。
そのアプリではcsvのデータを取り込むことが可能で、アドオン(AwsomeTTS)を使えば自動で音声をつけることもできる

今回は、インターネットで収集した単語データに、例文がほしいなと思ったのでweblio辞書から例文を取得するプログラムを書いた。webスクレイピング便利

もともと[英単語,和訳]というデータに対して
三行目に例文を3つ追加する感じにしてみた。

data = pd.read_excel("eiken1.xlsx")

data.head(5)　#元のデータ

url = "https://ejje.weblio.jp/sentence/content/"

example_list = ["-" for a in range(3149)]

for i in range(3149):

print(data.iloc[i][0], data.iloc[i][1], end = " : ")

word = data.iloc[i][0]

try:

res = requests.get(url +"/" + word)

soup = BeautifulSoup(res.content, "html.parser")

example_text = ""

except:

pass

try:

lsEN = soup.find_all("p",class_="qotCE")

lsJP = soup.find_all("p",class_="qotCJ")

for j in range(min(3,len(lsEN))):

#print(lsJP[i].text.split("-")[0])

#print(lsEN[i].text.replace("例文帳に追加",""))

example_text += lsJP[j].text.split("-")[0] + "\n"

example_text += lsEN[j].text.replace("例文帳に追加","") +"\n"

example_text += "\n"

example_list[i] = example_text

#print(example_text)

#data.iloc[i][2] = example_text

except:

print(word, "エラー発生")

sleep(1.0)

data["example_sentences"] = example_list　#格納

data.head(5)

data.to_csv("eiken1_reibun.csv")　#csvとして出力