深層学習の基礎勉強会

概要

深層学習の基礎を身につけるために、前半は「深層学習による自然言語処理」を輪読します。

後半は週に一本ずつ論文を読んできてもらい、複数人で発表してもらいます。

勉強会の前までに各自で該当箇所の本文または論文を読んで来てください。

勉強会では適当に指名して本文を読んでもらい、必要に応じて解説もしてもらいます。

メンバー

今藤

参加者

井上
小林
上田
中辻
鈴木
凌
潘
魏
大羽
菊池

スケジュール

開催コマは、毎週木曜日の16:20〜です。

- 2021-04-15 キックオフ、第1章自然言語処理のアプローチ
- 2021-04-22 （小林）第2章ニューラルネットの基礎 ①（2.1.教師あり学習、2.2.順伝播型ニューラルネット、2.3.活性化関数、2.4.勾配法、2.5.誤差逆伝播法）

2021-04-29 昭和の日
2021-05-06 （2.1~2.3: 井上, 2.4, 2.5: 魏）第2章ニューラルネットの基礎 ②（2.6.再帰ニューラルネット、2.7.ゲート付き再帰ニューラルネット、2.8.木構造再帰ニューラルネット、2.9.畳み込みニューラルネット）
2021-05-13 （2.6, 2.7: 中辻, 2.8, 2.9: 上田）第3章言語処理における深層学習の基礎 ①（~~3.3.分散表現~~3.1.準備、3.2.言語モデル）
2021-05-20 （鈴木）第3章言語処理における深層学習の基礎 ②（3.3.分散表現）
2021-05-27 （凌）第3章言語処理における深層学習の基礎 ③（3.4.系列変換モデル）
2021-06-03 （潘）第4章言語処理特有の深層学習の発展 ①（4.1.注意機構、4.2.記憶ネットワーク）
2021-06-10 （菊地）第4章言語処理特有の深層学習の発展 ②（4.3.出力層の高速化）
2021-06-17 （大羽）第6章汎化性能を向上させる技術（6.1.汎化誤差の分解、6.2.推定誤差低減に効く手法、6.3.最適化誤差低減に効く手法、6.4.超パラメータ選択）
2021-06-24 Neural Machine Translation by Jointly Learning to Align and Translate（読み会）（中辻, 大羽）
2021-07-01 Neural Machine Translation of Rare Words with Subword Units（読み会）（井上, 上田）
2021-07-08 Attention Is All You Need（読み会）（鈴木, 潘, 魏）
2021-07-15 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding（読み会）（小林, 凌, 菊池）

過去ログ

- 2021-04-15 16:20-17:40 キックオフ、第1章自然言語処理のアプローチ
- 2021-04-22 16:20-17:40 （小林）第2章ニューラルネットの基礎 ①（2.1.教師あり学習、2.2.順伝播型ニューラルネット、2.3.活性化関数、2.4.勾配法、2.5.誤差逆伝播法）

2021-04-29 昭和の日
2021-05-06 16:30-17:50 （2.1~2.3: 井上, 2.4, 2.5: 魏）第2章ニューラルネットの基礎 ②（2.6.再帰ニューラルネット、2.7.ゲート付き再帰ニューラルネット、2.8.木構造再帰ニューラルネット、2.9.畳み込みニューラルネット）
2021-05-13 16:30-17:35 （2.6, 2.7: 中辻, 2.8, 2.9: 上田）第3章言語処理における深層学習の基礎 ①（3.1.準備、3.2.言語モデル）
2021-05-20 16:30-17:45 （鈴木）第3章言語処理における深層学習の基礎 ②（3.3.分散表現）
2021-05-27 16:30-17:45 （凌）第3章言語処理における深層学習の基礎 ③（3.4.系列変換モデル）
2021-06-03 16:30-17:30 （潘）第4章言語処理特有の深層学習の発展 ①（4.1.注意機構、4.2.記憶ネットワーク）
2021-06-10 16:30-17:50 （菊地）第4章言語処理特有の深層学習の発展 ②（4.3.出力層の高速化）
2021-06-17 16:30-17:50 （大羽）第6章汎化性能を向上させる技術（6.1.汎化誤差の分解、6.2.推定誤差低減に効く手法、6.3.最適化誤差低減に効く手法）
2021-06-24 16:30-17:10 Neural Machine Translation by Jointly Learning to Align and Translate（読み会）（中辻, 大羽）
2021-07-01 16:30-17:40 Neural Machine Translation of Rare Words with Subword Units（読み会）（井上, 上田）
2021-07-08 16:30-17:30 Attention Is All You Need（読み会）（鈴木, 潘, 魏）
2021-07-15 16:30-17:30 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding（読み会）（小林, 凌, 菊池）