概要

BERTを中心とした言語モデルを使いこなそう！というコンセプトで開催します。今回は、分散表現(Word2vec)からBERTによる感情分析までを行います。

対象

自然言語処理の入門と位置づけており、入門者を対象とします。中級者以上の方には、手ごたえが感じられないかもしれないのでご注意ください。

環境

Google Colabを使用します。 このハンズオンでは、環境構築の時間は設けませんので、下の動画（4分程度）を参考に Google Colabを使える状態に必ずしておいて下さい。
https://www.youtube.com/watch?v=XvuZK-6QMCo

当日の内容

理論編と実践編との構成になっております。理論を理解して、Colabで動かしてみるといった流れです。

問題意識・モチベーション

ヒトの言語理解は？機械の言語理解はと？などから考えますと、機械の場合は文脈での理解がポイントになると感じております。テキストマイニングの時代は多次元尺度法での考察でしたが、今回のように、Word2Vecなどの分散表現は、与えられた文章群の中での文脈が考慮されています。Doc2VecやSentence2Vecなどに発展しますが、チャットボットなどの短い会話での想定は、当たりはずれがあると考えます。また、BERT以降の言語モデルは、やはりデータセットに依存するため、このデータセットも整理しているところも検討すると、かなりビジネス的に用途やその発展性が考えられると思います。この辺もお伝えできればと思います。

今回は、1)に当たります。 1) 分散表現(Word2vec) ← 今回はここ！ 2) BERTによる感情分

までとなります。 質疑はDoryで受け付けします。

今後の予定(仮)

(導入編：超入門)
TransformerでBERTを扱う?-超入門-
分散表現：Word2Vecなど
BERT導入: Masked model

(基礎編：主要なタスク)
BERTによる文章の穴埋め
BERTによる文章分類
BERTによる固有表現抽出
BERTによる文章校正
T5による自動要約
GPT-2による文生成

(応用・ビジネス化編)
(論文の紹介)小説の創作
(論文の紹介)含意関係認識
(論文の紹介)言語モデルの関係性の検討(アナロジーを題材に)
(論文の紹介)知識グラフによる推論とオントロジー

会場

オンライン

日時

2月25日金曜日
- 開場: 20:50
- 開始: 21:00
- 終了: 23:00

TIMETABLE

連絡

はんなりPythonのDiscordはリンクから加入できます！　https://discord.gg/dT79majq

アンチハラスメントポリシー

PyConJPの行動規範 に準拠しています。

はんなりPythonはみなさんの参加で成り立っていますので、いかなる場合であれいやがらせ行為は禁止です。

嫌がらせ行為は、言葉による性別、性的指向、障碍の有無、外見、身体の大きさ、人種、宗教に関する攻撃的なコメント、公的空間での性的な映像表現、意図的な威力行為、ストーキング、つきまとい、写真撮影や録音によるいやがらせ、トークやその他の会議イベントに対して繰り返して中断しようとする行為、不適切な身体接触、そして望まれない性的な注意を引きつける行為を含みます。

参加者は、これらのハラスメント行為を止めるように求められた場合、すぐに従わなければなりません。

ZOOMスポンサー

京都のデータテクノロジー会社　合同会社長目

After Party

勉強会後は飲み会はできませんが、みんなで話し合いましょう！アルコール持ち込み可能！