ep50 (ICLR): ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators

ICLR 2020より，Replaced Token Detectionタスクによる事前学習によってGLUEとSQuADでSOTAを獲得したStanford x Googleのモデルを解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/391 サポーターも募集中です． https://www.patreon.com/jojonki --- Support this podcast: https://podcasters.spotify.com/pod/show/lnlp-ninja/support