アディ・ブッソ・ディエン、アンドリュー・ゴードン・ウィルソン、ジェシカ・シュラフ著
NeurIPS 2022 カンファレンスでのプレゼンテーションに選ばれたチュートリアルを発表できることを嬉しく思います。私たちは、生涯学習、ベイジアン最適化、アルゴリズム識別、神経記号プログラミング、データ圧縮、ヘルスケアにおける NLP など、多くのエキサイティングなトピックにわたる魅力的なプログラムを楽しみにしています。このブログ投稿では、選考プロセス、プログラム、提出物に対する反省、今後のチュートリアルの考慮事項について詳しく説明します。
チュートリアルプログラム
各仮想チュートリアルは次の内容で構成されます。
- 講演者によるプレゼンテーション（1時間50分）
- 講演者とのライブ Q&A、技術的な質問や明確な質問に答える (10 分)
- この分野のさらなる研究者とのライブパネルで課題と展望について議論します (30 分)
昨年のプログラムとの顕著な違いは 2 つあります。それは、寄稿されたチュートリアルと招待されたチュートリアルが混在していること (招待されただけではなく)、およびライブ パネルです。
| UTC時間 | チュートリアル 1 | チュートリアル 2 | チュートリアル 3 |
| 10:00 | 少数ショット学習におけるメタ学習の役割について スピーカー: エレニ・トリアンタフィロウ | ||
| 13:00 | 基礎モデルの基礎的な堅牢性 スピーカー: Pin-Yu Chen、Sijia Liu、Sayak Paul | 生涯学習マシン 講演者: タイラー・ヘイズ、ディリーシャ・クディティプディ、ギド・ヴァン・デ・ヴェン | |
| 16:00 | 神経記号的プログラミング 講演者: スワラット・チョードリ、アルマンド・ソーラー＝レザマ、ジェニファー・サン | NLP の進歩とヘルスケアへの応用 スピーカー: ナカショールにあげました | 確率回路: 表現、推論、学習および応用 スピーカー: アントニオ・ヴェルガリ、ユジョン・チョイ、ロバート・ペハール |
| 19:00 | ベイズ最適化の進歩 スピーカー: ヴァージニア・アリエッティ、 ジェイコブ・ガードナー、ヤナ・ドッパ | 交差点におけるアルゴリズム識別 講演者: ゴルヌーシュ・ファルナディ、ベラ・リャオ、エリオット・クリーガー | インセンティブを意識した機械学習: 堅牢性、公平性、改善、パフォーマンス性の物語 スピーカー: キャラ・ポディマタ |
| 22:00 | 機械学習によるデータ圧縮 スピーカー: カレン・ウルリッヒ、 ヤン・イーボ、ステファン・マント | 創造的な文化と機械学習 講演者: ネガル・ロスタムザデ、アンナ・ファン、マーク・リードル | |
| 01:00 | 効率的かつ正確なデータセット構築の理論と実践 講演者: フレデリック・サラ、ラムヤ・コルラカイ・ヴィナヤック | 公正かつ社会的責任のある推奨用 ML: 課題と展望 スピーカー: ハンナ・コレヴァール、マニッシュ・ラガヴァン、アシュディープ・シン |
選考プロセス
今年、私たちは「貢献のみ」のデザインを実験してきました（「貢献のみ」を参照）関連するブログ投稿）。私たちの希望は、チュートリアル全体だけでなくチュートリアル内でも多様性を強調しながら、「コミュニティ主導の」トピックと講演者を選択することでした。私たちの提案を求めますトピック、講演者、パネリスト、形式などの選択に関する明確なガイドラインがありました。
(厳密な) 締め切りまでに 34 件の提出を受け取りました。各提出物は、トピックに関する関心と専門知識に基づいて 2 人のチュートリアル委員長によって審査されました。各議長は、提案に対する全体的な印象を要約するために、1 (強い拒否) から 10 (強い受け入れ) までのスコアを付けました。次に、少なくとも 1 人の議長から 6 以上の評価を得た提出物 (34 件中 14 件の提案) を最終候補リストに挙げ、最初の 2 つのレビューで意見の相違があった場合について話し合いました。その後、別のチュートリアル委員長から 3 回目のレビューが行われ、提案を受け入れるか拒否するかの最終決定が行われました。このプロセスで9件の提案を受け入れました。
スコアが低い比較的一般的な理由には、次のものが含まれます (ただし、これらに限定されません)。
- このトピックは非常に幅広い読者にとってニッチすぎます。
- このトピックは、主要な機械学習カンファレンスの最近のチュートリアルで紹介されています。
- 講演者は最近、チュートリアルや基調講演者として主要な ML カンファレンスに貢献しています。
- 多様性が低く、広く解釈される。
- ガイドラインが遵守されていませんでした（パネルが含まれていないなど）。
特定の機能が受け入れを保証するものではありませんが、好意的にレビューされた提案には特定の機能が含まれることがよくありました。
- 提案は非常に洗練されていました。このチュートリアルは、指示に細心の注意を払い、行き止まりがほとんどないように、慎重に編成および計画するために多大な努力と思慮が費やされました。これらの特徴は、プレゼンテーション自体が慎重に計画され、土壇場での準備や物流上の事故などを回避することを示唆していました。
- 発表者は、選択したトピックに関して多大な貢献、貢献、専門知識を示しました。
- このトピックはチュートリアルとしては新鮮であり、比較的幅広い魅力を持っています。
- 多様性は広義に解釈されます。たとえば、素材に対する多様な視点を備えたスピーカーやパネルです。
管理可能な作業負荷を考慮して、ガイドラインに従わない提案を机上で拒否することはありませんでした。将来的には、机上での却下が検討される可能性があります（たとえば、複数の提案が必要な 5 ページではなく 10 ～ 12 ページの長さであったなど）。
提出された提案の多様性
各提案には 1 ～ 3 人の講演者と最大 6 人のパネリストが含まれます。すべての応募を通じて、合計 85 人の講演者と 160 人の確認されたパネリストがありました (講演者と重複する人もいます)。私たちはチュートリアルのプレゼンターに、（網羅的ではない）性別、人種、地理的位置、制度、背景、専門知識の観点から多様性を考慮し、声明を書くよう明確に求めていました。私たちの目標は、(1) 多様な意見が確実に考慮されるようにすること、(2) この分野で過小評価されているグループのメンバーをこのプログラムに参加させることです。
多様性に関する声明によると、研究者らは主に多様性の側面として背景、専門知識、地理的位置に焦点を当ててきた。提案における地理的位置はほとんどが西ヨーロッパ、米国、カナダに限定されていたことに注意してください。したがって、研究者は最初の目標を部分的には理解していたようですが、2 番目の目標を満足に考慮した提案はわずかでした。
多様性に関する声明では、ジェンダー、人種、民族の側面が明示的に扱われることはほとんどなく、多様性が明確に存在しない場合に強調されることもありました。この「リップサービス」の多様性は、次のような結果をもたらしました。
- 発言者としては男性が過半数を占めており、34 件の提案のうち 17 件には男性の発言者のみが含まれていた。
- アジア（南および東）および白人の研究者が圧倒的に多かった。
- 多様性については、講演者よりもパネルディスカッションで取り上げられることが多かった。
これらの印象を説明するために、私たちは各講演者と確認されたパネリストを、認識されている性別（提案書の代名詞に基づいて）、認識されている人種（入手可能な場合は提案書から、そうでない場合は履歴書、オンライン情報、最後の写真の組み合わせから）に基づいて特定しようとしました。リゾート）、教育機関および年功レベル（初期のキャリア：博士課程の学生または初期のポスドク、博士号取得後 0 ～ 3 年、中堅：助教授、博士号取得後 3 ～ 10 年、シニア：教授、博士号取得後 10 年以上） 。私たちは、この分類がやや恣意的であり、講演者とパネリストの性別と人種的アイデンティティを完全に反映していないことを認めます。しかし、私たちは、設計選択の結果をおおよその定量化して提供することが重要であると考えています。
図 2: 提出されたすべての提案における発言者の認識される性別 (円グラフ) と人種 (棒グラフ) の分布。 MENAは中東および北アフリカの略です。提案書やオンライン情報からはレース情報が特定できない可能性があるため、棒グラフのパーセンテージの合計が 100 にならない場合があることに注意してください。
男性 (彼/彼の代名詞) が提案された講演者の 75% 以上を占めていることがわかります。白人とアジア人の話者が話者の 90% 以上を占めています。提案のほとんどは業界の研究者よりも多くの学者によって提出され、その参加者も多かった（85 社中 26 社の業界）。年功序列はバランスが取れていました（前期：26名、中期：33名、上級：26名）。
多様性はパネル内に限定される
認識されている性別の多様性はパネル内でわずかに改善されましたが (図 3)、依然として男性が多数を占めています。同様に、アジア系と白人の研究者が依然としてパネリストの 80% 以上を占めていました。興味深いことに、パネルには産業界の研究者が少なく（160人中31人、つまり約19％）、上級研究者に偏っていました（初期：26人、中期：47人、上級：81人）。全体として、話者に比べて多様性は向上していますが、依然として低いことがわかります。
図 3: 提出された提案のパネルで認識された性別と人種の分布。
特筆すべきは、3 つの提案が多様性の観点から特に努力を払っていたという事実です。これらの取り組みは、強力な提案とタイムリーなトピックと相まって、これらの提案のうち 2 件が受け入れられるに至りました (最後の 1 件は不適格でした)。これらの著者は、あらゆる側面にわたって多様な講演者とパネリストのセットを提案することが可能であることを示しています。
最後に、障害や LGBTQIA+ コミュニティの一員であることなど、他の側面にわたる多様性を評価しました。プライバシー上の理由から、これらの番号は公開されません。
プログラムの品質向上
私たちは、承認されたチュートリアルの作成者に連絡し、構成、科学的内容、多様性の点でプログラムを改善できると考えられる場合には協力しました。必要に応じて、オンライン版を考慮して提案されたチュートリアルの形式を再考するよう講演者に奨励しました。
当初は 12 ～ 15 回のチュートリアルを計画していたので、チュートリアルの講演者を招待する機会がありました。私たちは、特定のトピックにおいて卓越性と専門知識を実証し、この機会から恩恵を受けるであろう研究者を特定して講演者を招待しました。私たちは、過小評価されているグループの研究者を優先し、トピックの多様性を最大化するために、選択の際に多様性の側面を考慮しました。
招待講演者の反応の良さと、提出された提案書の作成者の尽力のおかげで、興味深いトピックのリストを提供することができました。講演者やパネリストの多様性も高めていますが、まだ改善の余地があります。
図 4: 提案が修正され講演者が招待された後、講演者とパネリスト全体で認識された性別と人種の分布。
将来のエディションに関する考慮事項
著者
- 過去 3 年間の主要な ML カンファレンスでのチュートリアルのトピックを注意深く確認してください。チュートリアルが著しく斬新な視点や拡張をもたらす場合を除き、重複するトピックが選択される可能性は低いです。
- ガイドラインを読んで従ってください。当然のことのように思われるかもしれませんが、参加資格のない講演者が含まれていたり、パネルが含まれていなかったりするなどの理由で、複数の提案が却下されました。今年、私たちは提案を机上で却下しませんでしたが、受け入れた提案のほとんどがガイドラインに従っていることに気づきました。これは、著者がさまざまな要件を慎重に検討し、提出物を作成および校正し、期限までに提出したことを単に強調しているだけです。これにより、受け入れられる可能性が高まります。
- 多様性はあらゆる側面で考慮されるべきであり、提案には過小評価されているグループの声も含めるべきです。参加者が 6 人または 7 人で、全員が男性代名詞で識別される提案は、受け入れられる可能性が低いです。アフィニティ グループからディレクトリを参照します (例:https://www.directory.wimlworkshop.org/、https://lxai.app/PUBLIC-DIRECTORY）、その分野の上級研究者からの推薦を求め、非西洋の機関を検討してください。
- チュートリアルのトピックを提案したいが参加資格がない場合は、その機会を他の人に譲ってください。他の分野の人々に提案を提出するよう奨励することを検討してください。
講演者とパネリスト
1 人または数人の研究者から提案があり、その後、他の講演者やパネリストが招待されます。これらの共同発表者とパネリストには、次のような重要な役割もあります。
- 一部のパネリストが複数の提案で承認されたとみなされたことが観察されました。これらは多くの場合、より上級の研究者でした。複数の機会に招待された場合は、代わりに他の研究者を提案することを検討してください。私たちは、すべての講演者とパネリストが 1 つのチュートリアルのみを検討できるという厳格な指導を受けていました。
- 同様に、参加できない場合は、他の研究者を推薦し、この機会から恩恵を受けるであろう過小評価グループの研究者について考えてください。
- 講演者やパネリストのリストがあまり多様ではない、またはすでにこの分野で過大な代表を占めているグループによって占められていることがわかった場合は、著者に連絡してリストを変更するよう依頼してください。
過小評価されたグループのメンバー
多様なプログラムを定義する負担が過小評価されたグループのメンバーにかかるべきではありませんが、認知度を高めるために実行できる手順がいくつかあります。
- Web サイトを作成し、教育機関や企業の Web サイトで個人ページに入力 (および更新) するか、LinkedIn、DBLP、ResearchGate、Google Scholar などで公開プロフィールを作成します。
- アフィニティ グループを使用しており、このグループにディレクトリがある場合は、プロファイルの作成を検討してください。例としては次のものが挙げられます。https://www.directory.wimlworkshop.org/、https://lxai.app/PUBLIC-DIRECTORY
- 以前の講演の録音を投稿することを検討してください
- アフィニティ グループには、主催者が招待する潜在的な講演者を特定できるように、(可能な場合は) メンバーのオープンソース リポジトリを作成することをお勧めします。
- 提案を提出する！
Web 上のプレゼンスは、著者、講演者、パネリスト、チュートリアルの主催者があなたのプロフィールを見つけて、機会を検討するのに役立ちます。この情報がなければ、その人がチュートリアルを成功させるだけの幅広い経験とコミュニケーション スキルを持っているかどうかを推定するのは困難です。
チュートリアル主催者
もちろん改善を免除されるわけではありません。将来のエディションに取り入れられる教訓には次のようなものがあります。
- より積極的に講演者候補に連絡を取り、提案の提出を促します。これには、アフィニティ グループなどのメーリング リストへの繰り返しの投稿や、研究者に直接連絡することが含まれます。
- 招待されたチュートリアルの以前の招待。
- より明確なガイドライン、例:多様性に関する声明で私たちが達成しようとしている目標を説明します。
- チュートリアルの講演者とパネリストに対する明確な期待とメリットを設定します。
NeurIPS の主催者と理事会
チュートリアルの講演者は、カンファレンスに重要なコンテンツを提供します。彼らが過小評価されているグループの出身である場合、提案を提出したり、この機会を受け入れたりできるように、より良いサポートが得られる可能性があります。私たちが特定したボトルネックには次のものがあります。
- チュートリアルの講演者がカンファレンスの対面部分に参加したい場合、資金提供の機会はありません。
- 講演者には謝礼なし。過小評価グループの一部の講演者にとって、チュートリアルが提供する露出は、研究や助成金の申請に費やされる時間ではないため、そのようなプログラムの構築にかかる犠牲を補うことはできません。
- NeurIPS の貢献者が人口統計上の特徴を自己報告する機会を提供します。
NeurIPS の主催者と理事会はこれらの要望を受け入れ、現在次のことを許可しています。
- チュートリアルの講演者は、対面またはバーチャルで登録を受けます。
- DIA チェアのおかげで、NeurIPS 旅行資金申請時にチュートリアルの講演者も優先的に考慮されるようになります (以前は学生と著者に限定されていました)。
- 各チュートリアルには謝礼金が支払われます (講演者間で分割されます)。
- 特に各国の人口統計調査に関する法律を考慮すると、自己申告にはさらなる考慮が必要です。今後の会議に向けて検討中です。
これらの措置に対して主催者（特に総括委員長とDIA委員長）と理事会に感謝いたします。私たちは、これらが将来のエディションでエキサイティングで多様なチュートリアルのセットを提供するのに役立つと信じています。
私たちはこのプログラムに非常に興奮しており、チュートリアルでお会いできるのを楽しみにしています。