OptunaHubに登録された自然勾配法ベースの最適化アルゴリズム「INGO」の紹介
はじめに 7月からOptunaHubという新しいOptuna向け機能共有プラットフォームのベータ版を提供中です。今回は新たに導入されたImplicit Natural Gradient Optimization (INGO) [1]という自然勾配法ベースの最適化アルゴリズムについて紹介します。INGOは進化計算における強力な手法である CMA-ES (共分散行列適応進化戦略)...
View ArticleOptuna向け機能共有プラットフォーム「OptunaHub」を正式リリース!
本記事の要約 Optuna向け機能共有プラットフォームOptunaHub (https://hub.optuna.org/) の正式版をリリースしました. 今年トップカンファレンスで提案されたばかりの手法 (CatCMA) やコンペティションで1位を獲得した手法 (HEBO) など様々な新規アルゴリズムが続々と追加されており,Optunaから利用できるようになっています....
View ArticleOptunaの最新メジャーリリースv4.0を公開
ハイパーパラメータ自動最適化フレームワークOptunaの4回目のメジャーリリースを行いました。リリースノートをぜひチェックしてください! Optunaは2018年の公開以来、多くの機能開発を経て沢山のユーザに使われるソフトウェアに成長してきました。GitHub...
View ArticleMN-Core Challenge 開催中!
MN-Core コンパイラチームの西川 剛史です。今回は弊社が現在開催中のプログラミングコンテスト MN-Core Challenge をご紹介します。 MN-Core Challenge について MN-Core Challenge には全20問の問題があり、A+B を計算する問題から、転倒数を計算する複雑な問題までの様々な問題があります。...
View ArticleOptuna 4.0で安定化されたJournalStorageの紹介:メカニズムから活用事例まで
はじめに Optunaではハイパーパラメーターや評価値といった試行履歴を保存するストレージクラスがあり、OptunaのデフォルトのストレージクラスはInMemoryStorageです。しかしInMemoryStorageは試行履歴を永続化せず、分散最適化にも利用できません。そのためOptunaでは複数のストレージクラスが用意されています。 Optuna...
View ArticleKubernetes の Validating Admission Policy のテストツールを開発しました
本記事は、2024年夏季インターンシッププログラムで勤務された安済翔真さんによる寄稿です。 はじめに 京都大学工学部情報学科 B4 の安済翔真です。インターンでは、「Validating / Mutating の ポリシーテストのためのツール開発」のテーマで、PFN で使われている Validating Admission...
View ArticleKubernetes環境におけるLog Alertの実現
本記事は、PFN2024 夏季インターンシッププログラムで勤務された奈良亮耶さんによる寄稿です。 こんにちは。PFN2024...
View ArticlePLaMoを組み込んだ音声認識モデルの軽量化に関する検討
本記事は、2024年夏季インターンシッププログラムに参加された仲野力さんによる寄稿です。 こんにちは、2024年のPFN夏季インターンシップに参加した東京大学修士1年の仲野力です。大学では杉山・横矢・石田研究室にて、音響イベントの検出や分離手法を研究しています。...
View ArticlePLaMoをベースにしたテキスト埋め込みモデルの開発
本記事は、2024年夏季インターンシッププログラムに参加された九門涼真さんによる寄稿です。今回はPLaMoをベースにしたテキスト埋め込みモデルの開発に取り組んでいただきました。PFN/PFEではこのようなLLM性能改善のための研究開発を進めています。本取り組みで得られた知見・成果は今後PLaMoに取り入れていく予定です。...
View ArticlePLaMoにおけるLLMエージェント能力の分析と改善
LLMエージェントは大規模言語モデル (LLM) を利用した自律的システムで、自然言語の指示に基づいてプランニングや外部ツールの呼び出しを行います。先日、PLaMo β版においても、LLMエージェントの実装を促進するFunction Calling機能のサポートを開始しました。 本記事は2024年度PFN夏季インターンシップで、LLMエージェントの能力向上に取り組まれた木澤翔太さんによる寄稿です。...
View ArticleLLMにおける合成データセットによる数学推論タスクの精度向上の検討
本記事は、2024年夏季インターンシッププログラムで勤務された榎本倫太郎さんによる寄稿です。 はじめに...
View ArticleKubernetes Mutating Admission Policyの調査、検証
本記事は、2024年夏季インターンシッププログラムで勤務された大川快さんによる寄稿です。 はじめに 東京工業大学情報理工学院情報工学系D2の大川快と申します。PFN2024 夏季国内インターンシップに参加し、Cluster ServicesチームでKubernetesで今後導入予定の新機能であるMutating Admission Policyの調査、検証を行いました。 Mutating...
View ArticleDiffusion特徴量を利用したfew-shot商品画像分類手法の検討
本記事は、PFN2024 夏季インターンシッププログラムにご参加くださった窪田瑛拓さんによる寄稿です。インターンシップでは商品分類の改善検討をテーマに、実在の商品画像の分類精度改善を目指した研究開発に取り組んでいただきました。本取り組みで得られた知見・成果は今後、MiseMise等のリテールソリューションへ活用してまいります。 はじめに...
View ArticleLLMを用いた分類タスクのためのデータセット拡張
はじめに PFN2024夏季インターンに参加させていただいた、東京大学情報理工学系研究科修士1年の阿部 陽樹です。今回のインターンでは、大規模言語モデル(LLM)を用いた事後学習用のデータセットの拡張に取り組みました。本ブログでは、今回のインターンでの成果物についてご紹介させていただきます。 背景...
View ArticleCuPyにおけるCUDA Graph Conditional Nodesのサポート
本記事は、2024年夏季インターンシッププログラムで勤務された細川颯介さんによる寄稿です。 こんにちは、2024年度のPFN夏季インターンシップに参加していた、東京大学大学院修士1年の細川颯介と申します。今回のインターンシップでは、「CuPyへのCUDA Graph Conditional Nodesサポートの追加」というテーマに取り組みました。 CuPy...
View Article最新の気象レーダーを用いて降水量を推定するデータ分析コンペを開催しました
2024年夏季インターンシッププログラムでは「4週間グループ開発コース」を新たに設け、8月26日 (月) から9月20日 (金) までの4週間にわたってグループ開発インターンシップを実施しました。本稿では「GD02 データサイエンス」のテーマで実施した、最新気象レーダー「MP-PAWR」の観測データを用いた降水量予測の取り組みについてご紹介します。...
View ArticlePFCPにおけるログ基盤の設計と構築
本記事は、2024年夏季インターンシッププログラムで勤務された岡部 純弥さんによる寄稿です。 はじめに こんにちは。筑波大学大学院修士1年の岡部 純弥です。インターンシップでは、「PFCP向けログ基盤の構築」というテーマで、PFCPにおけるログ基盤の設計・構築・検証を行いました。 PFCPについて PFCPとは PFCP (Preferred Computing Platform)...
View ArticleLightPFPの酵素反応への適用
本記事は、2024年夏季インターンシッププログラムで勤務された大村拓登さんによる寄稿です。 はじめに 2024年夏季インターンシップに参加した、東京大学大学院農学生命科学研究科修士課程2年の大村拓登です。大学では、量子化学計算を用いた酵素触媒の反応機構の解析や、酵素に特化した機械学習ポテンシャルモデルの開発といった研究に取り組んでいます。...
View Articleグループ開発: 旅行の思い出を LLM で書き起こせるアプリ「旅行のあしあと」
はじめに 本記事は、2024年夏季インターンシッププログラムで勤務された中園さん、村上さん、廣長さんによる寄稿です。 Preferred Networksでは、8/26〜9/20の4週間、2つのテーマでグループ開発インターンを実施しました。 サービス開発を行うテーマでは、多様なバックグラウンドを持つ10名の学生に3つのグループに分かれて参加していただきました。...
View Article