Clik here to view.
Large Language Models for Code (Code LLMs)と自然言語推論、ソースコードの関係について
本記事は、2023年夏季インターンシッププログラムで勤務された大嶽匡俊さんによる寄稿です。 はじめに 2023年度夏季インターンに参加させていただいた、大嶽匡俊です。 大学では東京大学情報理工コンピュータ科学専攻の宮尾研究室に所属し自然言語について研究をしています。 今回のインターンでは、Large Language Models for Code (Code...
View ArticleClik here to view.
Announcing Optuna 3.6
はじめに ブラックボックス最適化フレームワークOptunaの最新バージョンであるv3.6をリリースしました。今回のリリースには、様々な新機能やリファクタリング、バグ修正が含まれています。このブログではv3.6のハイライトと多くの機能改善についてお伝えします。 TL;DR Wilcoxon Pruner、軽量なガウス過程ベースのSampler、...
View ArticleClik here to view.
Rustによる高速なOptuna実装の試作
はじめに OptunaはすべてPythonで実装されたソフトウェアです。速度を必要とする処理もC拡張を使わずにすべてPythonで実装しており、このおかげで様々な実行環境にトラブルなくインストールできます。このことは多種多様な用途に利用されるOptunaにおいて非常に重要な点であり、現時点では我々はこの方針を変えるつもりはありません。...
View ArticleClik here to view.
WilcoxonPruner: 統計的検定に基づくOptunaの新しい枝刈り
このブログは3月18日にリリースされたOptuna v3.6の新機能を紹介する最初のブログです。 Optuna...
View ArticleClik here to view.
P-FEP (RBFEP計算サービス) 提供開始
RBFEPとは 近年、タンパク質の立体構造に基づいて有望な低分子化合物を設計するStructure-Based Drug Design (SBDD)の分野では、標的タンパク質に対する化合物の結合能(≒薬理活性)の予測を行う結合自由エネルギー計算が注目を集めています。とくに共通骨格をもつ2つの化合物間の結合自由エネルギーの差(相対結合自由エネルギー; ΔΔGbind)を計算するRelative...
View ArticleClik here to view.
継続事前学習による金融ドメイン特化LLMの構築の検証
この記事は、金融チームエンジニアの今城(@imos)と金融チームリサーチャーの平野(@_mhirano)による寄稿です。 概要 本稿では、ドメインに特化したLLMの構築の一環として、金融ドメイン特化のLLMの構築の検証を行いました。継続事前学習によるドメイン知識の獲得を模索し、特定のドメイン向けに専用のパラメータ数が多い高性能なLLMを提供を可能にすることを目指します。...
View ArticleClik here to view.
BoTorchに依存しないGPSamplerの導入
はじめに 今回のブログではOptuna v3.6で新たに導入されたGPSampler（ガウス過程を用いたベイズ最適化を行うSampler）を紹介します。...
View ArticleClik here to view.
1,000億パラメータ規模の独自LLM「PLaMo-100B」の事前学習
Preferred Networks(以下PFN)の子会社のPreferred Elements(以下PFE)では2月より1,000億（100B）パラメータ規模のLLM、「PLaMo-100B」の開発を行ってきました。このPLaMo-100Bの開発に関して、5月に事前学習部分はひと段落したので、今回の記事ではこのモデルの事前学習部分に関して紹介します。...
View ArticleClik here to view.
MN-Core のデータ転送系命令の可視化に関する取り組み
PFN エンジニアの宮本です。今回は私が入社後に行っている MN-Core 2 のデータ転送系命令を可視化する取り組みについて紹介します。 MN-Core シリーズについて MN-Core シリーズの第 2 世代である MN-Core 2 では、第 1 世代と同様に階層的なアーキテクチャを採用しており、メモリ構造も同様に階層化されています。 画像は第 1 世代のものですが、第 2 世代でも同様に、...
View ArticleClik here to view.
Announcing OptunaHub 0.1.0-β
はじめに Optunaはブラックボックス最適化を行うためのOSSであり、近年最も世界で成功を収めつつあるフレームワークの一つです。月間ダウンロード数は200万以上、GitHubのStar数は1万を超え、1万5千以上のソフトウェアに利用されています。...
View Article医療・ヘルスケア領域における大規模言語モデルの構築に向けて
この記事は、パートタイムエンジニアの川上航さんとLLM応用に取り組んでいるエンジニアの鈴木渓太とリサーチャーの岩澤諄一郎による寄稿です。 概要 既存の大規模言語モデル (LLM) に対して医療ドメインの独自コーパスを用いた finetuning を行い、医療特化の大規模言語モデル Llama3-Preferred-MedSwallow-70B を開発しました。...
View ArticleClik here to view.
Clik here to view.
PFEの開発したLLMのPLaMo-100Bを用いた金融ベンチマーク評価と結果の分析
はじめに Preferred Networks(以下PFN)の子会社のPreferred Elements(以下PFE)では2月より1,000億（100B）パラメータ規模のLLM、「PLaMo-100B」の開発を行ってきました。これに関して先日記事を公開しました。 https://tech.preferred.jp/ja/blog/plamo-100b/...
View ArticleClik here to view.
金融時系列基盤モデルによる市場価格の予測
この記事は、グローバルインターンのXinghong Fuさんによる寄稿です。 はじめに 金融市場における予測は難しいタスクと知られています。 これまで、金融市場における予測に関して様々な研究が行われており、様々なモデルが開発されてきました。 例えば、自己回帰モデル（Box 1970）、移動平均モデル（McKenzie 1984）、グローバルな単変量モデルであるN-BEATS（Oreshkin et....
View ArticleClik here to view.
1,000億パラメータの独自LLM「PLaMo-100B」の事後学習が完了
Preferred Networksの子会社のPreferred Elements（以下、PFE）では、2月から1,000億（100B）パラメータ規模のLLM「PLaMo-100B」の開発を行っていました。5月に事前学習部分を終え、以降は後段となる事後学習を行っていました。今回の記事では、後段の事後学習の取り組みを紹介します。...
View ArticleClik here to view.
Optuna v4.0.0での多目的TPESampler大幅高速化
本記事の要約 Optunaでは継続的に速度改善を行っており，Optuna v4.0.0では多目的TPESamplerの速度改善を行いました． 速度改善の結果，目的数2以上の目的関数での大幅な高速化を達成し，3目的200 Trialsの条件下では300倍以上高速化されることを確認しました． 尚，Optuna...
View ArticleClik here to view.
LLMの外部知識活用への理解に向けて
この記事は、パートタイムエンジニアの川上航さんとLLM応用に取り組んでいるリサーチャーの岩澤諄一郎とエンジニアの鈴木渓太による寄稿です。 概要 医師国家試験において外部知識として過去問を用いた場合のRAGと継続事前学習の性能の比較を行いました 上記の設定において継続事前学習がRAGを上回ることを示しました 更に継続事前学習とRAGを組み合わせることで大幅な性能向上が見込めることを示しました PFN...
View ArticleClik here to view.
Clik here to view.
【Optuna v4】大規模言語モデル (LLM) を題材にしたファイル管理機構Artifact Storeの紹介
本記事の要約 最適化中に生成されるファイルを様々なファイルストレージ (例: ローカルファイルシステム，Amazon S3) で管理する機能であるArtifact StoreがOptuna v4.0.0で正式にサポートされました． 本機能を使うことで画像や音声等の幅広いファイルをOptuna Dashboard上から直接確認できます． 正式サポートに伴い，ダウンロード等のPython...
View ArticleClik here to view.
1兆 (1T) パラメータ規模のLLMの事前学習検証
Preferred Networksの子会社のPreferred Elements(以下PFE)では7月から約1ヶ月の間、1兆 (1T) パラメータ規模のLLMの事前学習について検証を行っていました。今回の記事ではこの取り組みとその結果について紹介します。 この検証は経済産業省が主導する国内の生成AIの開発力を強化するためのプロジェクト「GENIAC（Generative AI...
View Article