記事一覧

記事数 117
  • G検定

データ前処理の種類を解説

観測データの前処理正規化:最大値で割る計算を行い、すべてのデータを0~1の間にすること。    データをスケーリングすると表現されることも。標準化:データに対しの平均を0、標準偏差が1になるように計算すること。    ※標準偏差となっている場合もあるが、標準偏差の2乗=分散なので同

  • G検定

大規模言語モデル(Large Language Models、LLM)

大規模言語モデル(Large Language Models、LLM)とは、大量のテキストデータを使ってトレーニングされた言語モデルのこと。言語モデルとは、より自然な文章の並びに対して高い確率を割り当て、文章として成立しない並びには低い確率を割り当てるものです。 代表例:GPT-3(Ope