3 
 
        
      
      Python用のすぐに使える優れた言語モデルはありますか?
      
  私はアプリケーションのプロトタイプを作成していますが、生成されたいくつかの文の複雑さを計算するための言語モデルが必要です。 すぐに使用できるPythonのトレーニング済み言語モデルはありますか?のような単純なもの model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert junior pancake') assert p1 < p2 一部のフレームワークを確認しましたが、必要なものが見つかりませんでした。私は次のようなものを使用できることを知っています: from nltk.model.ngram import NgramModel lm = NgramModel(3, brown.words(categories='news')) これはブラウンコーパスの優れたチューリング確率分布を使用していますが、1bワードデータセットなどの大きなデータセットで巧妙に作成されたモデルを探していました。一般的なドメイン(ニュースだけでなく)の結果を実際に信頼できるもの
      
        
          
                   11
                
        
        
          
                  
                    python 
                  
                    nlp 
                  
                    language-model 
                  
                    r 
                  
                    statistics 
                  
                    linear-regression 
                  
                    machine-learning 
                  
                    classification 
                  
                    random-forest 
                  
                    xgboost 
                  
                    python 
                  
                    sampling 
                  
                    data-mining 
                  
                    orange 
                  
                    predictive-modeling 
                  
                    recommender-system 
                  
                    statistics 
                  
                    dimensionality-reduction 
                  
                    pca 
                  
                    machine-learning 
                  
                    python 
                  
                    deep-learning 
                  
                    keras 
                  
                    reinforcement-learning 
                  
                    neural-network 
                  
                    image-classification 
                  
                    r 
                  
                    dplyr 
                  
                    deep-learning 
                  
                    keras 
                  
                    tensorflow 
                  
                    lstm 
                  
                    dropout 
                  
                    machine-learning 
                  
                    sampling 
                  
                    categorical-data 
                  
                    data-imputation 
                  
                    machine-learning 
                  
                    deep-learning 
                  
                    machine-learning-model 
                  
                    dropout 
                  
                    deep-network 
                  
                    pandas 
                  
                    data-cleaning 
                  
                    data-science-model 
                  
                    aggregation 
                  
                    python 
                  
                    neural-network 
                  
                    reinforcement-learning 
                  
                    policy-gradients 
                  
                    r 
                  
                    dataframe 
                  
                    dataset 
                  
                    statistics 
                  
                    prediction 
                  
                    forecasting 
                  
                    r 
                  
                    k-means 
                  
                    python 
                  
                    scikit-learn 
                  
                    labels 
                  
                    python 
                  
                    orange 
                  
                    cloud-computing 
                  
                    machine-learning 
                  
                    neural-network 
                  
                    deep-learning 
                  
                    rnn 
                  
                    recurrent-neural-net 
                  
                    logistic-regression 
                  
                    missing-data 
                  
                    deep-learning 
                  
                    autoencoder 
                  
                    apache-hadoop 
                  
                    time-series 
                  
                    data 
                  
                    preprocessing 
                  
                    classification 
                  
                    predictive-modeling 
                  
                    time-series 
                  
                    machine-learning 
                  
                    python 
                  
                    feature-selection 
                  
                    autoencoder 
                  
                    deep-learning 
                  
                    keras 
                  
                    tensorflow 
                  
                    lstm 
                  
                    word-embeddings 
                  
                    predictive-modeling 
                  
                    prediction 
                  
                    machine-learning-model 
                  
                    machine-learning 
                  
                    classification 
                  
                    binary 
                  
                    theory 
                  
                    machine-learning 
                  
                    neural-network 
                  
                    time-series 
                  
                    lstm 
                  
                    rnn 
                  
                    neural-network 
                  
                    deep-learning 
                  
                    keras 
                  
                    tensorflow 
                  
                    convnet 
                  
                    computer-vision