差分

この文書の現在のバージョンと選択したバージョンの差分を表示します。

この比較画面にリンクする

python:joblib [2019/10/16 12:15]
mumeiyamibito 作成
python:joblib [2019/10/16 12:16] (現在)
mumeiyamibito
ライン 21: ライン 21:
 results = Parallel(n_jobs = 4, verbose = 10)([delayed(worker)(i,​ n) for i, n in enumerate(x)]) results = Parallel(n_jobs = 4, verbose = 10)([delayed(worker)(i,​ n) for i, n in enumerate(x)])
 print(results) print(results)
--> [0, 1, 2] 
 </​code>​ </​code>​
-  ​* ''​n_jobs'':​ 並列実行数 (今回は ''​4''​)。''​-1''​ ですべてのコアを使う。 +    ​* ''​n_jobs'':​ 並列実行数 (今回は ''​4''​)。''​-1''​ ですべてのコアを使う。 
-  * ''​verbose'':​ 実行状況を表示する。数字は出力頻度。 +    * ''​verbose'':​ 実行状況を表示する。数字は出力頻度。 
-  * ''​worker'':​ 前に定義した並列処理したい関数の名前 +    * ''​worker'':​ 前に定義した並列処理したい関数の名前 
-  * ''​(i,​ n)'':​ 関数に与える引数 +    * ''​(i,​ n)'':​ 関数に与える引数 
-  * この処理は、逐次処理すると、5 + 2 + 6 = 13 秒かかるが、並列処理しているので、最長の 6 秒しかかからない。 +  ​* 結果\\ <code python>​ 
-  * 結果は、リストに順次格納される。 +[0, 1, 2] 
-  * joblib は内部で、関数を pickle 化して計算するらしいので、pickle 化できない引数 (クラスなど) 与えたり、関数内でグローバル変数を利用したりすると、''​Can'​t pickle ...''​ というエラーが現れる。 +</​code>​ 
-    * 参考サイト:​ [[https://​qiita.com/​yamasakih/​items/​ed806c1c46a56c1f884a | sqlalchemyで取り出したレコードをjoblibの引数にすると出るエラーへの対処 - Qiita]]+ 
 +    ​* この処理は、逐次処理すると、5 + 2 + 6 = 13 秒かかるが、並列処理しているので、最長の 6 秒しかかからない。 
 +    * 結果は、リストに順次格納される。 
 +    * joblib は内部で、関数を pickle 化して計算するらしいので、pickle 化できない引数 (クラスなど) 与えたり、関数内でグローバル変数を利用したりすると、''​Can'​t pickle ...''​ というエラーが現れる。 
 +      * 参考サイト:​ [[https://​qiita.com/​yamasakih/​items/​ed806c1c46a56c1f884a | sqlalchemyで取り出したレコードをjoblibの引数にすると出るエラーへの対処 - Qiita]]
  
 ===== 参考サイト ===== ===== 参考サイト =====
  • python/joblib.txt
  • 最終更新: 2019/10/16 12:16
  • by mumeiyamibito