けれどもsync.waitGroup（WG）が前方に標準的な方法ですが、それはあなたがあなたの少なくともいくつか行う必要がないwg.Addあなたの前に呼び出しをwg.Wait完了するために、すべてのために。これは、再帰呼び出しの数が事前にわからず、wg.Add呼び出しを駆動するデータを取得するのに時間がかかるWebクローラーのような単純なものでは実行できない場合があります。結局、子ページの最初のバッチのサイズを知る前に、最初のページをロードして解析する必要があります。
私はチャネルを使用waitGroupしてソリューションを作成しましたが、私のソリューションではツアーのツアー-Webクローラー演習を避けました。1つ以上のgo-routineが開始されるたびに、その番号をchildrenチャネルに送信します。goルーチンが完了する直前1に、doneチャンネルにを送信します。子供の合計がdoneの合計と等しいとき、私たちは完了です。
私が残している唯一の懸念は、resultsチャネルのハードコーディングされたサイズですが、それは（現在の）Goの制限です。
// recursionController is a data structure with three channels to control our Crawl recursion.
// Tried to use sync.waitGroup in a previous version, but I was unhappy with the mandatory sleep.
// The idea is to have three channels, counting the outstanding calls (children), completed calls
// (done) and results (results). Once outstanding calls == completed calls we are done (if you are
// sufficiently careful to signal any new children before closing your current one, as you may be the last one).
//
type recursionController struct {
results chan string
children chan int
done chan int
}
// instead of instantiating one instance, as we did above, use a more idiomatic Go solution
func NewRecursionController() recursionController {
// we buffer results to 1000, so we cannot crawl more pages than that.
return recursionController{make(chan string, 1000), make(chan int), make(chan int)}
}
// recursionController.Add: convenience function to add children to controller (similar to waitGroup)
func (rc recursionController) Add(children int) {
rc.children <- children
}
// recursionController.Done: convenience function to remove a child from controller (similar to waitGroup)
func (rc recursionController) Done() {
rc.done <- 1
}
// recursionController.Wait will wait until all children are done
func (rc recursionController) Wait() {
fmt.Println("Controller waiting...")
var children, done int
for {
select {
case childrenDelta := <-rc.children:
children += childrenDelta
// fmt.Printf("children found %v total %v\n", childrenDelta, children)
case <-rc.done:
done += 1
// fmt.Println("done found", done)
default:
if done > 0 && children == done {
fmt.Printf("Controller exiting, done = %v, children = %v\n", done, children)
close(rc.results)
return
}
}
}
}
ソリューションの完全なソースコード