クライアントがソケットを介してサーバープロセスに接続し、特定の操作を実行するためにウィンドウサーバーに操作を送信するX11システムの仕組みに精通しています。
しかし、GUIアプリケーションがMac OS Xのウィンドウシステムとどのように対話するかを説明していません（そして、良いドキュメントを見つけることができませんでした）。
回答:
これは私がこれまでに収集できたものです。
アプリケーションは、何らかのプライベートAPIを介してWindowServerプロセスと通信します。WindowServerプロセスは、実際にハードウェアイベント（マウス、キーボード）を取得し、それらをクライアントアプリケーションにディスパッチします。（これはまだ未解決の質問です。もしあれば、どのプロトコルを使用し、MachポートとMIG、またはいくつかのSocketベースのAPIを使用するかは不明です）。
いくつかの情報はこちらです：
WindowServerはQuartz Compositorです。通常、アプリケーションはCoreGraphics API（CGXXX機能）で公開されたQuartz2D APIを使用します。アプリケーションはCoreGraphicsの「コンテキスト」（CGContext）を作成し、そこに描画します。大きなビットマップとして実行されたときにコンテキストがプッシュされるかどうか、または操作がX11上にあるようにサーバーに送信されるかどうかは未解決の問題です。
WindowServerプロセスの特定の側面を制御するために公開されている制限されたAPIがあります。これは、通常、設定アプリケーションから実行される構成設定の種類ですが、アプリが実際にサーバーからグラフィック要求を送信したり、メッセージをポンプする方法に関するドキュメントはありません公開されたCarbon / Cocoa API。
「ココアとは？」Cocoa Fundamentals Guideのセクションには、下から順にアーキテクチャの素晴らしいイラストがたくさんあります。
OS X内部の最適なリソースは、Amit SinghのMac OS X内部です。驚くほど詳細ですが、残念ながら10.4までのOS Xしかカバーしていません。Googleブックにはプレビューがあります。
OS Xに関するAppleのドキュメントも優れたリソースであり、明らかに最新のものです。
XQuartzは、Mac OS Xで実行されるX.org X Window Systemのオープンソースプロジェクトです。開発者向けのwikiとメーリングリストは、質問に役立つはずです。これらに答えるには、プロジェクトに深く関与する人が必要なようです。
以前のMacOSバージョンでは、持ち上げはQuickDrawによって行われていました。OS Xでは、Cocoaに取って代わられました...
ただし、X11と単純に並列するわけではありません。たとえば、X11にはオーディオが含まれていませんが、Cocoaには含まれています。