Jump to content
Main menu
Main menu
move to sidebar
hide
Navigation
Main page
Recent changes
Random page
freem
Search
Search
Appearance
Create account
Log in
Personal tools
Create account
Log in
Pages for logged out editors
learn more
Contributions
Talk
Editing
Openai/69256df6-133c-8005-ae25-fcf7c8af0f22
(section)
Add languages
Page
Discussion
English
Read
Edit
Edit source
View history
Tools
Tools
move to sidebar
hide
Actions
Read
Edit
Edit source
View history
General
What links here
Related changes
Special pages
Page information
Appearance
move to sidebar
hide
Warning:
You are not logged in. Your IP address will be publicly visible if you make any edits. If you
log in
or
create an account
, your edits will be attributed to your username, along with other benefits.
Anti-spam check. Do
not
fill this in!
===== - GPU - 小規模マルチGPUでは十分高速 - ノードをまたぐ大規模学習では通信待ちが増えやすい ===== * TPU - 大規模Podでもネットワーク構造がモデル並列・勾配同期に最適化されている - したがって、ネットワーク構造自体が学習性能のボトルネックになることは少ない 💡 ポイントまとめ * 「メッシュ構造だから不利」と思うかもしれませんが、TPUは通信パターンをTensorFlow/XLAで最適化するため、GPUよりむしろ有利 * NVIDIA GPUの階層型ネットワークは汎用性が高い分、大規模モデルではネットワーク設計の工夫が必要 * TPUは最初からML用に全体最適化されているので、モデル並列・パイプライン並列のスケーリングが容易 希望であれば、GPUとTPUのネットワーク構造の図解比較も作れます。 作りますか?
Summary:
Please note that all contributions to freem are considered to be released under the Creative Commons Attribution-ShareAlike 4.0 (see
Freem:Copyrights
for details). If you do not want your writing to be edited mercilessly and redistributed at will, then do not submit it here.
You are also promising us that you wrote this yourself, or copied it from a public domain or similar free resource.
Do not submit copyrighted work without permission!
Cancel
Editing help
(opens in new window)