Jump to content
Main menu
Main menu
move to sidebar
hide
Navigation
Main page
Recent changes
Random page
freem
Search
Search
Appearance
Create account
Log in
Personal tools
Create account
Log in
Pages for logged out editors
learn more
Contributions
Talk
Editing
类脑计算
(section)
Add languages
Page
Discussion
English
Read
Edit
Edit source
View history
Tools
Tools
move to sidebar
hide
Actions
Read
Edit
Edit source
View history
General
What links here
Related changes
Special pages
Page information
Appearance
move to sidebar
hide
Warning:
You are not logged in. Your IP address will be publicly visible if you make any edits. If you
log in
or
create an account
, your edits will be attributed to your username, along with other benefits.
Anti-spam check. Do
not
fill this in!
== 能量最小化模型及 Hopfield 网络 == 在1980年代,物理学和神经科学的交叉催生了一类'''能量最小化模型'''的神经网络,其中经典代表就是'''Hopfield 网络'''。Hopfield网络由约翰·霍普菲尔德在1982年提出,是一种循环(全连接)神经网络,能够作为'''联想记忆'''(内容可寻址存储)来工作 (霍普菲尔德神经网络 - 维基百科,自由的百科全书)。Hopfield网络的每个神经元与其他所有神经元相连(自身除外),连接权重是对称的(w_ij = w_ji),且没有神经元与自身相连(w_ii = 0) (霍普菲尔德神经网络 - 维基百科,自由的百科全书)。这种对称连接的设计使网络可以定义一个'''能量函数''',并保证网络状态更新时能量'''单调下降'''或维持不变 (霍普菲尔德神经网络 - 维基百科,自由的百科全书)。换言之,Hopfield网络在状态更新(神经元根据其他节点加权输入决定取1或-1)时,总会朝着某个能量极小值收敛,从而达到一个稳定状态 (霍普菲尔德神经网络 - 维基百科,自由的百科全书)。 Hopfield网络可用来存储模式:通过适当设置连接权重,特定二进制向量模式成为网络的低能量稳定态(“记忆”)。当提供一个含噪的输入时,网络动态更新会驱动状态演化,最终收敛到与输入“最接近”的记忆模式上——这实现了'''联想记忆'''和'''容错存储'''。例如,可以存储多张黑白二值图片(如文字或简单图形)在Hopfield网络的权重中,当输入部分缺损或带噪的图片数据时,网络会自动收敛恢复出完整的原始图片模式。这样的过程可以看作能量函数驱动下的优化:网络试图'''最小化能量''',等价于最大程度匹配记忆模式。 需要注意Hopfield网络的几个特点:由于其能量极小点可能有多个,网络可能收敛到'''局部极小值'''而非全局正确记忆 (霍普菲尔德神经网络 - 维基百科,自由的百科全书);存储的模式数量过多时,会出现混淆回忆或错误稳定态。同时,Hopfield网络的经典形式使用简单二元激活(+1/-1),后续也发展出连续版本和改进的能量函数。近年的'''现代 Hopfield 网络'''研究表明,通过修改能量函数,可以大幅提升存储容量,甚至将Hopfield机制融入深度网络中用作高容量记忆单元 (Hopfield Networks is All You Need)。总的来说,Hopfield网络体现了类脑计算中将'''记忆与计算融合'''的理念——以能量最优化形式模拟大脑联想记忆功能。
Summary:
Please note that all contributions to freem are considered to be released under the Creative Commons Attribution-ShareAlike 4.0 (see
Freem:Copyrights
for details). If you do not want your writing to be edited mercilessly and redistributed at will, then do not submit it here.
You are also promising us that you wrote this yourself, or copied it from a public domain or similar free resource.
Do not submit copyrighted work without permission!
Cancel
Editing help
(opens in new window)