[ تعرٌف على ] الشبكات العصبية للرسم البياني # أخر تحديث اليوم 2024/05/22

تم النشر اليوم 2024/05/22 | الشبكات العصبية للرسم البياني

معمارية البناء

يتم تنفيذ هذه الطبقات الأساسية عند بناء الشبكات العصبية للرسوم البيانية: التبديل التكافؤي: في هذه الطبقة يتم إنشاء تمثيلا مكافئا للرسم البياني من خلال تبادل الرسائل بين العقد. يتم هذا التبادل عن طريق استلام العقد للرسائل من الجيران المباشرين لها. وبهذا تمر كل رسالة من خلال قفزة واحدة بين العقد.
التجميع المحلي: تعمل هذه الطبقة على تجميع العقد القريبة المشابهة ضمن مجموعات مع الحفاظ على خصائصها وتعرف هذه العملية بالاختزال. وتشبه إلى حد كبيرعملية التجميع في الشبكات العصبية الالتفافية. ومن الأمثلة على هذه الطبقة: تجميع العقد القريبة (بالانجليزية: k-nearest neighbors) وتجميع أعلى قيم لاسقاط العقد وتجميع التركيز الذاتي.
التجميع الشامل: توفر طبقة التجميع الشامل، والمعروفة أيضًا باسم طبقة القراءة، تمثيلًا للرسم البياني بأكمله بحيث يكون هذا التمثيل ثابتا في الحجم. يجب أن تكون طبقة التجميع الشاملة ثابته التبديل، بحيث لا تُغيرالتباديل في ترتيب عقد الرسم البياني والحواف الناتج النهائي للرسم البياني. مثل إيجاد مجموع العناصر أو المتوسط أو الحد الأقصى.
عمليا، وجود هياكل مختلفة للرسم البياني (على سبيل المثال، جزيئات لها نفس الذرات ولكن بروابط مختلفة) لا يمكن تمييزها بواسطة الشبكات العصبية للرسوم البيانية. حيث تحتاج لشبكات أكثر قوة تعمل على مستوى الأشكال الهندسية مثل المجمعات البسيطة. اعتبارًا من عام 2022 ستكون إحدى المسائل البحثية تكمن في الإجابة عن ما إذا كان بإمكان البنى المستقبلية للشبكات العصبية للرسوم البيانية التغلب على وجود الرسائل البدائية أم لا. الرسوم البيانية غير المتماثلة التي لا يمكن تمييزها بواسطة الشبكات العصبية للرسوم البيانية. تشير الألوان إلى ميزات العقدة.

رابط خارجي

https://distill.pub/2021/gnn-intro/
بوابة طب

طبقات تمرير الرسالة

تحديث تمثيل العقدة في طبقة الشبكة العصبية لتمرير الرسائل. العقدة x
0
{displaystyle mathbf {x} _{0}} تتلقى الرسائل المرسلة من جميع جيرانها المباشرين x
1
{displaystyle mathbf {x} _{1}} إلى x
4
{displaystyle mathbf {x} _{4}} . الرسائل تحسب عبر وظيفة الرسائل ϕ
{displaystyle phi } ، والتي تمثل ميزات كل من المرسل والمستقبل.
هي طبقات يتم من خلالها تمرير الرسائل عبر الشبكات العصبية تكون محملة بمعلومات عن الرسم البياني. وكما ذكر سابقا تتم عملية التبادل بشكل مكافئ (مزدوج). لنفترض أن الرسم البياني G
=
(
V
,
E
)
{displaystyle G=(V,E)} ، حيث V
V هي مجموعة العقد و E
E هي مجموعة الحواف أو الروابط بين العقد. يمثل
N u
{displaystyle N_{u}} العقد المجاورة لعقدة u
∈
V
{displaystyle uin V} . بالإضافة إلى ذلك، تعبر x
u
{displaystyle mathbf {x} _{u}} عن مجموعة الخصائص للعقدة u
∈
V
{displaystyle uin V} ، و e
u
v
{displaystyle mathbf {e} _{uv}} تمثل خصائص الروابط بين (
u
,
v
)
∈
E
{displaystyle (u,v)in E} . فيمكن التعبير عن طبقة تبادل الرسائل من خلال: h
u
=
ϕ ( x u , ⨁ v
∈ N u
ψ
(
x
u
,
x
v
,
e
u
v
) ) {displaystyle mathbf {h} _{u}=phi left(mathbf {x_{u}} ,bigoplus _{vin N_{u}}psi (mathbf {x} _{u},mathbf {x} _{v},mathbf {e} _{uv})right)}
حيث ϕ
{displaystyle phi } و ψ
psi عبارة عن دالتين قابلتين للاشتقاق (على سبيل المثال، الشبكات العصبية الاصطناعية)، و ⨁
{displaystyle bigoplus } هو عامل تجميع ثابت للتبديل يمكنه قبول عدد كبير ومختلف من المدخلات (على سبيل المثال، مجموع العناصر، أو الوسط الحسابي، أو الحد الأقصى). وعلى سبيل الخصوص، ϕ
{displaystyle phi } و ψ
psi تشيران على التوالي إلى وظيفتي التحديث والتراسل. ولذلك، في المجموعة الحسابية لـطبقة تبادل الرسائل، تقوم عُقد الرسم البياني بتحديث تمثيلاتها من خلال تجميع الرسائل المستلمة من جيرانها. مخرجات طبقة أو عدة طبقات من تبادل الرسائل h
u
{displaystyle mathbf {h} _{u}} هي تمثيلات لكل عقدة u
∈
V
{displaystyle uin V} في الرسم البياني. يمكن استخدام تمثيلات العقدة في أي مهمة نهائية، مثل تصنيف العقدة / الرسم البياني أو التنبؤ بالحافة. والتي يمكن استخدامها في تصنيف العقد أو تصنيف الرسم البياني أو التنبؤ بالروابط بين هذه العقد.
تجميع هذه التمثيلات من العقد المباشرين على هذا النحو سيكدس مجموعة من طبقات تبادل الرسائل عند كل عقدة بحيث يجعلها قادرة على التواصل مع عقد أبعد. من حيث المبدأ، للتأكد من أن كل عقدة تتلقى معلومات من كل العقد الأخرى، ستحتاج كل عقدة إلى تكديس عدد من طبقات تبادل الرسائل مساوية لقيمة عدد العقد الموجودة في طريق الوصول لأبعد نقطة عن تلك العقدة باستخدام أقصر طريق في الرسم البياني (قطر الرسم البياني). ومع ذلك، فإن تكديس العديد من طبقات تبادل الرسائل قد يتسبب في حدوث مشكلات مثل التسوية الزائدة والإفراط في السحق. تشير التسوية المفرطة إلى مشكلة عدم إمكانية تمييز تمثيلات العقدة. ويشير الإفراط في السحق إلى عنق الزجاجة الذي تم إنشاؤه عن طريق الضغط على التبعيات بعيدة المدى في تمثيلات ذات حجم ثابت. يمكن للإجراءات المضادة مثل تخطي الاتصالات (كما هو الحال في الشبكات العصبية المتبقية)، وقواعد التحديث المحدود والقفز المعرفي أن يخفف من التسوية الزائدة. ويمكن أن يؤدي تعديل الطبقة النهائية لتكون طبقة متجاورة تمامًا، أي من خلال اعتبار الرسم البياني كرسم بياني كامل، على التخفيف من الانهيار المفرط في المشكلات التي تتطلب تبعيات بعيدة المدى. تم تطوير طرق أخرى لشبكة تبادل الرسائل في الأبحاث، مثل الشبكات الالتفافية للرسم البياني وشبكات تركيز الرسم البياني، التي يمكن التعبير عن تعريفاتها من حيث شكليات تبادل الرسائل. شبكة الرسم البياني الالتفافية
تم تقديم الشبكة الالتفافية للرسم البياني (GCN) لأول مرة بواسطة توماس كيبف وماكس ويلنج في عام 2017. وتمثل هذه الطبقة صورة طيفية أولية عن الرسم البياني. يعبر عن الشبكة الالتفافية للرسم البياني من خلال:
H =
σ (
D ~
−
1
2
A ~
D ~
−
1
2 Θ
) {displaystyle mathbf {H} =sigma left({tilde {mathbf {D} }}^{-{frac {1}{2}}}{tilde {mathbf {A} }}{tilde {mathbf {D} }}^{-{frac {1}{2}}}mathbf {X} mathbf {Theta } right)} H {displaystyle mathbf {H} } : مصفوفة تمثيلات العقد h
u
{displaystyle mathbf {h} _{u}} .

{displaystyle mathbf {X} } : مصفوفة ميزات العقدة x
u
{displaystyle mathbf {x} _{u}} . σ
(
⋅
)
{displaystyle sigma (cdot )} : علاقة تنشيط مثل (ReLU). A ~ {displaystyle {tilde {mathbf {A} }}} و D ~ {displaystyle {tilde {mathbf {D} }}} : تشيران على التوالي لمصفوفتي تجاور الرسم البياني ودرجة الرسم البياني (بوجود الحلقات الذاتية في كلا المصفوفتين).
Θ {displaystyle mathbf {Theta } } : مصفوفة العوامل القابلة للتدريب. يمكن تحديد A ~ = A + I {displaystyle {tilde {mathbf {A} }}=mathbf {A} +mathbf {I} } و
D ~
i
i
= ∑ j
∈
V
A
~
i
j
{displaystyle {tilde {mathbf {D} }}_{ii}=sum _{jin V}{tilde {A}}_{ij}} . تشير
I {displaystyle mathbf {I} } إلى مصفوفة الوحدة. يضمن وجود هذه المعايرة أن تكون قيم
D ~
−
1
2
A ~
D ~
−
1
2
{displaystyle {tilde {mathbf {D} }}^{-{frac {1}{2}}}{tilde {mathbf {A} }}{tilde {mathbf {D} }}^{-{frac {1}{2}}}} محددة ضمن [
0
,
1
]
{displaystyle [0,1]} لتجنب عدم الاستقرار العددي. يتمثل أحد قيود هذه الشبكات في عدم سماحها بتعيين ميزات حافة متعددة الأبعاد e
u
v
{displaystyle mathbf {e} _{uv}} . ومع ذلك، من الممكن ربط الأوزان العددية
w u
v
{displaystyle w_{uv}} بأي حافة
A u
v
= w u
v
{displaystyle A_{uv}=w_{uv}} عن طريق تعيين قيم غير صفرية في المصفوفة المجاورة مساوية لوزن الحافة المقابلة. شبكة التركيز للرسوم البيانية
تم تقديم شبكة الانتباه بالرسم البياني بواسطة بيتر فيليكوفيك وآخرين في عام 2018. شبكة التركيز للرسم البياني عبارة عن مزيج من الشبكات العصبية للرسم البياني وطبقة التركيز. يساعد وجود هذه الطبقة في الشبكات العصبية الرسومية على التركيز على المعلومات المهمة في البيانات بدلاً من التركيز على البيانات بأكملها. يمكن التعبير عن شبكة التركيز للرسوم البيانية متعددة الرؤوس على النحو التالي: h
u
=
‖
k
=
1
K
σ (
∑ v
∈ N u α u
v
W
k
x
v ) {displaystyle mathbf {h} _{u}={overset {K}{underset {k=1}{Big Vert }}}sigma left(sum _{vin N_{u}}alpha _{uv}mathbf {W} ^{k}mathbf {x} _{v}right)}
K
{displaystyle K} : عدد رؤوس التركيز. ‖
{displaystyle {Big Vert }} : تسلسل المتجه.
α i
j
{displaystyle alpha _{ij}} : هي معاملات التركيز. σ
(
⋅
)
{displaystyle sigma (cdot )} : علاقة تنشيط مثل (ReLU).
W k
{displaystyle W^{k}} : مصفوفة عوامل رؤوس التركيز القابلة للتدريب
بالنسبة للطبقة النهائية من طبقات التركيز، يتم حساب متوسط المخرجات من كل رأس تركيز قبل تطبيق وظيفة التنشيط. رسميًا، يمكن كتابة هذه الطبقة النهائية على النحو التالي: h
u
=
σ ( 1
K ∑ k
=
1
K ∑ v
∈ N u α u
v
W
k
x
v ) {displaystyle mathbf {h} _{u}=sigma left({frac {1}{K}}sum _{k=1}^{K}sum _{vin N_{u}}alpha _{uv}mathbf {W} ^{k}mathbf {x} _{v}right)}
التركيز في التعلم الآلي هو أسلوب محاكاة للانتباه المعرفي. في سياق التعلم على الرسوم البيانية، معامل الانتباه
α u
v
{displaystyle alpha _{uv}} يقيس مدى أهمية العقدة u
∈
V
{displaystyle uin V} بالنسبة إلى عقدة أخرى v
∈
V
{displaystyle vin V} . تُتُحسب معاملات التركيز المعيارية على النحو التالي:
α u
v
= exp
⁡
( LeakyReLU
( a
T
[ W h
u
‖ W h
v
‖
e
u
v
] ) ) ∑ z
∈ N u
exp
⁡
( LeakyReLU
( a
T
[ W h
u
‖ W h
z
‖
e
u
z
] ) ) {displaystyle alpha _{uv}={frac {exp({text{LeakyReLU}}left(mathbf {a} ^{T}[mathbf {W} mathbf {h} _{u}Vert mathbf {W} mathbf {h} _{v}Vert mathbf {e} _{uv}]right))}{sum _{zin N_{u}}exp({text{LeakyReLU}}left(mathbf {a} ^{T}[mathbf {W} mathbf {h} _{u}Vert mathbf {W} mathbf {h} _{z}Vert mathbf {e} _{uz}]right))}}} a {displaystyle mathbf {a} } : هو متجه الأوزان القابلة للتعلم.
⋅ T
{displaystyle cdot ^{T}} : يشير إلى التبديل.
LeakyReLU {displaystyle {text{LeakyReLU}}} : هي ReLU معدل. يتم معايرة معاملات التركيز لجعلها قابلة للمقارنة بسهولة عبر العقد المختلفة. يمكن رؤية الشبكات الالتفافية للرسوم البيانية كحالة خاصة لـشبكة التركيز حيث معاملات الانتباه غير قابلة للتعلم، ولكنها ثابتة وتساوي أوزان الحافة
w u
v
{displaystyle w_{uv}} . الشبكة العصبية للرسوم البيانية المتسلسلة ذات البوابات
تتم تقديم الشبكة العصبية لتسلسل الرسم البياني بواسطة يوجيا لي وآخرين. في عام 2015. تم توسيع وتعديل صياغة هذه الشبكة بواسطة سكارسيلي وآخرين لإخراج التسلسلات. يتم تنفيذ إطار عمل تمرير الرسائل كقاعدة تحديث لخلية وحدة متكررة ذات بوابة. يمكن التعبير عن هذه الشبكة من خلال: h
u
(
0
)
=
x
u ‖
0 {displaystyle mathbf {h} _{u}^{(0)}=mathbf {x} _{u},Vert ,mathbf {0} }
m
u
(
l
+
1
)
= ∑ v
∈ N u Θ h
v
{displaystyle mathbf {m} _{u}^{(l+1)}=sum _{vin N_{u}}mathbf {Theta } mathbf {h} _{v}}
h
u
(
l
+
1
)
= GRU (
m
u
(
l
+
1
)
,
h
u
(
l
)
)
{displaystyle mathbf {h} _{u}^{(l+1)}={text{GRU}}(mathbf {m} _{u}^{(l+1)},mathbf {h} _{u}^{(l)})}
أين ‖
{displaystyle Vert } يشير إلى تسلسل المتجه.
0 {displaystyle mathbf {0} } :: متجه صفري.
Θ {displaystyle mathbf {Theta } } :: هي مصفوفة من العوامل القابلة للتعلم.
GRU {displaystyle {text{GRU}}} : عبارة عن خلية وحدة متكررة ذات بوابة (بالإنجليزية: Gated recurrent unit). l
{displaystyle l} : فهرس التسلسل.

التطبيقات

طيّ البروتين
الشبكات العصبية للرسم البياني هي إحدى اللبنات الأساسية لبرنامج ألفا-فولد، وهو برنامج ذكاء اصطناعي طورته شركة جوجل: ديب-مايند لحل مشكلة طي البروتين في علم الأحياء. حقق هذا البرنامج المركز الأول في العديد من المسابقات. الشبكات الاجتماعية
الشبكات الاجتماعية هي مجال تطبيق رئيسي لهذه الشبكات بسبب تمثيلها الطبيعي كرسم بياني اجتماعي. يتم استخدام شبكات الرسم البياني لتطوير أنظمة التوصية على أساس كل من العلاقات الاجتماعية وعلاقات العناصر. الاستمثال التوافقي
يتم استخدام الشبكات العصبية للرسم البياني كعناصر بناء أساسية للعديد من خوارزميات التحسين التوافقي. تشمل الأمثلة على حساب المسارات الأقصر أو دوائر أويلريان لرسم بياني معين، اشتقاق مواضع رقاقة متفوقة أو منافسة للحلول البشرية المصنوعة يدويًا، وتحسين قواعد التفريع المصممة من قبل الخبراء في الفرع والربط.

طبقات التجميع المحلية

تعمل طبقات التجميع المحلية على زيادة اختزال الرسم البياني. تم تقديم واقتراح العديد من استراتيجيات التجميع المحلية القابلة للتعلم. لكل حالة، المدخل هو الرسم البياني الأولي الذي يتم تمثيله بواسطة مصفوفة

{displaystyle mathbf {X} } التي تحمل ميزات العقدة ومصفوفة
A {displaystyle mathbf {A} } التي تمثل المصفوفة المجاورة للرسم البياني. والناتج هو المصفوفة الجديدة
′ {displaystyle mathbf {X} ‘} من ميزات العقدة ومصفوفة مجاورة للرسم البياني الجديد A ′ {displaystyle mathbf {A} ‘} . تجميع أعلى قيم لإسقاط العقد
أولا نجعل
y =
p ‖ p ‖ {displaystyle mathbf {y} ={frac {mathbf {X} mathbf {p} }{Vert mathbf {p} Vert }}} بحيث
p {displaystyle mathbf {p} } متجه الاسقاط القابل للتعلم. ويتم حساب قيمة هذا الاسقاط (ليس كمتجه). يمكن بعد ذلك التعبير عن هذه الطبقة على النحو التالي:
′ =
(
⊙ sigmoid ( y ) )
i {displaystyle mathbf {X} ‘=(mathbf {X} odot {text{sigmoid}}(mathbf {y} ))_{mathbf {i} }}
A ′ =
A i , i {displaystyle mathbf {A} ‘=mathbf {A} _{mathbf {i} ,mathbf {i} }} i =
top
k
( y )
{displaystyle mathbf {i} ={text{top}}_{k}(mathbf {y} )} وهي المجموعة الفرعية من العقد ذات أعلى قيم إسقاط، وتشير ⊙
{displaystyle odot } إلى ضرب المصفوفة حسب العنصر، و
sigmoid (
⋅
)
{displaystyle {text{sigmoid}}(cdot )} هي وظيفة السيني التي تجعل متجه الإسقاط قابلا للتدريب عن طريق الانتشار المتراجع والتي تنتج مخرجات منفصلة. يتم الاحتفاظ بالعقد ذات أعلى درجات إسقاط في مصفوفة التجاور الجديدة A ′ {displaystyle mathbf {A} ‘} . تجميع التركيز الذاتي
بداية نجعل
y = GNN (
, A )
{displaystyle mathbf {y} ={text{GNN}}(mathbf {X} ,mathbf {A} )}
حيث
GNN {displaystyle {text{GNN}}} هي الطبقة المكافئة لأي من طبقات التبديل السابقة. هذه الطبقة يمكن التعبير عنها من خلال:
′ =
(
⊙ y
)
i {displaystyle mathbf {X} ‘=(mathbf {X} odot mathbf {y} )_{mathbf {i} }}
A ′ =
A i , i {displaystyle mathbf {A} ‘=mathbf {A} _{mathbf {i} ,mathbf {i} }}
حيث
i =
top
k
( y )
{displaystyle mathbf {i} ={text{top}}_{k}(mathbf {y} )} كما أشرنا لها سابقا، و ⊙
{displaystyle odot } هي ضرب المصفوفة حسب العنصر. يمكن النظر إلى طبقة تجميع التركيز الذاتي على أنها امتداد لطبقة تجمع أعلى نقاط الإسقاط. لكن تختلف عن هذه الطبقة بحسابها لدرجات التركيز الذاتي لكل من ميزات الرسم البياني وطوبولوجيا الرسم البياني.

شرح مبسط

الشبكات العصبية للرسم البياني (بالانجليزية: Graph Neural Network) هي نوع من أنواع الشبكات العصبية الاصطناعية المستخدمة في معالجة البيانات التي يمكن تمثيلها من خلال الرسوم البيانية.[1][2][3]