Part VII — Glossary (Applied Linear Algebra: Data Science)
Part VII-এর পাঁচ chapter-এ (7.1–7.5) প্রথম দেখা সব গুরুত্বপূর্ণ term এক টেবিলে — chapter অনুযায়ী সাজানো।
Chapter 7.1 — Least Squares Classification
| English Term |
বাংলা |
এক লাইনে অর্থ |
| Classification |
ক্লাসিফিকেশন (শ্রেণিবিভাজন) |
Output সংখ্যা নয়, কয়েকটা শ্রেণি/সিদ্ধান্ত: spam নাকি নয়, "৩" নাকি "৭" — feature থেকে label predict |
| Label |
লেবেল |
Categorical outcome \(y\) যা মাত্র কয়েকটা মান নেয়; classifier-এ \(\pm 1\) সংখ্যায় বদলানো হয় |
| Boolean Classification |
বুলিয়ান ক্লাসিফিকেশন |
দুই-শ্রেণির (binary) কেস: \(y \in \{-1, +1\}\), model \(\hat{f}:\mathbb{R}^n \to \{-1,+1\}\) |
| Least Squares Classifier |
লিস্ট স্কোয়ার্স ক্লাসিফায়ার |
\(\hat{f}(x) = \text{sign}(x^T\beta + v)\) — \(\pm 1\) label-এ regression চালিয়ে বানানো প্রথম ML classifier |
| Sign Function |
সাইন ফাংশন |
continuous স্কোরকে \(\pm 1\) সিদ্ধান্তে রূপ দেয়: \(\ge 0\) হলে \(+1\), নাহলে \(-1\) |
| Decision Boundary |
ডিসিশন বাউন্ডারি |
যেখানে সিদ্ধান্ত বদলায়: \(\{x : x^T\beta + v = 0\}\) — একটা hyperplane, normal \(\beta\) |
| Confusion Matrix |
কনফিউশন ম্যাট্রিক্স |
classifier-এর রিপোর্ট কার্ড: TP/FN/FP/TN — ৪ ঘরের টেবিল |
| Error Rate |
এরর রেট |
ভুল-classify হওয়া নমুনার অনুপাত: \((N_{fp} + N_{fn})/N\) |
| True Positive Rate (Recall) |
ট্রু পজিটিভ রেট (রিকল) |
আসল \(+1\)-দের কত ভাগ ধরা পড়ল: \(N_{tp}/(N_{tp}+N_{fn})\) |
| False Positive Rate |
ফলস পজিটিভ রেট |
আসল \(-1\)-দের কত ভাগ ভুলে \(+1\) বলা হলো: \(N_{fp}/(N_{fp}+N_{tn})\) |
| Decision Threshold |
ডিসিশন থ্রেশহোল্ড |
নিয়ম \(\text{sign}(\tilde{f}(x) - \alpha)\); \(\alpha\) সরালে boundary parallel সরে, TPR ও FPR-এর দর কষাকষি |
| One-vs-Others |
ওয়ান-ভার্সাস-আদারস |
\(K\)-শ্রেণির কৌশল: প্রতি শ্রেণির আলাদা স্কোর-মেশিন, রায় \(\hat{f}(x) = \operatorname{argmax}_k \tilde{f}_k(x)\) |
| Baseline Model |
বেসলাইন মডেল |
তুলনার ভিত্তিরেখা — এর চেয়ে খারাপ করলে বুঝবে গলদ আছে; least squares classifier ক্লাসিক baseline |
Chapter 7.2 — Regularized Least Squares
| English Term |
বাংলা |
এক লাইনে অর্থ |
| Overfitting |
ওভারফিটিং |
Training-এ নিখুঁত কিন্তু বাস্তবে ধোঁকা — model noise-ও মুখস্থ করে ফেলে, সাধারণীকরণ করে না |
| Multi-objective (Bi-criterion) LS |
মাল্টি-অবজেক্টিভ লিস্ট স্কোয়ার্স |
দুটো লক্ষ্য একসাথে: \(\underset{x}{\min}\; J_1(x) + \lambda J_2(x)\) — রান্নায় স্বাদ বনাম স্বাস্থ্য |
| Weight \(\lambda\) |
ওয়েট (ল্যাম্বডা) |
দুই লক্ষ্যের আপেক্ষিক গুরুত্বের knob; ছোট = fit-কে পাত্তা, বড় = penalty-কে |
| Optimal Trade-off Curve |
অপটিমাল ট্রেড-অফ কার্ভ |
\(\lambda\) ঘোরালে \((J_1, J_2)\)-র যে বক্ররেখা — একটা কমাতে অন্যটা বাড়ে |
| Pareto Optimal |
পারেটো অপটিমাল |
trade-off curve-এর বিন্দু: \(J_1\) কমাতে চাইলে \(J_2\) বাড়াতেই হবে, বিনা মূল্যে উন্নতি অসম্ভব |
| Ridge Regression |
রিজ রিগ্রেশন |
\(\underset{x}{\min}\; \|Ax-b\|^2 + \lambda\|x\|^2\) — fit + "parameter ছোট রাখো" penalty |
| Tikhonov Regularization |
টিখোনভ রেগুলারাইজেশন |
Ridge-এরই আরেক নাম (\(\ell_2\)-regularized LS); ill-posed inverse problem-এ অপরিহার্য |
| Regularization Term (Penalty) |
রেগুলারাইজেশন টার্ম |
\(\lambda\|x\|^2\) পদ — model-এর জটিলতার ওপর জরিমানা বসায় |
| Regularization Parameter |
রেগুলারাইজেশন প্যারামিটার |
penalty-র ওজন \(\lambda\); এটাই তোমার প্রথম hyperparameter |
| Closed-form Solution |
ক্লোজড-ফর্ম সলিউশন |
Ridge-এর বন্ধ-রূপ: \(\hat{x}(\lambda) = (A^TA + \lambda I)^{-1}A^Tb\) — diagonal-এ পাহাড় (ridge) |
| Bias-Variance Trade-off |
বায়াস-ভ্যারিয়েন্স ট্রেড-অফ |
\(\lambda\) ছোট = low bias/high variance (over-fit), বড় = high bias/low variance (under-fit) |
| Regularization Path |
রেগুলারাইজেশন পাথ |
\(\lambda\)-র সাথে coefficient-দের শূন্যের দিকে সংকোচন-বক্ররেখা |
| Shrinkage |
শ্রিংকেজ |
Ridge coefficient-দের শূন্যের দিকে টানে (কিন্তু ঠিক শূন্য করে না) |
| Weight Decay |
ওয়েট ডিকে |
neural network training-এ loss-এ \(\lambda\|W\|^2\) যোগ — সেটাই এই ridge penalty |
| Multicollinearity |
মাল্টিকলিনিয়ারিটি |
দুই feature প্রায় একই তথ্য বহন করলে \(A^TA\) প্রায় singular; ridge এর ওষুধ |
Chapter 7.3 — Constrained Least Squares
| English Term |
বাংলা |
এক লাইনে অর্থ |
| Constrained Least Squares |
কনস্ট্রেইনড লিস্ট স্কোয়ার্স |
\(\underset{x}{\min}\;\|Ax-b\|^2\) শর্তসাপেক্ষে \(Cx = d\) — কঠোর, অলঙ্ঘনীয় শর্ত |
| Equality Constraint |
ইকুয়ালিটি কনস্ট্রেইন্ট |
\(Cx = d\) সমতা-শর্ত; সমাধানকে একটা affine subspace-এ বেঁধে রাখে |
| Objective |
অবজেক্টিভ |
যা minimize করছি — এখানে fit-error \(\|Ax-b\|^2\) |
| Lagrange Multiplier |
ল্যাগ্রাঞ্জ মাল্টিপ্লায়ার |
নতুন ভেরিয়েবল \(z\) (প্রতি constraint-এ একটা) যা দিয়ে constraint-কে objective-এ মেশানো হয় |
| Lagrangian |
ল্যাগ্রাঞ্জিয়ান |
যৌথ ফাংশন \(L(x,z) = \|Ax-b\|^2 + z^T(Cx-d)\) — constrained সমস্যাকে "মুক্ত" করে |
| KKT System |
কে-কে-টি সিস্টেম |
\(\begin{bmatrix}2A^TA & C^T\\ C & 0\end{bmatrix}\begin{bmatrix}x\\ z\end{bmatrix} = \begin{bmatrix}2A^Tb\\ d\end{bmatrix}\) — এক বড় linear ব্যবস্থা, iteration নয় |
| Lagrange Condition |
ল্যাগ্রাঞ্জ কন্ডিশন |
Optimum-এ objective-এর gradient \(\parallel\) constraint normal — fig01-এর দুই সমান্তরাল তীর |
| Least Norm Problem |
লিস্ট নর্ম প্রবলেম |
\(\underset{x}{\min}\;\|x\|^2\) s.t. \(Cx = d\) — under-determined সমস্যার সবচেয়ে মিতব্যয়ী সমাধান |
| Least Norm Formula |
লিস্ট নর্ম সূত্র |
\(\hat{x} = C^T(CC^T)^{-1}d\) — origin থেকে constraint-এর লম্ব পাদবিন্দু |
| Shadow Price |
শ্যাডো প্রাইস |
Multiplier \(z_i\)-র অর্থনৈতিক মানে: constraint সামান্য শিথিল করলে objective কতটা ভালো হবে (প্রান্তিক মূল্য) |
| Spline Fitting |
স্প্লাইন ফিটিং |
টুকরো-টুকরো বহুপদীকে seam-এ মসৃণ (মান ও ঢাল মেলানো) জোড়া — constrained LS-এর ক্লাসিক প্রয়োগ |
| Minimum Energy Control |
মিনিমাম এনার্জি কন্ট্রোল |
লক্ষ্যে ঠিক পৌঁছানোর least-norm force — মৃদু, ছড়ানো ধাক্কা = কম জ্বালানি |
| English Term |
বাংলা |
এক লাইনে অর্থ |
| Unsupervised Learning |
আনসুপারভাইজড লার্নিং |
label ছাড়াই শুধু data-র গঠন থেকে structure/দল খুঁজে বের করা |
| k-means Clustering |
কে-মিনস ক্লাস্টারিং |
label-বিহীন data-কে \(k\) দলে ভাগ করা, প্রতি দলের একটা প্রতিনিধি বেছে |
| Representative (Centroid) |
রিপ্রেজেন্টেটিভ (সেন্ট্রয়েড) |
প্রতি cluster-এর প্রতিনিধি \(z_j\) — সবসময় সেই দলের গড় (তাই k-means) |
| Clustering Objective |
ক্লাস্টারিং অবজেক্টিভ |
\(J^{clust} = \frac1N\sum_i\|x^{(i)} - z_{c_i}\|^2\) — প্রতিনিধি থেকে দূরত্ব-বর্গের গড় |
| Lloyd's Algorithm |
লয়েডস অ্যালগরিদম |
পালা করে assign (নিকটতমে বরাদ্দ) ও update (গড়ে সরানো) — প্রতি ধাপে \(J^{clust}\) কমে |
| Local Minimum |
লোকাল মিনিমাম |
k-means সবসময় সেরা (global) নয়; খারাপ random init-এ খারাপ জায়গায় আটকায় |
| Graph |
গ্রাফ |
node (বিন্দু) আর edge (সংযোগ) — বন্ধুত্ব-network, রাস্তা, web-link সব এতে ধরা |
| Adjacency Matrix |
অ্যাডজেসেন্সি ম্যাট্রিক্স |
\(A_{ij} = 1\) যদি node \(i\)–\(j\)-এ edge থাকে; undirected হলে symmetric |
| Degree Matrix |
ডিগ্রি ম্যাট্রিক্স |
Diagonal matrix \(D\), \(D_{ii} =\) node \(i\)-র degree (কয়টা edge লাগানো) |
| Graph Laplacian |
গ্রাফ ল্যাপ্লাসিয়ান |
\(L = D - A\) — row sum \(0\), PSD; \(f^TLf = \sum_{(i,j)}(f_i-f_j)^2\) "পার্থক্যের শক্তি" |
| Connected Component |
কানেক্টেড কম্পোনেন্ট |
graph-এর এক-একটা বিচ্ছিন্ন টুকরো; \(L\)-এর zero eigenvalue-র সংখ্যা = component-সংখ্যা |
| Spectral Clustering |
স্পেকট্রাল ক্লাস্টারিং |
Laplacian-এর eigenvector দিয়ে ক্লাস্টারিং — নন-গোলাকার দলও খুঁজতে পারে |
| PageRank |
পেজর্যাঙ্ক |
web-কে Markov matrix ভেবে power iteration-এ গুরুত্ব-eigenvector: \(Gr = r\) — Google-এর জন্ম |
| Power Iteration |
পাওয়ার ইটারেশন |
বারবার \(r \leftarrow Gr\) — dominant eigenvector-এ পৌঁছানোর algorithm, গোটা matrix invert না করেই |
| Google Matrix |
গুগল ম্যাট্রিক্স |
\(G = \alpha M + \frac{1-\alpha}{N}\mathbf{1}\mathbf{1}^T\) — link matrix + teleport; সব entry \(>0\) |
Chapter 7.5 — Markov Matrices
| English Term |
বাংলা |
এক লাইনে অর্থ |
| Markov Matrix (Stochastic) |
মার্কভ ম্যাট্রিক্স (স্টোক্যাস্টিক) |
entry \(\geq 0\) আর প্রতি column-এর যোগফল \(1\); \(P_{ij} =\) অবস্থা \(j \to i\)-এর সম্ভাবনা |
| Probability Vector |
প্রবাবিলিটি ভেক্টর |
entry \(\geq 0\), যোগফল \(1\) — বর্তমান অবস্থার সম্ভাবনা-বণ্টন |
| Markov Chain |
মার্কভ চেইন |
বিবর্তন \(p_{k+1} = Pp_k\) — "আজকের অবস্থা → কালকের সম্ভাবনা" নিয়মের শৃঙ্খল |
| Steady State (Stationary) |
স্টেডি স্টেট (স্টেশনারি) |
যে বণ্টন আর বদলায় না: \(P\pi = \pi\) — eigenvalue-\(1\) eigenvector, "দীর্ঘকালীন জলবায়ু" |
| Perron-Frobenius |
পেরন-ফ্রোবেনিয়াস |
সব entry ধনাত্মক matrix-এ একটাই ধনাত্মক dominant eigenvector নিশ্চিত করে (steady state-এর গ্যারান্টি) |
| Second Eigenvalue \(\lambda_2\) |
সেকেন্ড আইগেনভ্যালু |
দ্বিতীয় বৃহত্তম \(\vert \lambda_2\vert\) — convergence-এর গতি ঠিক করে: \(\|p_k - \pi\| \approx \vert \lambda_2\vert ^k\) |
| Mixing (Mixing Time) |
মিক্সিং (মিক্সিং টাইম) |
প্রাথমিক অবস্থার স্মৃতি কত দ্রুত মরে; \(\vert \lambda_2\vert\) ছোট = দ্রুত mixing |
| Dynamic Equilibrium |
ডায়নামিক ইকুইলিব্রিয়াম |
steady state-এ অবস্থা বদলাতেই থাকে, শুধু বণ্টন স্থির — রেস্তোরাঁয় লোক ঢোকে-বেরোয়, সংখ্যা স্থির |
| Matrix Exponential |
ম্যাট্রিক্স এক্সপোনেনশিয়াল |
\(e^{At} = \sum_k \frac{(At)^k}{k!}\) — discrete power \(P^k\)-এর অবিচ্ছিন্ন যমজ |
| Continuous-time Dynamics |
কন্টিনিউয়াস-টাইম ডায়নামিক্স |
\(\dot{x} = Ax\)-এর সমাধান \(x(t) = e^{At}x_0\); সময় discrete না হয়ে মসৃণ প্রবাহ |
| Eigenvalue → Decay/Rotation |
আইগেনভ্যালু-নিয়ম |
\(A\)-র eigenvalue \(\lambda\) হলে \(e^{At}\)-র eigenvalue \(e^{\lambda t}\): Re → decay/grow, Im → rotation |
| Spiral |
স্পাইরাল |
complex eigenvalue \(a \pm bi\): বাস্তব অংশ সংকোচন + কাল্পনিক অংশ ঘূর্ণন = origin-মুখী কুণ্ডলী |
| Dangling Node / Spider Trap |
ড্যাংলিং নোড / স্পাইডার ট্র্যাপ |
outgoing link-হীন বা বেরোনো-অসম্ভব node — teleport term ছাড়া PageRank বিকৃত করে |