What Is Log File and Log File Analysis?
লগ ফাইল হল একটা ফাইল যা সার্ভারে জমা থাকে এবং ওয়েবসাইট এক্সেস করার জন্য ক্রলার বা ইউজারের প্রতিটা সিঙ্গেল রিকোয়েস্ট রেকর্ড করে রাখে।এই তথ্য বিশ্লেষণ করে insights বুঝা যায় যে, কিভাবে সার্চ ইঞ্জিন আপনার সাইট বা পেজসমূহ ক্রল করছে।
লগ ফাইল এনালাইসিস হল technical SEO এর একটি কাজ যা দিয়ে সঠিকভাবে বুঝা যায় কিভাবে Googlebot (and other web crawlers and users) আপনার ওয়েবসাইটের সাথে ইন্টারঅ্যাক্ট করে। লগ ফাইল আপনাকে একটা valuable insights দিবে যা দিয়ে আপনি বুঝতে পারবেন আপনার SEO strategy কেমন হবে এবংএই ডাটা থেকে crawling এবং indexing জনিত কোন সমস্যা থাকলে তা বের করতে এবং সমাধান করতে পারবেন।
Log File Contents
লগ ফাইল সার্ভারে জমা থাকে এবং bots এবং Usres থেকে যত requests যায় তার তথ্যসমূহ জমা রাখে। লগ ফাইল থেকে বুঝতে পারবেন কিভাবে users, search engines, and other crawlers আপনার সাইটের সাথে interact করছে।
লগ ফাইলে নিম্নোক্ত ডাটাগুলো থাকে –
- The URL of the page or resource being requested
- The HTTP status code of the request
- The IP address of the request server
- A timestamp of the hit (time and date)
- The user agent making the request (e.g., Googlebot)
- The method of the request (GET/POST)
- Client IP
- The time is taken to download the resource
What Is Log File Analysis Used For in SEO?
এসইও পারপাসে লগ ফাইল থেকে আপনি বেশ কিছু ডাটা পাবেন। গুরুত্বপূর্ণ কিছু পয়েন্ট এখানে তুলে ধরা হলো –
- Googlebot কত ঘন ঘন আপনার সাইটের গুরুত্বপূর্ণ পেজগুলোকে ক্রল করছে (অথবা তারা আদৌ ক্রল করা হচ্ছে কিনা) এবং ঐ সকল পেজগুলোকে চিহ্নিত করা যা প্রায়শই ক্রল করা হয় না।
- সাইটের সর্বাধিক ক্রল করা পেজসমূহ এবং ফোল্ডারগুলি চিহ্নিত করা
- Irrelevant পেজসমূহের জন্য সাইটের crawl budget নষ্ট হচ্ছে কি না
- প্যারামিটার যুক্ত URLs খুঁজে বের করা যেগুলো unnecessarily ক্রল করা হয়েছে।
- বিভিন্ন পেজের জন্য status code গুলো পর্যবেক্ষণ করা এবং কোন সমস্যা থাকলে তা চিহ্নিত করা।
- যদি কোন পেজ unnecessarily large এবং slow হয় তা খুঁজে বের করা।
- Finding static resources that are being crawled too frequently
- Finding frequently crawled redirect chains
- Spotting sudden increases or decreases in crawler activity
How To Do a Log File Analysis
লগ ফাইল এনালাইসিস করার জন্য আপনার লাগবে –
- সাইটের সার্ভার লগ ফাইল
- যে কোন লগ ফাইল এনালাইসিস টুলস যেমন – Semrush Log File Analyzer (https://www.semrush.com/log-file-analyzer/) , screaming frog log file analyzer (https://www.screamingfrog.co.uk/log-file-analyser/)
- Excel pivot tables
Where To Get Your Log File
লগ ফাইল সার্ভার থেকে কিভাবে এক্সেস করবেন –
- Server control panel
- Command-line
- Using an FTP client (Filezilla)
If you use FTP then you can find log files in the location –
- Apache: /var/log/access_log
- Nginx: logs/access.log
- IIS: %SystemDrive%\inetpub\logs\LogFiles
Log file finding challenges.
সার্ভার থেকে লগ ফাইল পেতে আপনি নিম্নোক্ত সমস্যার সম্মুখীন হতে পারেন। তবে ডেভলপার বা সার্ভার এডমিন এর হেল্প নিয়ে সমস্যার সমাধান করতে পারবেন।
- সার্ভার এডমিন যদি log files এক্সেস বন্ধ করে রাখে তবে আপনি এটা পাবেন না।
- ফাইল সাইজ বেশি হলে
- আপনার ক্লাইন্ট যদি সার্ভারের এক্সেস না দেয়
- লগ ফাইল যদি শুধুমাত্র কিছুদিনের ডাটা সেভ রাখে
- CDN এর কারণে কোন সমস্যা থাকলে
- লগ ফাইলের যদি কোন Custom formats থাকে।
Semrush Log File Analyzer
Key Points –
1. Make Sure Your Log File Is in the Correct Format
– %h %l %u %t \”%r\” %>s %b \”%{Referer}i\” \”%{User-agent}i\”
2. Download Log File From Your Server
3.Upload Your Log File to the Tool
4. Start The Log File Analyzer
5. Analyze Your Log File Data