Langkau ke kandungan

Merangkak dan Mengindeks: Panduan Praktikal Carian Google

Gunakan bukti teknikal untuk mendiagnosis cara Google menemui, merangkak, merender, mengindeks dan memaparkan halaman, bukan mengulang permintaan pengindeksan.

Pembangun mengurus tiga skrin yang saling bersambung
Jack Lee
9 Minit Bacaan
Kongsi
Dalam Halaman Ini

Keterlihatan organik bergantung pada beberapa sistem berasingan. Google mesti menemui URL, memilih untuk merangkaknya, menerima respons yang boleh digunakan, memberikan sebarang JavaScript yang diperlukan, memproses halaman, memilih Canonical dan akhirnya menganggap halaman itu cukup relevan untuk digunakan untuk pertanyaan. Melepasi satu peringkat tidak pernah menjamin tahap seterusnya.

Diagnosis peringkat pertama gagal

Jangan mulakan dengan "minta pengindeksan." Mula-mula kenal pasti sama ada masalahnya ialah penemuan, akses perangkak, tindak balas pelayan, pemaparan, kebolehindeksan, penduaan, pemilihan kanonik, nilai kandungan atau perkaitan pertanyaan. Setiap peringkat mempunyai bukti yang berbeza dan pembetulan yang berbeza.

Saluran carian dari URL ke hasil

Google menerangkan Carian sebagai tiga peringkat luas—merangkak, mengindeks dan menyajikan—tetapi diagnosis teknikal mendapat manfaat daripada memisahkan peralihan di dalamnya. URL boleh diketahui tanpa diambil, diambil tanpa berjaya dipaparkan, diproses tanpa dipilih sebagai Canonical, atau diindeks tanpa muncul untuk pertanyaan yang anda semak.

pentasKeputusan atau aktivitiBukti terbaikKesimpulan palsu biasa
PenemuanGoogle mengetahui bahawa URL wujudPautan dalaman, Peta Laman, ubah hala, pautan luaran"Ia berada dalam Peta Laman, jadi ia telah dirangkak"
Penjadualan rangkakGoogle memutuskan sama ada dan bila untuk memintanyaLog, Perangkaan Statistik, rangkak terakhir“Diketahui bermakna beratur serta-merta”
MengambilCrawler meminta URL dan sumberRespons HTTP, pengepala, pemasaan"Pelayar berfungsi, jadi Googlebot berfungsi"
PenyampaianHTML dan JavaScript menghasilkan dokumen yang diberikanHTML sumber, HTML yang diberikan, tangkapan skrin"Google sentiasa melihat setiap keadaan pihak pelanggan"
Pemprosesan indeksKandungan, metadata, arahan dan pendua dianalisisPengindeksan Halaman dan Pemeriksaan URL“HTTP 200 menjamin pengindeksan”
Pemilihan kanonikSeorang wakil dipilih daripada URL yang serupaDiisytiharkan dan Canonical yang dipilih oleh Google"Kanonik ialah perintah"
MelayanHalaman yang diindeks boleh dipilih untuk pertanyaanData prestasi mengikut halaman/pertanyaan“Berindeks bermaksud kedudukan untuk kata kunci saya”

Mulakan dengan kelayakan teknikal

Google menyenaraikan satu set kecil keperluan teknikal: Googlebot tidak boleh disekat, halaman mesti berfungsi dengan status kejayaan HTTP dan ia mesti mengandungi kandungan boleh diindeks. Memenuhi keperluan ini hanya membolehkan pengindeksan; ia tidak menjamin merangkak, mengindeks atau kedudukan.

Pintu kelayakan minimum
  • URL pilihan tepat adalah awam dan boleh diselesaikan.
  • Googlebot dibenarkan oleh fail robots.txt untuk hos tersebut.
  • Halaman akhir mengembalikan respons HTTP 200 yang stabil.
  • Kandungan utama hadir dan boleh digunakan pada mudah alih.
  • Tiada tag meta robot atau X-Robots-Tag menyekat pengindeksan secara tidak sengaja.
  • Halaman tidak bergantung pada log masuk, persetujuan atau interaksi untuk kandungan penting.
  • Canonical yang diisytiharkan adalah sah dan konsisten dengan halaman tersebut.
  • Kandungan tidak melanggar spam atau dasar undang-undang.

Penemuan memerlukan laluan boleh merangkak yang tahan lama

Google mencari URL melalui halaman yang diketahui sebelum ini, pautan standard, ubah hala, Peta laman dan pautan dari tapak lain. Peta Laman ialah inventori yang berguna, bukan pengganti untuk navigasi. Halaman penting harus mempunyai pautan sauh HTML biasa daripada hab yang berkaitan supaya pengguna dan perangkak boleh mencapainya tanpa menyerahkan borang atau mencetuskan acara skrip.

Gunakan panduan seni bina tapak dan panduan penghubung dalaman untuk menghubungkan perkhidmatan, hab topik dan artikel sokongan.

Sumber penemuankekuatanSoalan audit
Biasalah <a> dengan destinasi yang sahLaluan berulang utamaBolehkah pengguna mencapainya dari hab boleh diindeks?
Peta Laman XMLPetunjuk inventori URL pilihanAdakah URL muktamad, Canonical dan 200?
Ubah halaLaluan lama atau alternatif menunjukkannyaAdakah destinasi itu relevan dan langsung?
Pautan luarPenemuan dan rujukan bebasAdakah ia menyelesaikan tanpa akses atau ralat penghalaan?
sauh yang dimasukkan JavaScriptBoleh bekerja selepas renderingAdakah href sebenar terdapat dalam HTML yang diberikan?
Butang, onclick atau laluan serpihan sahajaTidak boleh dipercayai sebagai penemuan URLBolehkah ia menjadi laluan dan sauh standard?

Ditemui tidak bermakna merangkak serta-merta

Selepas penemuan, Google secara algoritma memutuskan perkara yang hendak dirangkak, kekerapan dan bilangan URL yang boleh dikendalikan oleh hos. Penjadualan mencerminkan permintaan rangkak, kapasiti hos, perubahan yang diketahui, kepentingan, pertindihan dan inventori URL yang lebih luas. Tiada kekerapan rangkak tetap untuk setiap halaman.

URL baharu boleh kekal sebagai “Ditemui – pada masa ini tidak diindeks” apabila Google mengetahuinya tetapi masih belum mengambilnya. Tingkatkan kepentingan dalaman yang bermakna, kebolehpercayaan pelayan dan kualiti inventori sebelum menganggap penyelesaian adalah penyerahan manual berulang.

Isyarat atau keadaanKesan yang mungkinRespons yang bertanggungjawab
Pautan dalaman yang berkaitanKepentingan dan penemuan yang lebih jelasPautan dari hab yang sesuai, bukan setiap halaman
Peta Laman dan lastmod yang tepatPetunjuk penjadualan yang lebih bersihKemas kini hanya selepas perubahan substantif
Pelayan cepat stabilKapasiti merangkak selamat yang lebih tinggiPantau kependaman dan 5xx mengikut templat
Banyak URL pendua/penapisAktiviti merangkak merebak merentas inventori bernilai rendahKawal penjanaan URL dan Canonicals
Permintaan rendah atau kandungan tidak berubahKurang kerap merangkak semulaJangan buat kemas kini yang tidak bermakna
Pemindahan tapak atau pelancaran utamaPerubahan sementara dalam permintaan merangkakMenyediakan ubah hala terus dan Peta Laman baharu

robots.txt mengawal permintaan, bukan pengindeksan

Peraturan robots.txt memberitahu perangkak yang mematuhi URL yang mereka mungkin minta pada protokol, hos dan port yang tepat. Ia bukan alat penyingkiran indeks atau keselamatan. URL yang disekat mungkin masih diketahui dan muncul dengan maklumat terhad apabila halaman lain memautkannya kerana Google tidak boleh merangkak halaman untuk membaca kandungannya atau peraturan noindex.

Jika halaman awam mesti dialih keluar daripada Carian, benarkan merangkak dan gunakan noindex, alih keluarnya dengan respons 4xx yang betul atau lindungi kandungan peribadi dengan pengesahan. Lihat Peta tapak dan panduan robots.txt.

MatlamatKawalan yang betulkenapa
Kurangkan merangkak ruang URL yang tidak pentingrobots.txt serta kawalan penjanaan URLMenghentikan perangkak yang dibenarkan daripada meminta laluan
Kecualikan halaman HTML yang boleh diakses daripada CarianRobot meta noindexCrawler boleh mengambil dan membaca peraturan
Kecualikan kandungan PDF atau bukan HTMLX-Robots-Tag noindexDigunakan melalui pengepala respons
Alih keluar URL awam yang dipadamkan404 atau 410Memberi isyarat bahawa kandungan tidak lagi wujud
Lindungi kandungan sulitPengesahan/keizinanMenghalang pengambilan semula tanpa kebenaran

Respons HTTP mentakrifkan perkara yang memasuki pemprosesan

ResponMakna crawler/indeksTindakan audit
200 OKKandungan boleh memasuki pemprosesan; pengindeksan tidak dijaminSahkan kandungan dan arahan yang berguna
301/308Isyarat bergerak kekalIkuti satu 200 URL akhir yang berkaitan
302/303/307Penghalaan sementaraSahkan sumber harus kekal jangka panjang
304 Tidak Diubah SuaiGunakan semula perwakilan yang dirangkak sebelum iniPastikan pengesah mencerminkan perubahan kandungan sebenar
404/410Sumber tidak wujud dan boleh meninggalkan indeksSimpan apabila penyingkiran disengajakan
429Isyarat lebihan pelayanKawal beban dan cuba semula tingkah laku
5xx, rangkaian atau ralat DNSHos tidak boleh melayani permintaan dengan pastiAnggap corak yang berterusan sebagai mendesak
200 dengan kandungan kosong/ralatBoleh dikelaskan sebagai lembut 404Kembalikan status jujur atau pulihkan kandungan

Kejayaan pelayar tidak mencukupi

Uji respons tanpa hanya bergantung pada lawatan pelayar visual. Peraturan CDN, tembok api, perlindungan bot, geolokasi, kuki, pengesanan peranti, ubah hala dan kegagalan asal terputus-putus boleh menghasilkan hasil yang berbeza untuk Telefon Pintar Googlebot dan pengguna biasa.

Ambil bukti untuk ditangkap
  • URL yang diminta tepat, URL akhir dan setiap lompatan ubah hala.
  • Status HTTP, pengepala respons, jenis kandungan dan masa tindak balas.
  • Hasil robots.txt untuk hos dan perangkak yang betul.
  • Sumber HTML sebelum JavaScript dilaksanakan.
  • HTML yang diberikan dan sumber dimuatkan penting.
  • Kandungan mudah alih, metadata, pariti data kanonik dan berstruktur.
  • Sampel berulang untuk mendedahkan variasi 5xx atau CDN berselang-seli.
  • Log pelayan yang mengesahkan perangkak mencapai aplikasi yang dimaksudkan.

Rendering ialah lapisan diagnostik yang berasingan

Google memaparkan halaman dengan versi Chromium terkini dan boleh melaksanakan JavaScript, tetapi pemaparan menambah kebergantungan: skrip, API, CORS, CSP, penghalaan pelanggan, penghidratan dan ketersediaan sumber. Kandungan penting tidak seharusnya menunggu klik, leret, menaip, persetujuan untuk penjejakan yang tidak penting atau acara tatal.

HTML sumber yang sudah mengandungi kandungan utama, tajuk, pautan boleh rangkak dan metadata yang stabil adalah lebih berdaya tahan untuk pengguna dan perangkak. Perenderan sisi pelayan atau penjanaan statik boleh membantu, tetapi hanya apabila HTML yang dihantar adalah betul dan penghidratan tidak menggantikannya dengan keadaan ralat.

LapisanApa yang hendak dibandingkanContoh kegagalan
Respons HTTPStatus, pengepala dan kandungan mentah200 shell apl tanpa kandungan utama
HTML sumberTajuk, H1, kandungan, pautan, Kanonik, robotMetadata ditambahkan hanya selepas panggilan API gagal
Diberikan DOMKandungan dan sauh yang boleh dilihat akhirPenghidratan mengalih keluar teks yang diberikan pelayan
Sumber/APIJS, CSS, imej, data dan kebenaranAPI yang disekat mengembalikan halaman kosong
Paparan diindeksPerkara yang diproses oleh Google pada rangkak terakhirPembetulan langsung belum ditunjukkan dalam data indeks

Kandungan mudah alih ialah garis dasar pengindeksan

Google menggunakan versi mudah alih kandungan tapak untuk pengindeksan dan kedudukan. Reka bentuk responsif biasanya paling mudah untuk mengekalkan konsisten, tetapi sebarang konfigurasi mesti menyediakan kandungan utama yang setara, metadata, data berstruktur, imej dan kawalan indeks pada mudah alih.

Akordion mudah alih boleh diterima apabila kandungannya wujud dalam halaman yang diberikan. Kandungan utama yang dimuatkan hanya selepas interaksi pengguna bukanlah strategi pengindeksan yang boleh dipercayai.

Semakan pariti mudah alih
  • Salinan utama, tajuk dan pautan penting adalah setara.
  • Tajuk, perihalan, robot dan nilai Kanonik sepadan dengan niat.
  • Data berstruktur menerangkan entiti yang kelihatan sama.
  • Imej mengekalkan teks alt yang berguna dan URL yang boleh diakses.
  • Tiada peraturan noindex, nofollow atau penyekatan mudah alih sahaja muncul.
  • Kandungan utama yang malas dimuatkan tidak memerlukan interaksi pengguna.

Pengindeksan ialah analisis dan pemilihan

Selepas merangkak dan memaparkan, Google memproses teks, imej, video, tajuk, atribut alt, data berstruktur, bahasa, tempat dan isyarat lain. Ia menilai kandungan utama, mengesan pendua dan mungkin menyimpan maklumat tentang Canonical yang dipilih dan kelompoknya. Tidak setiap halaman yang diproses diindeks.

Halaman 200 yang sah secara teknikal boleh kekal tidak diindeks kerana ia menduplikasi halaman lain, mempunyai Canonical yang tidak serasi, menyerupai 404 lembut, menawarkan sedikit nilai unik atau tidak dipilih oleh sistem Google. Permintaan berulang tidak boleh menukar halaman yang tidak dibezakan menjadi sumber yang lebih kukuh.

Gerbang pengindeksanKeadaan sihatKegagalan untuk menyiasat
Kebenaran indeksTiada noindex yang tidak disengajakanKonflik meta/tajuk atau peraturan pementasan
Kandungan utamaBerguna, kelihatan dan khusus templatKandungan kosong, nipis, berulang atau seperti ralat
KanonikKeutamaan 200 akhir yang konsisten sendiriSasaran yang berbeza, ubah hala atau sasaran noindex
Bahasa/tempatanHalaman dan kelompok ganti bersetujuTemplat terjemahan sebahagian atau bahasa campuran
Pariti mudah alih/renderKandungan penting kekal dalam pemaparanAPI atau interaksi menyembunyikan kandungan
Konteks tapakPautan hab dan dalaman yang berkaitan menyokong halaman tersebutLaluan yatim atau hampir pendua

Pemilihan kanonik berlaku di dalam pengindeksan

Google mengelompokkan halaman yang serupa dan memilih satu wakil. Ubah hala dan rel=canonical ialah isyarat keutamaan yang kuat; Kemasukan peta tapak adalah lebih lemah. Pautan dalaman, HTTPS, persamaan kandungan dan isyarat lain juga penting. Google boleh memilih Canonical yang berbeza apabila sasaran yang diisytiharkan tidak setara atau konflik bukti.

Gunakan Panduan kanonik dan ubah hala sebelum menukar URL atau menyatukan halaman.

Keadaan yang diperhatikanBiasanya bermaksudTindakan
Halaman ganti dengan Canonical yang betulPenyatuan pendua yang dijangkakanSahkan ia disengajakan
Pendua tanpa Canonical yang dipilih penggunaGoogle menghimpunkan varian tanpa pengisytiharan yang jelasJajarkan isyarat URL pilihan
Google memilih Canonical yang berbezaHalaman lain kelihatan lebih mewakiliBandingkan kandungan dan semua isyarat Kanonik
Halaman dengan ubah halaSumber bukan destinasi yang boleh diindeksPeriksa sasaran akhir secara berasingan
Sasaran kanonik tidak diindeksSasaran mempunyai isu akses, kualiti atau pemilihan sendiriDiagnosis sasaran dari peringkat pertama gagal

Pengindeksan dan penyajian adalah hasil yang berbeza

Halaman yang diindeks layak untuk dipaparkan, tidak berhak mendapat kedudukan. Apabila pengguna mencari, Google menilai perkaitan dan kualiti bersama-sama dengan konteks seperti bahasa, lokasi dan peranti. Ciri carian juga berubah mengikut pertanyaan.

Jika Pemeriksaan URL menyatakan halaman diindeks tetapi tidak menerima tera, siasat niat carian, permintaan pertanyaan, persaingan, kegunaan halaman, konteks dalaman dan pengukuran—bukan merangkak secara lalai. Gunakan panduan niat mencari dan Panduan pengukuran SEO.

BuktiApa yang dibuktikanApa yang tidak dibuktikan
URL diindeksGoogle menyimpan perwakilan halaman yang dipilihKedudukan untuk pertanyaan sasaran
KesanHasilnya ditunjukkan untuk pertanyaan/konteksSatu klik atau penukaran
klikSeorang pengguna memilih hasilnyaLawatan itu berguna
Sesi pendaratan organikAnalitis merekodkan lawatanAtribusi Konsol Carian akan sepadan dengan tepat
Lead/penukaranTindakan perniagaan yang ditentukan telah berlakuSEO sahaja menyebabkan hasilnya

Tafsir Pengindeksan Halaman menyatakan tanpa mengejar 100 peratus

negeriMaknanyaPeraturan keutamaan
Ditemui – pada masa ini tidak diindeksDikenali tetapi belum merangkakUtamakan kohort URL penting dengan penemuan yang lemah atau inventori yang melimpah
Dirangkak – pada masa ini tidak diindeksDiambil tetapi tidak dipilihSemak nilai, penduaan, kanonik dan corak 404 lembut
Dikecualikan oleh noindexPeraturan pengindeksan telah dibacaBetulkan hanya apabila halaman itu sepatutnya terbuka
Disekat oleh robots.txtKandungan tidak dapat diambilBetulkan apabila Google mesti mengakses kandungan atau membaca noindex
Halaman dengan ubah halaSumber diselesaikan di tempat lainDijangka apabila penghalaan disengajakan
Ganti/penduaSatu lagi Canonical telah dipilihDijangka untuk varian yang disengajakan
Ralat pelayanHos atau halaman dikembalikan 5xxMendesak apabila berterusan atau meluas
Lembut 404Respons kelihatan kosong, tiada atau seperti ralat walaupun 200Pulihkan kandungan yang berguna atau kembalikan status jujur

Gunakan setiap laporan Konsol Carian untuk tugas sebenar mereka

Alat/laporanPenggunaan terbaikHad penting
Pengindeksan HalamanCorak dan jumlah merentas URL yang diketahuiSenarai contoh boleh menunjukkan subset sahaja
Data indeks Pemeriksaan URLKeadaan terakhir diproses bagi satu URL tepatMencerminkan kitaran rangkak/indeks terakhir
Ujian langsung Pemeriksaan URLSemakan pengambilan dan render semasa selepas pembetulanTidak menguji pengelompokan pendua atau menjamin pengindeksan
Peta lamanMengambil/menghuraikan status dan menyerahkan inventoriPenyerahan adalah petunjuk, bukan kelulusan indeks
Statistik MerangkakStatus hos, permintaan, respons, jenis dan tujuanLaporan lanjutan; contoh tidak menyeluruh
PrestasiPertanyaan, halaman, negara, peranti dan penampilan carianAtribusi kanonik dan penapisan privasi mempengaruhi jumlah keseluruhan
PenyingkiranMenyembunyikan sementara URL yang dimilikiBukan indeks kekal atau penyelesaian Canonical

Baca Pemeriksaan URL dalam susunan yang betul

Diagnosis satu URL
  1. Periksa URL pilihan tepat, termasuk protokol, hos, laluan dan garis miring.
  2. Semak sama ada Google mengetahui URL tersebut dan catatkan tarikh rangkak terakhir.
  3. Sahkan rangkak dibenarkan, pengambilan halaman dan respons yang diperhatikan.
  4. Sahkan pengindeksan dibenarkan dan periksa peraturan robot.
  5. Bandingkan Canonical yang diisytiharkan pengguna dan yang dipilih oleh Google.
  6. Semak isyarat penemuan yang merujuk dan perkaitan Peta Laman apabila tersedia.
  7. Gunakan ujian langsung untuk mengesahkan respons semasa dan output yang diberikan.
  8. Bandingkan bukti diindeks dengan hasil langsung; jangan mengelirukan mereka.
  9. Betulkan templat penjanaan atau peraturan penghalaan, bukan sahaja halaman sampel.
  10. Minta pengindeksan sekali selepas pembetulan yang bermakna dan pantau kohort.

Perangkaan Statistik dan log pelayan menjawab soalan yang berbeza

Perangkaan Statistik meringkaskan Google merangkak mengikut hos, respons, jenis fail, tujuan dan jenis Googlebot. URL contohnya adalah perwakilan, bukan eksport lengkap. Log pelayan atau CDN memberikan bukti peringkat permintaan merentas semua perangkak yang direkodkan tetapi tidak membuktikan bahawa Google mengindeks atau meletakkan kedudukan halaman.

soalanBukti terbaikBerhati-hati
Adakah Googlebot menjangkau hos?Status hos Crawl Stats dan log yang disahkanSahkan Googlebot tulen apabila diperlukan
Tindak balas yang manakah meningkat?Kumpulan respons Perangkaan Perangkaan serta logSatu lonjakan mungkin mencerminkan pelancaran atau pergerakan
Corak URL tepat manakah yang menggunakan permintaan?Log pelayan/CDN penuhLaporan sampel tidak boleh menginventori setiap URL
Adakah ubah hala mencipta permintaan tambahan?Log peringkat hop dan output perangkakSetiap permintaan ubah hala dikira secara berasingan
Adakah URL diindeks?Data indeks Pemeriksaan URLRangka yang dilog bukan pengindeksan
Adakah keterlihatan berubah?Prestasi Carian mengikut kohort halaman/pertanyaanJumlah Konsol Carian dan analitis berbeza

Kebanyakan tapak tidak memerlukan projek belanjawan rangkak lanjutan

Google meletakkan pengurusan belanjawan rangkak untuk tapak yang sangat besar atau kerap dikemas kini. Konsol Carian juga menyatakan bahawa tapak di bawah kira-kira seribu halaman biasanya tidak memerlukan pengoptimuman peringkat Perangkaan Perangkaan. Untuk tapak perkhidmatan biasa, kejelasan teknikal dan nilai kandungan biasanya lebih penting.

Tapak e-dagang, pasaran, penerbit dan laman muka yang besar mungkin memerlukan kawalan yang lebih mendalam. Google mentakrifkan belanjawan rangkak daripada kapasiti rangkak dan permintaan rangkak: perkara yang boleh diminta oleh perangkaknya tanpa membahayakan hos dan perkara yang mereka mahu rangkak semula.

Keadaan tapakKeutamaanTindakan biasa
Laman web perkhidmatan kecilKebimbangan bajet merangkak yang rendahBetulkan pautan yang rosak, ralat, anak yatim dan pendua
Tapak baharu dengan sedikit isyarat luaranPenemuan dan nilaiHab yang kukuh, pautan dan Peta Laman yang bersih
E-dagang bermuka besarInventori dan log URLGabungan kawalan, keadaan kosong dan laluan pendua
Penerbit yang kerap dikemas kiniKesegaran dan kapasiti tindak balasKemas kini yang tepat, pelayan yang stabil dan hab topik
PenghijrahanPermintaan merangkak sementara dan ubah halaPeta one-hop, Peta Laman baharu dan ketersediaan kedua-dua hos
Kegagalan 5xx/rangkaian yang berterusanKecemasan kapasiti merangkakBetulkan infrastruktur sebelum tweak kandungan

Urus inventori URL di sumbernya

Jangan cuba menyelesaikan penapis tak terhingga, ID sesi, kalendar, halaman carian dalaman atau laluan pendua melalui pembersihan Konsol Carian berulang. Halang URL yang tidak perlu daripada dijana atau dipautkan, tentukan tingkah laku Canonical, kembalikan status jujur ​​dan dedahkan laluan yang bertujuan sahaja.

Binaan semasa SEOWithJack memisahkan 710 dokumen HTML daripada 459 URL Peta Laman yang boleh diindeks, mengekalkan 27 laluan artikel WordPress asal dan mengaudit setiap sasaran dalaman yang dihasilkan. Pembezaan itu disengajakan: fail awam, respons ubah hala dan Canonical boleh diindeks ialah inventori berkaitan, bukan satu nombor yang mesti sepadan.

InventoriHarus mengandungiHarus mengecualikan
Graf tapak boleh dirangkakHalaman awam dan sumber yang bergunaDestinasi rosak dan laluan acara sahaja
Set Canonical boleh indeksHalaman akhir yang unik bertujuan untuk CarianUbah hala, noindex, ralat dan pendua
Peta Laman XML200 URL Kanonik pilihanHasil carian, parameter dan URL bersara
Peta ubah halaSetiap sumber dan hasil lama yang diketahuiKeputusan catch-all yang tidak diketahui
QA merangkakSemua templat, tempat dan kes tepiPensampelan halaman utama sahaja

Gerbang keluaran untuk halaman yang boleh dirangkak dan boleh diindeks

Sebelum pelancaran pengeluaran
  • Setiap halaman pendaratan yang dimaksudkan mempunyai URL akhir yang stabil dan HTTP 200.
  • Robots.txt tersedia pada setiap hos pengeluaran dan membenarkan rangkak yang diperlukan.
  • Noindex pementasan sementara tidak bocor ke dalam pengeluaran.
  • Sumber dan HTML yang diberikan mengandungi kandungan utama dan metadata yang setara.
  • Mudah alih termasuk kandungan bermakna, pautan dan data berstruktur yang sama.
  • Kanonik, hreflang, pautan dalaman dan Peta Laman menggunakan URL akhir.
  • Laluan yang dialih keluar mengembalikan ubah hala yang berkaitan, 404 atau 410—bukan halaman ralat dengan 200.
  • Ubah hala diselesaikan secara langsung tanpa gelung atau rantai yang boleh dielakkan.
  • Custom 404, borang, telefon dan tindakan WhatsApp berfungsi.
  • Halaman perwakilan lulus pemeriksaan peringkat URL selepas pelancaran.
  • Pemantauan meliputi ketersediaan pelayan, kohort pengindeksan dan penukaran.

Aliran kerja penyelesaian masalah yang diterajui oleh peringkat

simptomPeringkat pertama untuk diujiBukti pertama
URL tiada dalam semua laporanPenemuanPautan dalaman dan inventori Peta Laman
Ditemui, bukan merangkakPenjadualan/inventoriKepentingan pautan, kesihatan pelayan dan pertumbuhan URL
Gagal merangkakMengambilStatus, DNS, rangkaian, tembok api dan log
Halaman langsung kosong untuk GooglePenyampaianSumber berbanding kegagalan HTML dan API yang dipaparkan
Dirangkak, tidak diindeksPemprosesan indeksNilai kandungan, soft 404, noindex dan pendua
Kanonik yang berbeza dipilihPengelompokan kanonikKandungan tiga URL dan perbandingan isyarat
Diindeks tetapi tiada teraPenyajian/perkaitanNiat pertanyaan halaman dan kegunaan kompetitif
Kesan jatuh selepas penghijrahanPenghalaan dan pemindahanKohort lama/baru, ubah hala, Kanonik dan log
Trafik wujud tetapi petunjuk jatuhPenghantaran penukaranBorang, panggilan, WhatsApp dan acara analitis

Merangkak dan mengindeks mitos untuk dialih keluar

  • "Peta Laman yang diserahkan menjamin merangkak dan pengindeksan."
  • "Permintaan pengindeksan berulang kali menjadikan Google merangkak lebih pantas."
  • "HTTP 200 bermaksud halaman diindeks."
  • "Halaman yang diindeks mesti diberi kedudukan untuk kata kunci sasarannya."
  • "robots.txt menghalang URL daripada muncul dalam Carian."
  • "Google sentiasa menunggu untuk setiap permintaan JavaScript."
  • "Pemeriksaan URL Langsung menunjukkan keputusan Kanonik yang diindeks."
  • "Setiap URL yang tidak diindeks ialah ralat SEO."
  • "Sesuatu tapak harus mencapai 100 peratus pengindeksan setiap URL yang ditemui."
  • "Tapak perniagaan kecil memerlukan manipulasi belanjawan rangkak lanjutan."
  • "Menukar tarikh penerbitan menjamin merangkak semula."
  • "Log pelayan membuktikan bahawa halaman diindeks dan diberi kedudukan."

Soalan lazim

Apakah perbezaan antara merangkak dan pengindeksan?

Crawling meminta URL dan sumbernya. Pengindeksan sedang memproses kandungan yang diambil, arahan, pendua dan isyarat untuk memutuskan perkara yang mungkin disimpan dan diwakili dalam Carian.

Berapa lama Google mengambil masa untuk mengindeks halaman?

Tiada masa yang tetap. Google mengatakan merangkak semula boleh mengambil masa beberapa hari hingga minggu, dan permintaan tidak menjamin pengindeksan. Penemuan, permintaan, kesihatan pelayan, pertindihan dan kegunaan semuanya penting.

Adakah Peta Laman menjamin pengindeksan?

Tidak. Ia membantu penemuan dan menyampaikan URL pilihan, tetapi setiap halaman mesti lulus akses, pemprosesan, keputusan Kanonik dan kualiti.

Mengapa halaman dirangkak tetapi tidak diindeks?

Punca biasa termasuk pendua, nilai Canonical yang berbeza, nipis atau berulang, tingkah laku lembut-404, masalah pemaparan atau halaman yang tidak dipilih oleh Google untuk disimpan.

Bolehkah halaman diindeks apabila robots.txt menyekatnya?

URL kadangkala boleh muncul berdasarkan maklumat luaran kerana robots.txt menyekat pengambilan, bukan penemuan URL. Google tidak boleh membaca kandungan halaman atau peraturan noindexnya semasa disekat.

Adakah noindex menjimatkan belanjawan rangkak?

Noindex mesti dirangkak untuk dibaca dan boleh terus dilawati semula. Gunakannya untuk kawalan indeks, bukan sebagai pembaikan utama untuk ruang URL yang tidak terhingga.

Perlukah saya meminta pengindeksan selepas setiap pengeditan?

Tidak. Gunakannya untuk beberapa URL baharu yang penting atau tetap dengan bermakna. Untuk penerbitan biasa dan perubahan yang lebih besar, kekalkan pautan yang boleh dirangkak dan Peta Laman yang bersih.

Apakah perbezaan antara data indeks Pemeriksaan URL dan ujian langsung?

Data indeks menunjukkan paparan terakhir diproses Google. Ujian langsung menyemak keadaan pengambilan dan pemaparan semasa tetapi tidak menghasilkan semula setiap keputusan pengindeksan, termasuk pengelompokan pendua.

Adakah saya perlu mengoptimumkan belanjawan rangkak?

Biasanya bukan untuk tapak perkhidmatan kecil atau sederhana. Pertimbangkan kerja lanjutan apabila inventori yang besar, berubah pantas atau bermuka membuat penemuan bermakna dan kelewatan kesegaran.

Apakah yang perlu saya semak dahulu apabila trafik organik menurun?

Ketersediaan teknikal yang berasingan, liputan indeks, perubahan kanonik, permintaan kedudukan/pertanyaan dan penjejakan penukaran. Penurunan trafik bukanlah masalah merangkak secara automatik.

Rujukan rasmi

Perlukan langkah praktikal seterusnya?Cari peringkat pertama yang sebenarnya gagal.

Kongsi kohort URL yang terjejas, keadaan Konsol Carian, keluaran terbaru dan sebarang bukti pelayan. Jack boleh memisahkan masalah penemuan, pengambilan, pemaparan, pengindeksan, Kanonik dan perkaitan pertanyaan sebelum mengesyorkan perubahan.

Bincangkan merangkak dan pengindeksan di WhatsApp

Kongsi Artikel Ini