מבוסס על המאמר:
Jacso´, P. (2008). Savvy searching:Google Scholar revisited.

Google Scholar הופיע לראשונה בנובמבר 2004 ותכניו גדלו משמעותית בזכות מאגרי מידע שהפכו נגישים ואפשרו לו לאסוף מידע ולמפתח את הטקסט המלא של מיליוני מאמרים מכתבי עת אקדמיים ומאגרים אקדמיים של פריטים ופרסומים במהדורות שונות.

במחקר קיימת היום התמחות בבדיקת Google Scholar באמצעות שימוש בקריטריונים מסורתיים להערכת מאגרי מידע כגון: גודל, דיוק, סוג המקור ובמיוחד רוחב הכיסוי של כתבי עת וספרים. Google Scholar גם נבדק כמאגר מידע לא מסורתי אשר מוסיף למקורות אחרים.
לפני הדיון בתכני המאגר חשוב בראש ובראשונה לשים לב לחסרונותיו של Google Scholar בהקשר של חיפוש ודליית מידע:

 המנוע לוקה בביצועי החיפוש הבסיסי.

 אין לו אפשרויות מיון (מעבר לדירוג הרלוונטיות המוטל בספק).

 הוא מציע מאפייני סינון רק לקטגוריות נושאים רחבות

 אפשרויות ה- and/or שלו לוקות בחסר.

 ישנם בין מאות לאלפי שמות שגויים של מחברים, המונעים בדרך כלל מן המחברים האמיתיים מלקבל קרדיט בעבור חלק מעבודותיהם (כולל עבודות שנצפות פעמים רבות) ולפיכך, מונעים מהם מלקבל h-index ראוי. לפיכך, שימוש ב- Google Scholar לשם ביצוע הערכה ביביליומטרית ומדעית למטרות השוואה ודירוג יכול להוביל להטיות, מדידות ואינדיקאטורים שאינם אקדמיים.

 מספרי עמודים, החלק הראשון או השני של ISSN , או כל מספר אחר בעל ארבע ספרות מפורש על ידי Google Scholar כשנת פרסום.

 חיפוש מוגבל בשימוש במונח "The". Google Scholar מניב רשימת תוצאות של יותר מ-1.5 ביליון תוצאות, בין אם משתמשים בה עם או בלי הסימן + או מקיפים אותה במירכאות, מכיוון שהיא אמורה להיות Stop word ללא סימנים אלה, אך ככל הנראה היא אינה כזו.
למרות הליקויים, יתרונו הגדול של Google Scholar הינו חיפוש מהיר במיוחד בטקסט מלא של פרסומים ממילוני מקורות. בנוסף, המצדדים ב- Google Scholar מדגישים את חלקו התוכני: כיסוי, מגוון מקורות, גודל ותפוצה.
כתבי העת

אחוז כתבי-העת גדל במידה ניכרת מאז היווסדו, מכיוון שכל מפרסם אקדמי רוצה להיות חלק מן העולם של גוגל. גם איכות בסיס הנתונים (source base) השתפרה באמצעות מפתוח הטקסט המלא של אלפי כתבי עת אקדמיים.
שני המפרסמים החשובים ביותר של כתבי עת שהחלו לשתף פעולה עם Google Scholar הם: Elsevier ו-American Chemical Society . גם אם אחוז קטנטן בלבד של האוספים הדיגיטליים של מפרסמים אלה (ל- Elsevier 7 מיליון פריטים ול-ACS 0.75 מיליון פריטים) מופתח עד כה על ידי Google Scholar, חלקם צפוי לעלות במהירות.
ספרים

צירוף רשומות של ספרים ל- Google Scholar בעיקר מ-Books Google מהווה יתרון אדיר, במיוחד לאור העובדה שספרים נמצאים בקושי כרשומה ממופתחת/ מתומצתת, ובטח לא כפריט ממופתח ובטקסט מלא (לחיפוש, לא לצפייה) ברוב המאגרים הרב תחומיים האחרים ברשת (מלבד Amazon.com).

כיסוי גיאוגרפי ושפתי

הכיסוי הגיאוגרפי והשפתי של Google Scholar הינו מרשים. בניגוד למאגרים אקדמיים אחרים, אשר בדרך כלל מכסים כמעט רק מקורות דוברי אנגלית שפורסמו בעיקר בארה"ב, בריטניה, אוסטרליה וקנדה (בכל מקום מכוסים גם מסמכים בצרפתית), ל- Google Scholar יש גישה לכל אוסף מסמכים אקדמי דיגיטלי ומפתחיו החליטו למפתח אוספים אקדמיים חשובים של עבודות בספרדית, פורטוגזית, גרמנית, יפנית, סינית, קוריאנית ורוסית(באמצעות תוכנה). ישנם פרסומים שיש חשיבות לקריאתם בשפת המקור ומתפרסמים אך ורק בשפה זו.

מאגרים דיגיטליים

כיסוי המאגרים הדיגיטליים הינו רחוק מלהיות מושלם. הם מהווים נכס נהדר במיוחד עבור פיסיקה, אסטרופיסיקה, רפואה, כלכלה, מדעי המחשב והמידע וטכנולוגיה. אך השימוש במאגרי מידע כאלה בטקסט מלא עדיין יכול להשתפר משמעותית. כך לדוגמא, רק כרבע מן הפריטים בגישה חופשית מ- PubMed Central (PMC) זמינים ישירות ב- Google Scholar.
כאשר משבחים את כיסוי התוכן הרחב של Google Scholar, יש לציין שעדיין ישנם פערים אדירים במיפתוח הטקסט המלא של רוב פרסומי הסדרות החשובות. לדוגמא, פחות מ-17% מתוך 430,500 מסמכים באתר האינטרנט nature.com מופתחו על ידי Google Scholar ישירות מאתר זה (אשר כולל לא רק את המגזין (Nature, ליותר מ-17% מהם יש רשומה ב-Google Scholar, אך רבות מתוכן הן רק רשומות ביבליוגרפיות הכוללות מידע מינימאלי.

גודל

למחקר עדין אין תשובה מדויקת בנושא זה. מפתחי מנוע החיפוש מסרבים לענות על השאלה ולספק כל מאפיין עובדתי אחר של מאגר המידע (כגון: מספר כתבי העת, המפרסמים, חומרים בשפה זרה, מאמרים, מסמכי ועידה, דוחות וספרים שהוא מכסה).
המאפיינים הטובים בתוכנה הם קישורי הספרייה (Find @ Haifa Library) ואפשרויות החיפוש של הספריה (More Options @ Haifa Library), המודיעים למשתמשים באם ספרייתם מציעה גישה למסמך המבוקש (במידה והספריה מנויה ומספקת מידע אודות המצאי של כתבי העת האלקטרוניים שלה).

 הכנת הסקירה: איריס ביתן טולדנו, תחום יעץ