-
Effektive Information Retrieval Verfahren in Theorie und Praxis : ausgewählte und erweiterte Beiträge des Vierten Hildesheimer Evaluierungs- und Retrievalworkshop (HIER 2005), Hildesheim, 20.7.2005 (2006)
0.06
0.060254686 = product of:
0.12050937 = sum of:
0.063807994 = weight(_text_:juli in 973) [ClassicSimilarity], result of:
0.063807994 = score(doc=973,freq=2.0), product of:
0.44098085 = queryWeight, product of:
6.548176 = idf(docFreq=172, maxDocs=44421)
0.06734408 = queryNorm
0.14469561 = fieldWeight in 973, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
6.548176 = idf(docFreq=172, maxDocs=44421)
0.015625 = fieldNorm(doc=973)
0.05670138 = weight(_text_:und in 973) [ClassicSimilarity], result of:
0.05670138 = score(doc=973,freq=120.0), product of:
0.14936237 = queryWeight, product of:
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.06734408 = queryNorm
0.37962294 = fieldWeight in 973, product of:
10.954452 = tf(freq=120.0), with freq of:
120.0 = termFreq=120.0
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.015625 = fieldNorm(doc=973)
0.5 = coord(2/4)
- Abstract
- Information Retrieval hat sich zu einer Schlüsseltechnologie in der Wissensgesellschaft entwickelt. Die Anzahl der täglichen Anfragen an Internet-Suchmaschinen bildet nur einen Indikator für die große Bedeutung dieses Themas. Der Sammelbandband informiert über Themen wie Information Retrieval-Grundlagen, Retrieval Systeme, Digitale Bibliotheken, Evaluierung und Multilinguale Systeme, beschreibt Anwendungsszenarien und setzt sich mit neuen Herausforderungen an das Information Retrieval auseinander. Die Beiträge behandeln aktuelle Themen und neue Herausforderungen an das Information Retrieval. Die intensive Beteiligung der Informationswissenschaft der Universität Hildesheim am Cross Language Evaluation Forum (CLEF), einer europäischen Evaluierungsinitiative zur Erforschung mehrsprachiger Retrieval Systeme, berührt mehrere der Beiträge. Ebenso spielen Anwendungsszenarien und die Auseinandersetzung mit aktuellen und praktischen Fragestellungen eine große Rolle.
- Content
- Inhalt: Jan-Hendrik Scheufen: RECOIN: Modell offener Schnittstellen für Information-Retrieval-Systeme und -Komponenten Markus Nick, Klaus-Dieter Althoff: Designing Maintainable Experience-based Information Systems Gesine Quint, Steffen Weichert: Die benutzerzentrierte Entwicklung des Produkt- Retrieval-Systems EIKON der Blaupunkt GmbH Claus-Peter Klas, Sascha Kriewel, André Schaefer, Gudrun Fischer: Das DAFFODIL System - Strategische Literaturrecherche in Digitalen Bibliotheken Matthias Meiert: Entwicklung eines Modells zur Integration digitaler Dokumente in die Universitätsbibliothek Hildesheim Daniel Harbig, René Schneider: Ontology Learning im Rahmen von MyShelf Michael Kluck, Marco Winter: Topic-Entwicklung und Relevanzbewertung bei GIRT: ein Werkstattbericht Thomas Mandl: Neue Entwicklungen bei den Evaluierungsinitiativen im Information Retrieval Joachim Pfister: Clustering von Patent-Dokumenten am Beispiel der Datenbanken des Fachinformationszentrums Karlsruhe Ralph Kölle, Glenn Langemeier, Wolfgang Semar: Programmieren lernen in kollaborativen Lernumgebungen Olga Tartakovski, Margaryta Shramko: Implementierung eines Werkzeugs zur Sprachidentifikation in mono- und multilingualen Texten Nina Kummer: Indexierungstechniken für das japanische Retrieval Suriya Na Nhongkai, Hans-Joachim Bentz: Bilinguale Suche mittels Konzeptnetzen Robert Strötgen, Thomas Mandl, René Schneider: Entwicklung und Evaluierung eines Question Answering Systems im Rahmen des Cross Language Evaluation Forum (CLEF) Niels Jensen: Evaluierung von mehrsprachigem Web-Retrieval: Experimente mit dem EuroGOV-Korpus im Rahmen des Cross Language Evaluation Forum (CLEF)
- Footnote
- Rez. in: Information - Wissenschaft und Praxis 57(2006) H.5, S.290-291 (C. Schindler): "Weniger als ein Jahr nach dem "Vierten Hildesheimer Evaluierungs- und Retrievalworkshop" (HIER 2005) im Juli 2005 ist der dazugehörige Tagungsband erschienen. Eingeladen hatte die Hildesheimer Informationswissenschaft um ihre Forschungsergebnisse und die einiger externer Experten zum Thema Information Retrieval einem Fachpublikum zu präsentieren und zur Diskussion zu stellen. Unter dem Titel "Effektive Information Retrieval Verfahren in Theorie und Praxis" sind nahezu sämtliche Beiträge des Workshops in dem nun erschienenen, 15 Beiträge umfassenden Band gesammelt. Mit dem Schwerpunkt Information Retrieval (IR) wird ein Teilgebiet der Informationswissenschaft vorgestellt, das schon immer im Zentrum informationswissenschaftlicher Forschung steht. Ob durch den Leistungsanstieg von Prozessoren und Speichermedien, durch die Verbreitung des Internet über nationale Grenzen hinweg oder durch den stetigen Anstieg der Wissensproduktion, festzuhalten ist, dass in einer zunehmend wechselseitig vernetzten Welt die Orientierung und das Auffinden von Dokumenten in großen Wissensbeständen zu einer zentralen Herausforderung geworden sind. Aktuelle Verfahrensweisen zu diesem Thema, dem Information Retrieval, präsentiert der neue Band anhand von praxisbezogenen Projekten und theoretischen Diskussionen. Das Kernthema Information Retrieval wird in dem Sammelband in die Bereiche Retrieval-Systeme, Digitale Bibliothek, Evaluierung und Multilinguale Systeme untergliedert. Die Artikel der einzelnen Sektionen sind insgesamt recht heterogen und bieten daher keine Überschneidungen inhaltlicher Art. Jedoch ist eine vollkommene thematische Abdeckung der unterschiedlichen Bereiche ebenfalls nicht gegeben, was bei der Präsentation von Forschungsergebnissen eines Institutes und seiner Kooperationspartner auch nur bedingt erwartet werden kann. So lässt sich sowohl in der Gliederung als auch in den einzelnen Beiträgen eine thematische Verdichtung erkennen, die das spezielle Profil und die Besonderheit der Hildesheimer Informationswissenschaft im Feld des Information Retrieval wiedergibt. Teil davon ist die mehrsprachige und interdisziplinäre Ausrichtung, die die Schnittstellen zwischen Informationswissenschaft, Sprachwissenschaft und Informatik in ihrer praxisbezogenen und internationalen Forschung fokussiert.
Im ersten Kapitel "Retrieval-Systeme" werden verschiedene Information RetrievalSysteme präsentiert und Verfahren zu deren Gestaltung diskutiert. Jan-Hendrik Scheufen stellt das Meta-Framework RECOIN zur Information Retrieval Forschung vor, das sich durch eine flexible Handhabung unterschiedlichster Applikationen auszeichnet und dadurch eine zentrierte Protokollierung und Steuerung von Retrieval-Prozessen ermöglicht. Dieses Konzept eines offenen, komponentenbasierten Systems wurde in Form eines Plug-Ins für die javabasierte Open-Source-Plattform Eclipse realisiert. Markus Nick und Klaus-Dieter Althoff erläutern in ihrem Beitrag, der übrigens der einzige englischsprachige Text im Buch ist, das Verfahren DILLEBIS zur Erhaltung und Pflege (Maintenance) von erfahrungsbasierten Informationssystemen. Sie bezeichnen dieses Verfahren als Maintainable Experience-based Information System und plädieren für eine Ausrichtung von erfahrungsbasierten Systemen entsprechend diesem Modell. Gesine Quint und Steffen Weichert stellen dagegen in ihrem Beitrag die benutzerzentrierte Entwicklung des Produkt-Retrieval-Systems EIKON vor, das in Kooperation mit der Blaupunkt GmbH realisiert wurde. In einem iterativen Designzyklus erfolgte die Gestaltung von gruppenspezifischen Interaktionsmöglichkeiten für ein Car-Multimedia-Zubehör-System. Im zweiten Kapitel setzen sich mehrere Autoren dezidierter mit dem Anwendungsgebiet "Digitale Bibliothek" auseinander. Claus-Peter Klas, Sascha Kriewel, Andre Schaefer und Gudrun Fischer von der Universität Duisburg-Essen stellen das System DAFFODIL vor, das durch eine Vielzahl an Werkzeugen zur strategischen Unterstützung bei Literaturrecherchen in digitalen Bibliotheken dient. Zusätzlich ermöglicht die Protokollierung sämtlicher Ereignisse den Einsatz des Systems als Evaluationsplattform. Der Aufsatz von Matthias Meiert erläutert die Implementierung von elektronischen Publikationsprozessen an Hochschulen am Beispiel von Abschlussarbeiten des Studienganges Internationales Informationsmanagement der Universität Hildesheim. Neben Rahmenbedingungen werden sowohl der Ist-Zustand als auch der Soll-Zustand des wissenschaftlichen elektronischen Publizierens in Form von gruppenspezifischen Empfehlungen dargestellt. Daniel Harbig und Rene Schneider beschreiben in ihrem Aufsatz zwei Verfahrensweisen zum maschinellen Erlernen von Ontologien, angewandt am virtuellen Bibliotheksregal MyShelf. Nach der Evaluation dieser beiden Ansätze plädieren die Autoren für ein semi-automatisiertes Verfahren zur Erstellung von Ontologien.
"Evaluierung", das Thema des dritten Kapitels, ist in seiner Breite nicht auf das Information Retrieval beschränkt sondern beinhaltet ebenso einzelne Aspekte der Bereiche Mensch-Maschine-Interaktion sowie des E-Learning. Michael Muck und Marco Winter von der Stiftung Wissenschaft und Politik sowie dem Informationszentrum Sozialwissenschaften thematisieren in ihrem Beitrag den Einfluss der Fragestellung (Topic) auf die Bewertung von Relevanz und zeigen Verfahrensweisen für die Topic-Erstellung auf, die beim Cross Language Evaluation Forum (CLEF) Anwendung finden. Im darauf folgenden Aufsatz stellt Thomas Mandl verschiedene Evaluierungsinitiativen im Information Retrieval und aktuelle Entwicklungen dar. Joachim Pfister erläutert in seinem Beitrag das automatisierte Gruppieren, das sogenannte Clustering, von Patent-Dokumenten in den Datenbanken des Fachinformationszentrums Karlsruhe und evaluiert unterschiedliche Clusterverfahren auf Basis von Nutzerbewertungen. Ralph Kölle, Glenn Langemeier und Wolfgang Semar widmen sich dem kollaborativen Lernen unter den speziellen Bedingungen des Programmierens. Dabei werden das System VitaminL zur synchronen Bearbeitung von Programmieraufgaben und das Kennzahlensystem K-3 für die Bewertung kollaborativer Zusammenarbeit in einer Lehrveranstaltung angewendet. Der aktuelle Forschungsschwerpunkt der Hildesheimer Informationswissenschaft zeichnet sich im vierten Kapitel unter dem Thema "Multilinguale Systeme" ab. Hier finden sich die meisten Beiträge des Tagungsbandes wieder. Olga Tartakovski und Margaryta Shramko beschreiben und prüfen das System Langldent, das die Sprache von mono- und multilingualen Texten identifiziert. Die Eigenheiten der japanischen Schriftzeichen stellt Nina Kummer dar und vergleicht experimentell die unterschiedlichen Techniken der Indexierung. Suriya Na Nhongkai und Hans-Joachim Bentz präsentieren und prüfen eine bilinguale Suche auf Basis von Konzeptnetzen, wobei die Konzeptstruktur das verbindende Elemente der beiden Textsammlungen darstellt. Das Entwickeln und Evaluieren eines mehrsprachigen Question-Answering-Systems im Rahmen des Cross Language Evaluation Forum (CLEF), das die alltagssprachliche Formulierung von konkreten Fragestellungen ermöglicht, wird im Beitrag von Robert Strötgen, Thomas Mandl und Rene Schneider thematisiert. Den Schluss bildet der Aufsatz von Niels Jensen, der ein mehrsprachiges Web-Retrieval-System ebenfalls im Zusammenhang mit dem CLEF anhand des multilingualen EuroGOVKorpus evaluiert.
Abschließend lässt sich sagen, dass der Tagungsband einen gelungenen Überblick über die Information Retrieval Projekte der Hildesheimer Informationswissenschaft und ihrer Kooperationspartner gibt. Die einzelnen Beiträge sind sehr anregend und auf einem hohen Niveau angesiedelt. Ein kleines Hindernis für den Leser stellt die inhaltliche und strukturelle Orientierung innerhalb des Bandes dar. Der Bezug der einzelnen Artikel zum Thema des Kapitels wird zwar im Vorwort kurz erläutert. Erschwert wird die Orientierung im Buch jedoch durch fehlende Kapitelüberschriften am Anfang der einzelnen Sektionen. Außerdem ist zu erwähnen, dass einer der Artikel einen anderen Titel als im Inhaltsverzeichnis angekündigt trägt. Sieht der Leser von diesen formalen Mängeln ab, wird er reichlich mit praxisbezogenen und theoretisch fundierten Projektdarstellungen und Forschungsergebnissen belohnt. Dies insbesondere, da nicht nur aktuelle Themen der Informationswissenschaft aufgegriffen, sondern ebenso weiterentwickelt und durch die speziellen interdisziplinären und internationalen Bedingungen in Hildesheim geformt werden. Dabei zeigt sich anhand der verschiedenen Projekte, wie gut die Hildesheimer Informationswissenschaft in die Community überregionaler Informationseinrichtungen und anderer deutscher informationswissenschaftlicher Forschungsgruppen eingebunden ist. Damit hat der Workshop bei einer weiteren Öffnung der Expertengruppe das Potential zu einer eigenständigen Institution im Bereich des Information Retrieval zu werden. In diesem Sinne lässt sich auf weitere fruchtbare Workshops und deren Veröffentlichungen hoffen. Ein nächster Workshop der Universität Hildesheim zum Thema Information Retrieval, organisiert mit der Fachgruppe Information Retrieval der Gesellschaft für Informatik, kündigt sich bereits für den 9. bis 13- Oktober 2006 an."
-
Hodges, P.R.: Keyword in title indexes : effectiveness of retrieval in computer searches (1983)
0.05
0.046581417 = product of:
0.18632567 = sum of:
0.18632567 = weight(_text_:having in 5069) [ClassicSimilarity], result of:
0.18632567 = score(doc=5069,freq=2.0), product of:
0.40279543 = queryWeight, product of:
5.981156 = idf(docFreq=304, maxDocs=44421)
0.06734408 = queryNorm
0.4625814 = fieldWeight in 5069, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
5.981156 = idf(docFreq=304, maxDocs=44421)
0.0546875 = fieldNorm(doc=5069)
0.25 = coord(1/4)
- Abstract
- A study was done to test the effectiveness of retrieval using title word searching. It was based on actual search profiles used in the Mechanized Information Center at Ohio State University, in order ro replicate as closely as possible actual searching conditions. Fewer than 50% of the relevant titles were retrieved by keywords in titles. The low rate of retrieval can be attributes to three sources: titles themselves, user and information specialist ignorance of the subject vocabulary in use, and to general language problems. Across fields it was found that the social sciences had the best retrieval rate, with science having the next best, and arts and humanities the lowest. Ways to enhance and supplement keyword in title searching on the computer and in printed indexes are discussed.
-
Kilgour, F.: ¬An experiment using coordinate title word searches (2004)
0.05
0.046581417 = product of:
0.18632567 = sum of:
0.18632567 = weight(_text_:having in 3065) [ClassicSimilarity], result of:
0.18632567 = score(doc=3065,freq=2.0), product of:
0.40279543 = queryWeight, product of:
5.981156 = idf(docFreq=304, maxDocs=44421)
0.06734408 = queryNorm
0.4625814 = fieldWeight in 3065, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
5.981156 = idf(docFreq=304, maxDocs=44421)
0.0546875 = fieldNorm(doc=3065)
0.25 = coord(1/4)
- Abstract
- This study, the fourth and last of a series designed to produce new information to improve retrievability of books in libraries, explores the effectiveness of retrieving a known-item book using words from titles only. From daily printouts of circulation records at the Walter Royal Davis Library of the University of North Carolina at Chapel Hill, 749 titles were taken and then searched an the 4-million entry catalog at the library of the University of Michigan. The principal finding was that searches produced titles having personal authors 81.4% of the time and anonymous titles 91.5% of the time; these figures are 15 and 5%, respectively, lower than the lowest findings presented in the previous three articles of this series (Kilgour, 1995; 1997; 2001).
-
Kantor, P.; Kim, M.H.; Ibraev, U.; Atasoy, K.: Estimating the number of relevant documents in enormous collections (1999)
0.03
0.033272445 = product of:
0.13308978 = sum of:
0.13308978 = weight(_text_:having in 690) [ClassicSimilarity], result of:
0.13308978 = score(doc=690,freq=2.0), product of:
0.40279543 = queryWeight, product of:
5.981156 = idf(docFreq=304, maxDocs=44421)
0.06734408 = queryNorm
0.3304153 = fieldWeight in 690, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
5.981156 = idf(docFreq=304, maxDocs=44421)
0.0390625 = fieldNorm(doc=690)
0.25 = coord(1/4)
- Abstract
- In assessing information retrieval systems, it is important to know not only the precision of the retrieved set, but also to compare the number of retrieved relevant items to the total number of relevant items. For large collections, such as the TREC test collections, or the World Wide Web, it is not possible to enumerate the entire set of relevant documents. If the retrieved documents are evaluated, a variant of the statistical "capture-recapture" method can be used to estimate the total number of relevant documents, providing the several retrieval systems used are sufficiently independent. We show that the underlying signal detection model supporting such an analysis can be extended in two ways. First, assuming that there are two distinct performance characteristics (corresponding to the chance of retrieving a relevant, and retrieving a given non-relevant document), we show that if there are three or more independent systems available it is possible to estimate the number of relevant documents without actually having to decide whether each individual document is relevant. We report applications of this 3-system method to the TREC data, leading to the conclusion that the independence assumptions are not satisfied. We then extend the model to a multi-system, multi-problem model, and show that it is possible to include statistical dependencies of all orders in the model, and determine the number of relevant documents for each of the problems in the set. Application to the TREC setting will be presented
-
Fraser, L.; Locatis, C.: Effects of link annotations on search performance in layered and unlayered hierarchically organized information spaces (2001)
0.03
0.033272445 = product of:
0.13308978 = sum of:
0.13308978 = weight(_text_:having in 937) [ClassicSimilarity], result of:
0.13308978 = score(doc=937,freq=2.0), product of:
0.40279543 = queryWeight, product of:
5.981156 = idf(docFreq=304, maxDocs=44421)
0.06734408 = queryNorm
0.3304153 = fieldWeight in 937, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
5.981156 = idf(docFreq=304, maxDocs=44421)
0.0390625 = fieldNorm(doc=937)
0.25 = coord(1/4)
- Abstract
- The effects of link annotations on user search performance in hypertext environments having deep (layered) and shallow link structures were investigated in this study. Four environments were tested-layered-annotated, layered-unannotated, shallow-annotated, and shallow-unannotated. A single document was divided into 48 sections, and layered and unlayered versions were created. Additional versions were created by adding annotations to the links in the layered and unlayered versions. Subjects were given three queries of varying difficulty and then asked to find the answers to the queries that were contained within the hypertext environment to which they were randomly assigned. Correspondence between the wording links and queries was used to define difficulty level. The results of the study confirmed previous research that shallow link structures are better than deep (layered) link structures. Annotations had virtually no effect on the search performance of the subjects. The subjects performed similarly in the annotated and unannotated environments, regardless of whether the link structures were shallow or deep. An analysis of question difficulty suggests that the wording in links has primacy over the wording in annotations in influencing user search behavior.
-
Hemminger, B.M.; Saelim, B.; Sullivan, P.F.; Vision, T.J.: Comparison of full-text searching to metadata searching for genes in two biomedical literature cohorts (2007)
0.03
0.033272445 = product of:
0.13308978 = sum of:
0.13308978 = weight(_text_:having in 2327) [ClassicSimilarity], result of:
0.13308978 = score(doc=2327,freq=2.0), product of:
0.40279543 = queryWeight, product of:
5.981156 = idf(docFreq=304, maxDocs=44421)
0.06734408 = queryNorm
0.3304153 = fieldWeight in 2327, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
5.981156 = idf(docFreq=304, maxDocs=44421)
0.0390625 = fieldNorm(doc=2327)
0.25 = coord(1/4)
- Abstract
- Researchers have traditionally used bibliographic databases to search out information. Today, the full-text of resources is increasingly available for searching, and more researchers are performing full-text searches. This study compares differences in the number of articles discovered between metadata and full-text searches of the same literature cohort when searching for gene names in two biomedical literature domains. Three reviewers additionally ranked 100 articles in each domain. Significantly more articles were discovered via full-text searching; however, the precision of full-text searching also is significantly lower than that of metadata searching. Certain features of articles correlated with higher relevance ratings. A significant feature measured was the number of matches of the search term in the full-text of the article, with a larger number of matches having a statistically significant higher usefulness (i.e., relevance) rating. By using the number of hits of the search term in the full-text to rank the importance of the article, performance of full-text searching was improved so that both recall and precision were as good as or better than that for metadata searching. This suggests that full-text searching alone may be sufficient, and that metadata searching as a surrogate is not necessary.
-
Ravana, S.D.; Taheri, M.S.; Rajagopal, P.: Document-based approach to improve the accuracy of pairwise comparison in evaluating information retrieval systems (2015)
0.03
0.033272445 = product of:
0.13308978 = sum of:
0.13308978 = weight(_text_:having in 3587) [ClassicSimilarity], result of:
0.13308978 = score(doc=3587,freq=2.0), product of:
0.40279543 = queryWeight, product of:
5.981156 = idf(docFreq=304, maxDocs=44421)
0.06734408 = queryNorm
0.3304153 = fieldWeight in 3587, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
5.981156 = idf(docFreq=304, maxDocs=44421)
0.0390625 = fieldNorm(doc=3587)
0.25 = coord(1/4)
- Abstract
- Purpose The purpose of this paper is to propose a method to have more accurate results in comparing performance of the paired information retrieval (IR) systems with reference to the current method, which is based on the mean effectiveness scores of the systems across a set of identified topics/queries. Design/methodology/approach Based on the proposed approach, instead of the classic method of using a set of topic scores, the documents level scores are considered as the evaluation unit. These document scores are the defined document's weight, which play the role of the mean average precision (MAP) score of the systems as a significance test's statics. The experiments were conducted using the TREC 9 Web track collection. Findings The p-values generated through the two types of significance tests, namely the Student's t-test and Mann-Whitney show that by using the document level scores as an evaluation unit, the difference between IR systems is more significant compared with utilizing topic scores. Originality/value Utilizing a suitable test collection is a primary prerequisite for IR systems comparative evaluation. However, in addition to reusable test collections, having an accurate statistical testing is a necessity for these evaluations. The findings of this study will assist IR researchers to evaluate their retrieval systems and algorithms more accurately.
-
Mandl, T.: Neue Entwicklungen bei den Evaluierungsinitiativen im Information Retrieval (2006)
0.02
0.019367209 = product of:
0.077468835 = sum of:
0.077468835 = weight(_text_:und in 975) [ClassicSimilarity], result of:
0.077468835 = score(doc=975,freq=14.0), product of:
0.14936237 = queryWeight, product of:
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.06734408 = queryNorm
0.51866364 = fieldWeight in 975, product of:
3.7416575 = tf(freq=14.0), with freq of:
14.0 = termFreq=14.0
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.0625 = fieldNorm(doc=975)
0.25 = coord(1/4)
- Abstract
- Im Information Retrieval tragen Evaluierungsinitiativen erheblich zur empirisch fundierten Forschung bei. Mit umfangreichen Kollektionen und Aufgaben unterstützen sie die Standardisierung und damit die Systementwicklung. Die wachsenden Anforderungen hinsichtlich der Korpora und Anwendungsszenarien führten zu einer starken Diversifizierung innerhalb der Evaluierungsinitiativen. Dieser Artikel gibt einen Überblick über den aktuellen Stand der wichtigsten Evaluierungsinitiativen und neuen Trends.
- Source
- Effektive Information Retrieval Verfahren in Theorie und Praxis: ausgewählte und erweiterte Beiträge des Vierten Hildesheimer Evaluierungs- und Retrievalworkshop (HIER 2005), Hildesheim, 20.7.2005. Hrsg.: T. Mandl u. C. Womser-Hacker
-
Lohmann, H.: Verbesserung der Literatursuche durch Dokumentanreicherung und automatische Inhaltserschließung : Das Projekt 'KASCADE' an der Universitäts- und Landesbibliothek Düsseldorf (1999)
0.02
0.019018222 = product of:
0.07607289 = sum of:
0.07607289 = weight(_text_:und in 2221) [ClassicSimilarity], result of:
0.07607289 = score(doc=2221,freq=6.0), product of:
0.14936237 = queryWeight, product of:
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.06734408 = queryNorm
0.50931764 = fieldWeight in 2221, product of:
2.4494898 = tf(freq=6.0), with freq of:
6.0 = termFreq=6.0
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.09375 = fieldNorm(doc=2221)
0.25 = coord(1/4)
- Imprint
- Köln : Fachhochschule, Fachbereich Bibliotheks- und Informationswesen
-
Mandl, T.: Web- und Multimedia-Dokumente : Neuere Entwicklungen bei der Evaluierung von Information Retrieval Systemen (2003)
0.02
0.01793055 = product of:
0.0717222 = sum of:
0.0717222 = weight(_text_:und in 2734) [ClassicSimilarity], result of:
0.0717222 = score(doc=2734,freq=12.0), product of:
0.14936237 = queryWeight, product of:
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.06734408 = queryNorm
0.48018923 = fieldWeight in 2734, product of:
3.4641016 = tf(freq=12.0), with freq of:
12.0 = termFreq=12.0
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.0625 = fieldNorm(doc=2734)
0.25 = coord(1/4)
- Abstract
- Die Menge an Daten im Internet steigt weiter rapide an. Damit wächst auch der Bedarf an qualitativ hochwertigen Information Retrieval Diensten zur Orientierung und problemorientierten Suche. Die Entscheidung für die Benutzung oder Beschaffung von Information Retrieval Software erfordert aussagekräftige Evaluierungsergebnisse. Dieser Beitrag stellt neuere Entwicklungen bei der Evaluierung von Information Retrieval Systemen vor und zeigt den Trend zu Spezialisierung und Diversifizierung von Evaluierungsstudien, die den Realitätsgrad derErgebnisse erhöhen. DerSchwerpunkt liegt auf dem Retrieval von Fachtexten, Internet-Seiten und Multimedia-Objekten.
- Source
- Information - Wissenschaft und Praxis. 54(2003) H.4, S.203-210
-
Kluck, M.; Winter, M.: Topic-Entwicklung und Relevanzbewertung bei GIRT : ein Werkstattbericht (2006)
0.02
0.01793055 = product of:
0.0717222 = sum of:
0.0717222 = weight(_text_:und in 967) [ClassicSimilarity], result of:
0.0717222 = score(doc=967,freq=12.0), product of:
0.14936237 = queryWeight, product of:
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.06734408 = queryNorm
0.48018923 = fieldWeight in 967, product of:
3.4641016 = tf(freq=12.0), with freq of:
12.0 = termFreq=12.0
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.0625 = fieldNorm(doc=967)
0.25 = coord(1/4)
- Abstract
- Der Zusammenhang zwischen Topic-Entwicklung und Relevanzbewertung wird anhand einiger Fallbeispiele aus der CLEF-Evaluierungskampagne 2005 diskutiert. Im fachspezifischen Retrievaltest für multilinguale Systeme wurden die Topics am Dokumentenbestand von GIRT entwickelt. Die Zusammenhänge von Topic-Formulierung und Interpretationsspielräumen bei der Relevanzbewertung werden untersucht.
- Source
- Effektive Information Retrieval Verfahren in Theorie und Praxis: ausgewählte und erweiterte Beiträge des Vierten Hildesheimer Evaluierungs- und Retrievalworkshop (HIER 2005), Hildesheim, 20.7.2005. Hrsg.: T. Mandl u. C. Womser-Hacker
-
Wolff, C.: Leistungsvergleich der Retrievaloberflächen zwischen Web und klassischen Expertensystemen (2001)
0.02
0.016946306 = product of:
0.067785226 = sum of:
0.067785226 = weight(_text_:und in 6870) [ClassicSimilarity], result of:
0.067785226 = score(doc=6870,freq=14.0), product of:
0.14936237 = queryWeight, product of:
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.06734408 = queryNorm
0.4538307 = fieldWeight in 6870, product of:
3.7416575 = tf(freq=14.0), with freq of:
14.0 = termFreq=14.0
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.0546875 = fieldNorm(doc=6870)
0.25 = coord(1/4)
- Abstract
- Die meisten Web-Auftritte der Hosts waren bisher für den Retrieval-Laien gedacht. Im Hintergrund steht dabei das Ziel: mehr Nutzung durch einfacheres Retrieval. Dieser Ansatz steht aber im Konflikt mit der wachsenden Datenmenge und Dokumentgröße, die eigentlich ein immer ausgefeilteres Retrieval verlangen. Häufig wird von Information Professionals die Kritik geäußert, dass die Webanwendungen einen Verlust an Relevanz bringen. Wie weit der Nutzer tatsächlich einen Kompromiss zwischen Relevanz und Vollständigkeit eingehen muss, soll in diesem Beitrag anhand verschiedener Host-Rechner quantifiziert werden
- Series
- Tagungen der Deutschen Gesellschaft für Informationswissenschaft und Informationspraxis; 4
- Source
- Information Research & Content Management: Orientierung, Ordnung und Organisation im Wissensmarkt; 23. DGI-Online-Tagung der DGI und 53. Jahrestagung der Deutschen Gesellschaft für Informationswissenschaft und Informationspraxis e.V. DGI, Frankfurt am Main, 8.-10.5.2001. Proceedings. Hrsg.: R. Schmidt
-
Günther, M.: Vermitteln Suchmaschinen vollständige Bilder aktueller Themen? : Untersuchung der Gewichtung inhaltlicher Aspekte von Suchmaschinenergebnissen in Deutschland und den USA (2016)
0.02
0.01649566 = product of:
0.06598264 = sum of:
0.06598264 = weight(_text_:und in 4068) [ClassicSimilarity], result of:
0.06598264 = score(doc=4068,freq=26.0), product of:
0.14936237 = queryWeight, product of:
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.06734408 = queryNorm
0.44176215 = fieldWeight in 4068, product of:
5.0990195 = tf(freq=26.0), with freq of:
26.0 = termFreq=26.0
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.0390625 = fieldNorm(doc=4068)
0.25 = coord(1/4)
- Abstract
- Zielsetzung - Vor dem Hintergrund von Suchmaschinenverzerrungen sollte herausgefunden werden, ob sich die von Google und Bing vermittelten Bilder aktueller internationaler Themen in Deutschland und den USA hinsichtlich (1) Vollständigkeit, (2) Abdeckung und (3) Gewichtung der jeweiligen inhaltlichen Aspekte unterscheiden. Forschungsmethoden - Für die empirische Untersuchung wurde eine Methode aus Ansätzen der empirischen Sozialwissenschaften (Inhaltsanalyse) und der Informationswissenschaft (Retrievaltests) entwickelt und angewandt. Ergebnisse - Es zeigte sich, dass Google und Bing in Deutschland und den USA (1) keine vollständigen Bilder aktueller internationaler Themen vermitteln, dass sie (2) auf den ersten Trefferpositionen nicht die drei wichtigsten inhaltlichen Aspekte abdecken, und dass es (3) bei der Gewichtung der inhaltlichen Aspekte keine signifikanten Unterschiede gibt. Allerdings erfahren diese Ergebnisse Einschränkungen durch die Methodik und die Auswertung der empirischen Untersuchung. Schlussfolgerungen - Es scheinen tatsächlich inhaltliche Suchmaschinenverzerrungen vorzuliegen - diese könnten Auswirkungen auf die Meinungsbildung der Suchmaschinennutzer haben. Trotz großem Aufwand bei manueller, und qualitativ schlechteren Ergebnissen bei automatischer Untersuchung sollte dieses Thema weiter erforscht werden.
- Content
- Vgl.: https://yis.univie.ac.at/index.php/yis/article/view/1355. Diesem Beitrag liegt folgende Abschlussarbeit zugrunde: Günther, Markus: Welches Weltbild vermitteln Suchmaschinen? Untersuchung der Gewichtung inhaltlicher Aspekte von Google- und Bing-Ergebnissen in Deutschland und den USA zu aktuellen internationalen Themen . Masterarbeit (M.A.), Hochschule für Angewandte Wissenschaften Hamburg, 2015. Volltext: http://edoc.sub.uni-hamburg.de/haw/volltexte/2016/332.
-
Dresel, R.; Hörnig, D.; Kaluza, H.; Peter, A.; Roßmann, A.; Sieber, W.: Evaluation deutscher Web-Suchwerkzeuge : Ein vergleichender Retrievaltest (2001)
0.02
0.01636828 = product of:
0.06547312 = sum of:
0.06547312 = weight(_text_:und in 1261) [ClassicSimilarity], result of:
0.06547312 = score(doc=1261,freq=10.0), product of:
0.14936237 = queryWeight, product of:
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.06734408 = queryNorm
0.4383508 = fieldWeight in 1261, product of:
3.1622777 = tf(freq=10.0), with freq of:
10.0 = termFreq=10.0
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.0625 = fieldNorm(doc=1261)
0.25 = coord(1/4)
- Abstract
- Die deutschen Suchmaschinen, Abacho, Acoon, Fireball und Lycos sowie die Web-Kataloge Web.de und Yahoo! werden einem Qualitätstest nach relativem Recall, Precision und Availability unterzogen. Die Methoden der Retrievaltests werden vorgestellt. Im Durchschnitt werden bei einem Cut-Off-Wert von 25 ein Recall von rund 22%, eine Precision von knapp 19% und eine Verfügbarkeit von 24% erreicht
- Source
- nfd Information - Wissenschaft und Praxis. 52(2001) H.7, S.381-392
-
Biebricher, P.; Fuhr, N.; Niewelt, B.: ¬Der AIR-Retrievaltest (1986)
0.02
0.015848517 = product of:
0.06339407 = sum of:
0.06339407 = weight(_text_:und in 4108) [ClassicSimilarity], result of:
0.06339407 = score(doc=4108,freq=6.0), product of:
0.14936237 = queryWeight, product of:
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.06734408 = queryNorm
0.42443132 = fieldWeight in 4108, product of:
2.4494898 = tf(freq=6.0), with freq of:
6.0 = termFreq=6.0
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.078125 = fieldNorm(doc=4108)
0.25 = coord(1/4)
- Abstract
- Der Beitrag enthält eine Darstellung zur Durchführung und zu den Ergebnissen des Retrievaltests zum AIR/PHYS-Projekt. Er zählt mit seinen 309 Fragen und 15.000 Dokumenten zu den größten Retrievaltests, die bisher zur Evaluierung automatisierter Indexierungs- oder Retrievalverfahren vorgenommen wurden.
- Source
- Automatische Indexierung zwischen Forschung und Anwendung, Hrsg.: G. Lustig
-
Griesbaum, J.; Rittberger, M.; Bekavac, B.: Deutsche Suchmaschinen im Vergleich : AltaVista.de, Fireball.de, Google.de und Lycos.de (2002)
0.02
0.015848517 = product of:
0.06339407 = sum of:
0.06339407 = weight(_text_:und in 2159) [ClassicSimilarity], result of:
0.06339407 = score(doc=2159,freq=6.0), product of:
0.14936237 = queryWeight, product of:
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.06734408 = queryNorm
0.42443132 = fieldWeight in 2159, product of:
2.4494898 = tf(freq=6.0), with freq of:
6.0 = termFreq=6.0
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.078125 = fieldNorm(doc=2159)
0.25 = coord(1/4)
- Source
- Information und Mobilität: Optimierung und Vermeidung von Mobilität durch Information. Proceedings des 8. Internationalen Symposiums für Informationswissenschaft (ISI 2002), 7.-10.10.2002, Regensburg. Hrsg.: Rainer Hammwöhner, Christian Wolff, Christa Womser-Hacker
-
Munkelt, J.: Erstellung einer DNB-Retrieval-Testkollektion (2018)
0.02
0.015689231 = product of:
0.062756926 = sum of:
0.062756926 = weight(_text_:und in 310) [ClassicSimilarity], result of:
0.062756926 = score(doc=310,freq=12.0), product of:
0.14936237 = queryWeight, product of:
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.06734408 = queryNorm
0.42016557 = fieldWeight in 310, product of:
3.4641016 = tf(freq=12.0), with freq of:
12.0 = termFreq=12.0
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.0546875 = fieldNorm(doc=310)
0.25 = coord(1/4)
- Abstract
- Seit Herbst 2017 findet in der Deutschen Nationalbibliothek die Inhaltserschließung bestimmter Medienwerke rein maschinell statt. Die Qualität dieses Verfahrens, das die Prozessorganisation von Bibliotheken maßgeblich prägen kann, wird unter Fachleuten kontrovers diskutiert. Ihre Standpunkte werden zunächst hinreichend erläutert, ehe die Notwendigkeit einer Qualitätsprüfung des Verfahrens und dessen Grundlagen dargelegt werden. Zentraler Bestandteil einer künftigen Prüfung ist eine Testkollektion. Ihre Erstellung und deren Dokumentation steht im Fokus dieser Arbeit. In diesem Zusammenhang werden auch die Entstehungsgeschichte und Anforderungen an gelungene Testkollektionen behandelt. Abschließend wird ein Retrievaltest durchgeführt, der die Einsatzfähigkeit der erarbeiteten Testkollektion belegt. Seine Ergebnisse dienen ausschließlich der Funktionsüberprüfung. Eine Qualitätsbeurteilung maschineller Inhaltserschließung im Speziellen sowie im Allgemeinen findet nicht statt und ist nicht Ziel der Ausarbeitung.
- Content
- Bachelorarbeit, Bibliothekswissenschaften, Fakultät für Informations- und Kommunikationswissenschaften, Technische Hochschule Köln
- Imprint
- Köln : Technische Hochschule, Fakultät für Informations- und Kommunikationswissenschaften
-
Kaltenborn, K.-F.: Endnutzerrecherchen in der CD-ROM-Datenbank Medline : T.1: Evaluations- und Benutzerforschung über Nutzungscharakteristika, Bewertung der Rechercheergebnisse und künftige Informationsgewinnung; T.2: Evaluations- und Benutzerforschung über Recherchequalität und Nutzer-Computer/Datenbank-Interaktion (1991)
0.02
0.015528312 = product of:
0.062113248 = sum of:
0.062113248 = weight(_text_:und in 5104) [ClassicSimilarity], result of:
0.062113248 = score(doc=5104,freq=16.0), product of:
0.14936237 = queryWeight, product of:
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.06734408 = queryNorm
0.41585606 = fieldWeight in 5104, product of:
4.0 = tf(freq=16.0), with freq of:
16.0 = termFreq=16.0
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.046875 = fieldNorm(doc=5104)
0.25 = coord(1/4)
- Abstract
- Die Einführung von CD-ROM Datenbanken als neue Informationstechnologie hat die Formen der Informationsgewinnung in bestimmten wissenschaftlichen Fachgebieten grundlegend geändert. Der Beitrag berichtet über Ergebnisse wissenschaftlicher Begleitforschung bei Endnutzerrecherchen in der CD-ROM-Version der Datenbank MEDLINE. Hierzu wurden drei verschiedene Erhebungen durchgeführt. Hiernach ist die überwiegende Zahl der Endnutzer (89,3%) mit dem jeweiligen Rechercheresultat zufrieden, wobei Benutzer mit geringer Rechercheerfahrung eine höhere Zufriedenheitsrate erreichen als Benutzer mit umfangreicheren Recherchekenntnissen. Die Gründe zur Nutzung von CD-ROM-Systemen resultieren voriwegend aus der klinischen Alltagsroutine oder täglichen Forschungspraxis, während vermittelte Online-Literatursuchen tendenziell häufiger im Zusammenhang mit einmaligen Ereignissen der wissenschaftlichen Aus- und Weiterbildung stehen. Die selbständige CD-ROM Literaturrecherche stellt für die befragten Ärzte und Wissenschaftler die bevorzugte Methode der Informationsgewinnung dar. Die analysierten Endnutzerrecherchen weisen allerdings Fehler und Defizite hinsichtlich einer optimalen Suchstrategie auf, die zu unbemerktn Informationsverlusten und zu Fehlbeurteilungen des wissenschaftlichen Kenntnisstandes führen
-
Scherer, B.: Automatische Indexierung und ihre Anwendung im DFG-Projekt "Gemeinsames Portal für Bibliotheken, Archive und Museen (BAM)" (2003)
0.02
0.015173801 = product of:
0.060695205 = sum of:
0.060695205 = weight(_text_:und in 283) [ClassicSimilarity], result of:
0.060695205 = score(doc=283,freq=22.0), product of:
0.14936237 = queryWeight, product of:
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.06734408 = queryNorm
0.4063621 = fieldWeight in 283, product of:
4.690416 = tf(freq=22.0), with freq of:
22.0 = termFreq=22.0
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.0390625 = fieldNorm(doc=283)
0.25 = coord(1/4)
- Abstract
- Automatische Indexierung verzeichnet schon seit einigen Jahren aufgrund steigender Informationsflut ein wachsendes Interesse. Allerdings gibt es immer noch Vorbehalte gegenüber der intellektuellen Indexierung in Bezug auf Qualität und größerem Aufwand der Systemimplementierung bzw. -pflege. Neuere Entwicklungen aus dem Bereich des Wissensmanagements, wie beispielsweise Verfahren aus der Künstlichen Intelligenz, der Informationsextraktion, dem Text Mining bzw. der automatischen Klassifikation sollen die automatische Indexierung aufwerten und verbessern. Damit soll eine intelligentere und mehr inhaltsbasierte Erschließung geleistet werden. In dieser Masterarbeit wird außerhalb der Darstellung von Grundlagen und Verfahren der automatischen Indexierung sowie neueren Entwicklungen auch Möglichkeiten der Evaluation dargestellt. Die mögliche Anwendung der automatischen Indexierung im DFG-ProjektGemeinsames Portal für Bibliotheken, Archive und Museen (BAM)" bilden den Schwerpunkt der Arbeit. Im Portal steht die bibliothekarische Erschließung von Texten im Vordergrund. In einem umfangreichen Test werden drei deutsche, linguistische Systeme mit statistischen Verfahren kombiniert (die aber teilweise im System bereits integriert ist) und evaluiert, allerdings nur auf der Basis der ausgegebenen Indexate. Abschließend kann festgestellt werden, dass die Ergebnisse und damit die Qualität (bezogen auf die Indexate) von intellektueller und automatischer Indexierung noch signifikant unterschiedlich sind. Die Gründe liegen in noch zu lösenden semantischen Problemen bzw, in der Obereinstimmung mit Worten aus einem Thesaurus, die von einem automatischen Indexierungssystem nicht immer nachvollzogen werden kann. Eine Inhaltsanreicherung mit den Indexaten zum Vorteil beim Retrieval kann, je nach System oder auch über die Einbindung durch einen Thesaurus, erreicht werden.
- Imprint
- Konstanz : Universität / Fachbereich Informatik und Informationswissenschaft
-
Wartena, C.; Golub, K.: Evaluierung von Verschlagwortung im Kontext des Information Retrievals (2021)
0.02
0.015173801 = product of:
0.060695205 = sum of:
0.060695205 = weight(_text_:und in 1377) [ClassicSimilarity], result of:
0.060695205 = score(doc=1377,freq=22.0), product of:
0.14936237 = queryWeight, product of:
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.06734408 = queryNorm
0.4063621 = fieldWeight in 1377, product of:
4.690416 = tf(freq=22.0), with freq of:
22.0 = termFreq=22.0
2.217899 = idf(docFreq=13141, maxDocs=44421)
0.0390625 = fieldNorm(doc=1377)
0.25 = coord(1/4)
- Abstract
- Dieser Beitrag möchte einen Überblick über die in der Literatur diskutierten Möglichkeiten, Herausforderungen und Grenzen geben, Retrieval als eine extrinsische Evaluierungsmethode für die Ergebnisse verbaler Sacherschließung zu nutzen. Die inhaltliche Erschließung im Allgemeinen und die Verschlagwortung im Besonderen können intrinsisch oder extrinsisch evaluiert werden. Die intrinsische Evaluierung bezieht sich auf Eigenschaften der Erschließung, von denen vermutet wird, dass sie geeignete Indikatoren für die Qualität der Erschließung sind, wie formale Einheitlichkeit (im Hinblick auf die Anzahl zugewiesener Deskriptoren pro Dokument, auf die Granularität usw.), Konsistenz oder Übereinstimmung der Ergebnisse verschiedener Erschließer:innen. Bei einer extrinsischen Evaluierung geht es darum, die Qualität der gewählten Deskriptoren daran zu messen, wie gut sie sich tatsächlich bei der Suche bewähren. Obwohl die extrinsische Evaluierung direktere Auskunft darüber gibt, ob die Erschließung ihren Zweck erfüllt, und daher den Vorzug verdienen sollte, ist sie kompliziert und oft problematisch. In einem Retrievalsystem greifen verschiedene Algorithmen und Datenquellen in vielschichtiger Weise ineinander und interagieren bei der Evaluierung darüber hinaus noch mit Nutzer:innen und Rechercheaufgaben. Die Evaluierung einer Komponente im System kann nicht einfach dadurch vorgenommen werden, dass man sie austauscht und mit einer anderen Komponente vergleicht, da die gleiche Ressource oder der gleiche Algorithmus sich in unterschiedlichen Umgebungen unterschiedlich verhalten kann. Wir werden relevante Evaluierungsansätze vorstellen und diskutieren, und zum Abschluss einige Empfehlungen für die Evaluierung von Verschlagwortung im Kontext von Retrieval geben.
- Series
- Bibliotheks- und Informationspraxis; 70