add warning ability
[tiramisu.git] / tiramisu / value.py
1 # -*- coding: utf-8 -*-
2 "takes care of the option's values and multi values"
3 # Copyright (C) 2013 Team tiramisu (see AUTHORS for all contributors)
4 #
5 # This program is free software; you can redistribute it and/or modify
6 # it under the terms of the GNU General Public License as published by
7 # the Free Software Foundation; either version 2 of the License, or
8 # (at your option) any later version.
9 #
10 # This program is distributed in the hope that it will be useful,
11 # but WITHOUT ANY WARRANTY; without even the implied warranty of
12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13 # GNU General Public License for more details.
14 #
15 # You should have received a copy of the GNU General Public License
16 # along with this program; if not, write to the Free Software
17 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
18 #
19 # ____________________________________________________________
20 from time import time
21 from copy import copy
22 import sys
23 import weakref
24 from tiramisu.error import ConfigError, SlaveError
25 from tiramisu.setting import owners, multitypes, expires_time
26 from tiramisu.autolib import carry_out_calculation
27 from tiramisu.i18n import _
28 from tiramisu.option import SymLinkOption
29
30
31 class Values(object):
32     """The `Config`'s root is indeed  in charge of the `Option()`'s values,
33     but the values are physicaly located here, in `Values`, wich is also
34     responsible of a caching utility.
35     """
36     __slots__ = ('context', '_warning', '_p_', '__weakref__')
37
38     def __init__(self, context, storage):
39         """
40         Initializes the values's dict.
41
42         :param context: the context is the home config's values
43
44         """
45         self.context = weakref.ref(context)
46         # the storage type is dictionary or sqlite3
47         self._p_ = storage
48
49     def _getdefault(self, opt):
50         """
51         actually retrieves the default value
52
53         :param opt: the `option.Option()` object
54         """
55         meta = self.context().cfgimpl_get_meta()
56         if meta is not None:
57             value = meta.cfgimpl_get_values()[opt]
58         else:
59             value = opt.impl_getdefault()
60         if opt.impl_is_multi():
61             return copy(value)
62         else:
63             return value
64
65     def _getvalue(self, opt, path, validate=True):
66         """actually retrieves the value
67
68         :param opt: the `option.Option()` object
69         :returns: the option's value (or the default value if not set)
70         """
71         if not self._p_.hasvalue(path):
72             # if there is no value
73             value = self._getdefault(opt)
74             if opt.impl_is_multi():
75                 value = Multi(value, self.context, opt, path, validate)
76         else:
77             # if there is a value
78             value = self._p_.getvalue(path)
79             if opt.impl_is_multi() and not isinstance(value, Multi):
80                 # load value so don't need to validate if is not a Multi
81                 value = Multi(value, self.context, opt, path, validate=False)
82         return value
83
84     def get_modified_values(self):
85         return self._p_.get_modified_values()
86
87     def __contains__(self, opt):
88         """
89         implements the 'in' keyword syntax in order provide a pythonic way
90         to kow if an option have a value
91
92         :param opt: the `option.Option()` object
93         """
94         path = self._get_opt_path(opt)
95         return self._contains(path)
96
97     def _contains(self, path):
98         return self._p_.hasvalue(path)
99
100     def __delitem__(self, opt):
101         """overrides the builtins `del()` instructions"""
102         self.reset(opt)
103
104     def reset(self, opt, path=None):
105         if path is None:
106             path = self._get_opt_path(opt)
107         if self._p_.hasvalue(path):
108             setting = self.context().cfgimpl_get_settings()
109             self._warning = opt.impl_validate(opt.impl_getdefault(),
110                                               self.context(),
111                                               'validator' in setting)
112             self.context().cfgimpl_reset_cache()
113             if (opt.impl_is_multi() and
114                     opt.impl_get_multitype() == multitypes.master):
115                 for slave in opt.impl_get_master_slaves():
116                     self.reset(slave)
117             self._p_.resetvalue(path)
118
119     def _isempty(self, opt, value):
120         "convenience method to know if an option is empty"
121         empty = opt._empty
122         if (not opt.impl_is_multi() and (value is None or value == empty)) or \
123            (opt.impl_is_multi() and (value == [] or
124                                      None in value or empty in value)):
125             return True
126         return False
127
128     def _getcallback_value(self, opt, index=None, max_len=None):
129         """
130         retrieves a value for the options that have a callback
131
132         :param opt: the `option.Option()` object
133         :param index: if an option is multi, only calculates the nth value
134         :type index: int
135         :returns: a calculated value
136         """
137         callback, callback_params = opt._callback
138         if callback_params is None:
139             callback_params = {}
140         return carry_out_calculation(opt._name, config=self.context(),
141                                      callback=callback,
142                                      callback_params=callback_params,
143                                      index=index, max_len=max_len)
144
145     def __getitem__(self, opt):
146         "enables us to use the pythonic dictionary-like access to values"
147         return self.getitem(opt)
148
149     def getitem(self, opt, path=None, validate=True, force_permissive=False,
150                 force_properties=None, validate_properties=True):
151         if path is None:
152             path = self._get_opt_path(opt)
153         ntime = None
154         setting = self.context().cfgimpl_get_settings()
155         if 'cache' in setting and self._p_.hascache(path):
156             if 'expire' in setting:
157                 ntime = int(time())
158             is_cached, value = self._p_.getcache(path, ntime)
159             if is_cached:
160                 if opt.impl_is_multi() and not isinstance(value, Multi):
161                     #load value so don't need to validate if is not a Multi
162                     value = Multi(value, self.context, opt, path, validate=False)
163                 return value
164         val = self._getitem(opt, path, validate, force_permissive,
165                             force_properties, validate_properties)
166         if 'cache' in setting and validate and validate_properties and \
167                 force_permissive is False and force_properties is None:
168             if 'expire' in setting:
169                 if ntime is None:
170                     ntime = int(time())
171                 ntime = ntime + expires_time
172             self._p_.setcache(path, val, ntime)
173
174         return val
175
176     def _getitem(self, opt, path, validate, force_permissive, force_properties,
177                  validate_properties):
178         # options with callbacks
179         setting = self.context().cfgimpl_get_settings()
180         is_frozen = 'frozen' in setting[opt]
181         # For calculating properties, we need value (ie for mandatory value).
182         # If value is calculating with a PropertiesOptionError's option
183         # _getcallback_value raise a ConfigError.
184         # We can not raise ConfigError if this option should raise
185         # PropertiesOptionError too. So we get config_error and raise
186         # ConfigError if properties did not raise.
187         config_error = None
188         force_permissives = None
189         # if value is callback and is not set
190         # or frozen with force_default_on_freeze
191         if opt.impl_has_callback() and (
192                 self._is_default_owner(path) or
193                 (is_frozen and 'force_default_on_freeze' in setting[opt])):
194             lenmaster = None
195             no_value_slave = False
196             if (opt.impl_is_multi() and
197                     opt.impl_get_multitype() == multitypes.slave):
198                 masterp = self._get_opt_path(opt.impl_get_master_slaves())
199                 mastervalue = getattr(self.context(), masterp)
200                 lenmaster = len(mastervalue)
201                 if lenmaster == 0:
202                     value = []
203                     no_value_slave = True
204
205             if not no_value_slave:
206                 try:
207                     value = self._getcallback_value(opt, max_len=lenmaster)
208                 except ConfigError as err:
209                     # cannot assign config_err directly in python 3.3
210                     config_error = err
211                     value = None
212                     # should not raise PropertiesOptionError if option is
213                     # mandatory
214                     force_permissives = set(['mandatory'])
215                 else:
216                     if (opt.impl_is_multi() and
217                             opt.impl_get_multitype() == multitypes.slave):
218                         if not isinstance(value, list):
219                             value = [value for i in range(lenmaster)]
220             if config_error is None:
221                 if opt.impl_is_multi():
222                     value = Multi(value, self.context, opt, path, validate)
223                 # suppress value if already set
224                 self.reset(opt, path)
225         # frozen and force default
226         elif is_frozen and 'force_default_on_freeze' in setting[opt]:
227             value = self._getdefault(opt)
228             if opt.impl_is_multi():
229                 value = Multi(value, self.context, opt, path, validate)
230         else:
231             value = self._getvalue(opt, path, validate)
232         if config_error is None and validate:
233             self._warning = opt.impl_validate(value, self.context(),
234                                               'validator' in setting)
235         if config_error is None and self._is_default_owner(path) and \
236                 'force_store_value' in setting[opt]:
237             self.setitem(opt, value, path, is_write=False)
238         if validate_properties:
239             setting.validate_properties(opt, False, False, value=value, path=path,
240                                         force_permissive=force_permissive,
241                                         force_properties=force_properties,
242                                         force_permissives=force_permissives)
243         if config_error is not None:
244             raise ConfigError(config_error)
245         return value
246
247     def __setitem__(self, opt, value):
248         raise ValueError('you should only set value with config')
249
250     def setitem(self, opt, value, path, force_permissive=False,
251                 is_write=True):
252         # is_write is, for example, used with "force_store_value"
253         # user didn't change value, so not write
254         # valid opt
255         self._warning = opt.impl_validate(value, self.context(),
256                                           'validator' in self.context(
257                                           ).cfgimpl_get_settings())
258         if opt.impl_is_multi() and not isinstance(value, Multi):
259             value = Multi(value, self.context, opt, path, setitem=True)
260         self._setvalue(opt, path, value, force_permissive=force_permissive,
261                        is_write=is_write)
262
263     def _setvalue(self, opt, path, value, force_permissive=False,
264                   force_properties=None,
265                   is_write=True, validate_properties=True):
266         self.context().cfgimpl_reset_cache()
267         if validate_properties:
268             setting = self.context().cfgimpl_get_settings()
269             setting.validate_properties(opt, False, is_write,
270                                         value=value, path=path,
271                                         force_permissive=force_permissive,
272                                         force_properties=force_properties)
273         owner = self.context().cfgimpl_get_settings().getowner()
274         self._p_.setvalue(path, value, owner)
275
276     def getowner(self, opt):
277         """
278         retrieves the option's owner
279
280         :param opt: the `option.Option` object
281         :returns: a `setting.owners.Owner` object
282         """
283         if isinstance(opt, SymLinkOption):
284             opt = opt._opt
285         path = self._get_opt_path(opt)
286         return self._getowner(path)
287
288     def _getowner(self, path):
289         owner = self._p_.getowner(path, owners.default)
290         meta = self.context().cfgimpl_get_meta()
291         if owner is owners.default and meta is not None:
292             owner = meta.cfgimpl_get_values()._getowner(path)
293         return owner
294
295     def setowner(self, opt, owner):
296         """
297         sets a owner to an option
298
299         :param opt: the `option.Option` object
300         :param owner: a valid owner, that is a `setting.owners.Owner` object
301         """
302         if not isinstance(owner, owners.Owner):
303             raise TypeError(_("invalid generic owner {0}").format(str(owner)))
304
305         path = self._get_opt_path(opt)
306         self._setowner(path, owner)
307
308     def _setowner(self, path, owner):
309         if self._getowner(path) == owners.default:
310             raise ConfigError(_('no value for {0} cannot change owner to {1}'
311                                 '').format(path, owner))
312         self._p_.setowner(path, owner)
313
314     def is_default_owner(self, opt):
315         """
316         :param config: *must* be only the **parent** config
317                        (not the toplevel config)
318         :return: boolean
319         """
320         path = self._get_opt_path(opt)
321         return self._is_default_owner(path)
322
323     def _is_default_owner(self, path):
324         return self._getowner(path) == owners.default
325
326     def reset_cache(self, only_expired):
327         """
328         clears the cache if necessary
329         """
330         if only_expired:
331             self._p_.reset_expired_cache(int(time()))
332         else:
333             self._p_.reset_all_cache()
334
335     def _get_opt_path(self, opt):
336         """
337         retrieve the option's path in the config
338
339         :param opt: the `option.Option` object
340         :returns: a string with points like "gc.dummy.my_option"
341         """
342         return self.context().cfgimpl_get_description().impl_get_path_by_opt(opt)
343
344     # information
345     def set_information(self, key, value):
346         """updates the information's attribute
347
348         :param key: information's key (ex: "help", "doc"
349         :param value: information's value (ex: "the help string")
350         """
351         self._p_.set_information(key, value)
352
353     def get_information(self, key, default=None):
354         """retrieves one information's item
355
356         :param key: the item string (ex: "help")
357         """
358         try:
359             return self._p_.get_information(key)
360         except ValueError:
361             if default is not None:
362                 return default
363             else:
364                 raise ValueError(_("information's item"
365                                    " not found: {0}").format(key))
366
367     def __getstate__(self):
368         return {'_p_': self._p_}
369
370     def _impl_setstate(self, storage):
371         self._p_._storage = storage
372
373     def __setstate__(self, states):
374         self._p_ = states['_p_']
375
376     def has_warning(self):
377         """If option is "only_warning", validation error is store in
378         self._warning.
379         has_warning just indicate that a warning message is store
380         """
381         return self._warning is not None
382
383     def get_last_warning(self):
384         """Get last warning message in self._warning.
385         We can get only one time this message.
386         """
387         ret = self._warning
388         self._warning = None
389         return ret
390
391
392 # ____________________________________________________________
393 # multi types
394
395
396 class Multi(list):
397     """multi options values container
398     that support item notation for the values of multi options"""
399     __slots__ = ('opt', 'path', 'context')
400
401     def __init__(self, value, context, opt, path, validate=True,
402                  setitem=False):
403         """
404         :param value: the Multi wraps a list value
405         :param context: the home config that has the values
406         :param opt: the option object that have this Multi value
407         :param setitem: only if set a value
408         """
409         self.opt = opt
410         self.path = path
411         if not isinstance(context, weakref.ReferenceType):
412             raise ValueError('context must be a Weakref')
413         self.context = context
414         if not isinstance(value, list):
415             value = [value]
416         if validate and self.opt.impl_get_multitype() == multitypes.slave:
417             value = self._valid_slave(value, setitem)
418         elif validate and self.opt.impl_get_multitype() == multitypes.master:
419             self._valid_master(value)
420         super(Multi, self).__init__(value)
421
422     def _valid_slave(self, value, setitem):
423         #if slave, had values until master's one
424         values = self.context().cfgimpl_get_values()
425         masterp = self.context().cfgimpl_get_description().impl_get_path_by_opt(
426             self.opt.impl_get_master_slaves())
427         mastervalue = getattr(self.context(), masterp)
428         masterlen = len(mastervalue)
429         valuelen = len(value)
430         is_default_owner = not values._is_default_owner(self.path) or setitem
431         if valuelen > masterlen or (valuelen < masterlen and
432                                     is_default_owner):
433             raise SlaveError(_("invalid len for the slave: {0}"
434                                " which has {1} as master").format(
435                                    self.opt._name, masterp))
436         elif valuelen < masterlen:
437             for num in range(0, masterlen - valuelen):
438                 if self.opt.impl_has_callback():
439                     # if callback add a value, but this value will not change
440                     # anymore automaticly (because this value has owner)
441                     index = value.__len__()
442                     value.append(values._getcallback_value(self.opt,
443                                                            index=index))
444                 else:
445                     value.append(self.opt.impl_getdefault_multi())
446         #else: same len so do nothing
447         return value
448
449     def _valid_master(self, value):
450         masterlen = len(value)
451         values = self.context().cfgimpl_get_values()
452         for slave in self.opt._master_slaves:
453             path = values._get_opt_path(slave)
454             if not values._is_default_owner(path):
455                 value_slave = values._getvalue(slave, path)
456                 if len(value_slave) > masterlen:
457                     raise SlaveError(_("invalid len for the master: {0}"
458                                        " which has {1} as slave with"
459                                        " greater len").format(
460                                            self.opt._name, slave._name))
461                 elif len(value_slave) < masterlen:
462                     for num in range(0, masterlen - len(value_slave)):
463                         if slave.impl_has_callback():
464                             # if callback add a value, but this value will not
465                             # change anymore automaticly (because this value
466                             # has owner)
467                             index = value_slave.__len__()
468                             value_slave.append(
469                                 values._getcallback_value(slave, index=index),
470                                 force=True)
471                         else:
472                             value_slave.append(slave.impl_getdefault_multi(),
473                                                force=True)
474
475     def __setitem__(self, key, value):
476         self._validate(value)
477         #assume not checking mandatory property
478         super(Multi, self).__setitem__(key, value)
479         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
480
481     def append(self, value, force=False):
482         """the list value can be updated (appened)
483         only if the option is a master
484         """
485         if not force:
486             if self.opt.impl_get_multitype() == multitypes.slave:
487                 raise SlaveError(_("cannot append a value on a multi option {0}"
488                                    " which is a slave").format(self.opt._name))
489             elif self.opt.impl_get_multitype() == multitypes.master:
490                 values = self.context().cfgimpl_get_values()
491                 if value is None and self.opt.impl_has_callback():
492                     value = values._getcallback_value(self.opt)
493                     #Force None il return a list
494                     if isinstance(value, list):
495                         value = None
496         self._validate(value)
497         super(Multi, self).append(value)
498         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path,
499                                                       self,
500                                                       validate_properties=not force)
501         if not force and self.opt.impl_get_multitype() == multitypes.master:
502             for slave in self.opt.impl_get_master_slaves():
503                 path = values._get_opt_path(slave)
504                 if not values._is_default_owner(path):
505                     if slave.impl_has_callback():
506                         index = self.__len__() - 1
507                         dvalue = values._getcallback_value(slave, index=index)
508                     else:
509                         dvalue = slave.impl_getdefault_multi()
510                     old_value = values.getitem(slave, path,
511                                                validate_properties=False)
512                     if len(old_value) < self.__len__():
513                         values.getitem(slave, path,
514                                        validate_properties=False).append(
515                                            dvalue, force=True)
516                     else:
517                         values.getitem(slave, path,
518                                        validate_properties=False)[
519                                            index] = dvalue
520
521     def sort(self, cmp=None, key=None, reverse=False):
522         if self.opt.impl_get_multitype() in [multitypes.slave,
523                                              multitypes.master]:
524             raise SlaveError(_("cannot sort multi option {0} if master or slave"
525                                "").format(self.opt._name))
526         if sys.version_info[0] >= 3:
527             if cmp is not None:
528                 raise ValueError(_('cmp is not permitted in python v3 or greater'))
529             super(Multi, self).sort(key=key, reverse=reverse)
530         else:
531             super(Multi, self).sort(cmp=cmp, key=key, reverse=reverse)
532         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
533
534     def reverse(self):
535         if self.opt.impl_get_multitype() in [multitypes.slave,
536                                              multitypes.master]:
537             raise SlaveError(_("cannot reverse multi option {0} if master or "
538                                "slave").format(self.opt._name))
539         super(Multi, self).reverse()
540         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
541
542     def insert(self, index, obj):
543         if self.opt.impl_get_multitype() in [multitypes.slave,
544                                              multitypes.master]:
545             raise SlaveError(_("cannot insert multi option {0} if master or "
546                                "slave").format(self.opt._name))
547         super(Multi, self).insert(index, obj)
548         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
549
550     def extend(self, iterable):
551         if self.opt.impl_get_multitype() in [multitypes.slave,
552                                              multitypes.master]:
553             raise SlaveError(_("cannot extend multi option {0} if master or "
554                                "slave").format(self.opt._name))
555         super(Multi, self).extend(iterable)
556         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
557
558     def _validate(self, value):
559         if value is not None:
560             try:
561                 self.context().cfgimpl_get_values()._warning = \
562                     self.opt.impl_validate(value, context=self.context(),
563                                            force_no_multi=True)
564             except ValueError as err:
565                 raise ValueError(_("invalid value {0} "
566                                    "for option {1}: {2}"
567                                    "").format(str(value),
568                                               self.opt._name, err))
569
570     def pop(self, index, force=False):
571         """the list value can be updated (poped)
572         only if the option is a master
573
574         :param index: remove item a index
575         :type index: int
576         :param force: force pop item (withoud check master/slave)
577         :type force: boolean
578         :returns: item at index
579         """
580         if not force:
581             if self.opt.impl_get_multitype() == multitypes.slave:
582                 raise SlaveError(_("cannot pop a value on a multi option {0}"
583                                    " which is a slave").format(self.opt._name))
584             elif self.opt.impl_get_multitype() == multitypes.master:
585                 for slave in self.opt.impl_get_master_slaves():
586                     values = self.context().cfgimpl_get_values()
587                     if not values.is_default_owner(slave):
588                         #get multi without valid properties
589                         values.getitem(slave,
590                                        validate_properties=False
591                                        ).pop(index, force=True)
592         #set value without valid properties
593         ret = super(Multi, self).pop(index)
594         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self, validate_properties=not force)
595         return ret